2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Эта тема закрыта, вы не можете редактировать и оставлять сообщения в ней. На страницу 1, 2  След.
 
 Семантические парсеры и поисковые системы
Сообщение13.11.2018, 15:18 


20/09/09
2041
Уфа
Такой, немного наивный вопрос. Что мешает построить семантические парсеры для интернет-страниц для последующего использования их в поисковых системах для поиска по смыслу текста, а не по ключевым словам (таких, как Google)? Или сейчас это не позволяют делать текущие технологии ("жесткие" парсеры не подходят, а парсеры на основе нейронных сетей еще не достаточно развиты)?

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение13.11.2018, 15:34 
Аватара пользователя


28/08/13

156
Rasool в сообщении #1353741 писал(а):
Что мешает построить семантические парсеры для интернет-страниц для последующего использования их в поисковых системах для поиска по смыслу текста

Отсутствие представления о том, что такое смысл текста. :)

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение13.11.2018, 15:46 


20/09/09
2041
Уфа
Alephegg в сообщении #1353745 писал(а):
Отсутствие представления о том, что такое смысл текста. :)

Смысл текста - это структура, соответствующая тексту, отображающая реальность. Например, в виде онтологии.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение13.11.2018, 15:51 
Аватара пользователя


28/08/13

156
Rasool в сообщении #1353746 писал(а):
отображающая реальность

Иными словами, чтобы построить смысл текста необходимо иметь представление о реальности. В форме онтологии. Есть такой подход, есть тридцать (или сорок, могу ошибаться) лет разработок и огромное финансирование. Даг Ленат и его cyc.com, полюбопытствуйте, если хотите. У них есть всё для успешной работы. Результатов нет. :-) То есть, смысл - это что-то другое.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение13.11.2018, 15:55 


20/09/09
2041
Уфа
Вообще-то авторитетный ученый в области инженерии знаний Джон Сова в одном из обсуждений в LinkedIn утверждал, что "понимание текста - это ИИ-полная задача". Но студентам в этой области советовал изучать логику.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение13.11.2018, 16:00 
Аватара пользователя


28/08/13

156
Rasool, тут есть шероховатость одна, если что такое NPC понятно и строго определено, то что такое ИИ-полная задача - непонятно и вообще не определено, кроме как на уровне ассоциаций.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение13.11.2018, 16:23 
Заслуженный участник
Аватара пользователя


01/08/06
3131
Уфа
Alephegg в сообщении #1353747 писал(а):
Результатов нет.
Я думаю, те результаты, которые запланированы, достигаются. Это же просто база данных, которая пополняется медленно, но верно. Вряд ли в cyc.com кто-нибудь верит, что когда-нибудь эта база начнёт обучаться сама и выдавать нечто отличное от того, что в неё положили. А то, что в ней есть, приносит пользу уже сейчас, причём никто не запрещает использовать её в комбинации с каким угодно другим AI.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение13.11.2018, 16:32 
Аватара пользователя


28/08/13

156
worm2 в сообщении #1353751 писал(а):
Это же просто база данных

"Это"? Что "это"? Если полагать, что смысл - это какая-то конструкция из слов (базы данных, базы "знаний", онтологии, тезаурусы, словари и т.п.), то неизбежно окажется, что либо часть слов будет неопределена, либо определения будут циркулярными, либо какая-то комбинация этого. То есть у нас всегда окажется часть слов (с наибольшим индексом использования), которая не будет определена даже таким забавным способом.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение13.11.2018, 16:54 
Заслуженный участник
Аватара пользователя


01/08/06
3131
Уфа
Это (cyc.com), конечно, не настоящий смысл. Настоящий смысл должен выковываться в боях с настоящей окружающей действительностью. А здесь у нас исключительно текстовый интерфейс, словесно её (действительность) описывающий, но очень подробно и тщательно. Что уже весьма немало, на мой взгляд. Можно, например, уже пробовать замахнуться на "настоящий", "понимающий" машинный перевод, о котором мечтают со времён первых компьютеров. Можно (уже сейчас) спросить, почему был сделан тот или иной вывод, и (в отличие от нейронных сетей) получить совершенно понятный ответ.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение13.11.2018, 17:08 
Аватара пользователя


28/08/13

156
worm2 в сообщении #1353758 писал(а):
А здесь у нас исключительно текстовый интерфейс, словесно её (действительность) описывающий, но очень подробно и тщательно.

Конечно. Это полезно для большого количества задач.
Просто, если говорить именно о смысле, в контексте стартового сообщения топика, то проблема как раз и заключается в том, что действительность можно описать неограниченным наборов высказываний. И это еще без метафор, фразеологем и иносказаний. Я не спорю, что онтологии и дистрибутивная семантика полезны, я просто говорю, что в смысл как объект в них не содержится.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение13.11.2018, 17:35 


20/09/09
2041
Уфа
Alephegg в сообщении #1353749 писал(а):
Rasool, тут есть шероховатость одна, если что такое NPC понятно и строго определено, то что такое ИИ-полная задача - непонятно и вообще не определено, кроме как на уровне ассоциаций.

Видимо, имеется в виду, что для решения задачи понимания текста требуется смоделировать мышление человека, что сейчас технически невозможно. А так - можно производить логический вывод, можно попробовать формализовать такие логические операции, как индукция, дедукция, абстракция, аналогия и т.д.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение14.11.2018, 17:30 


20/09/09
2041
Уфа
Alephegg в сообщении #1353745 писал(а):
Отсутствие представления о том, что такое смысл текста. :)

Здесь, наверное, нужно провести аналогию с вопросно-ответными системами. Система должна уметь отвечать на вопросы по тексту. Например, исполнить такой запрос: найти в интернете все литературные произведения, где герой изменяет своей жене.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение14.11.2018, 17:49 


12/07/15
01/12/24
3317
г. Чехов
Rasool в сообщении #1353741 писал(а):
Такой, немного наивный вопрос. Что мешает построить семантические парсеры для интернет-страниц для последующего использования их в поисковых системах для поиска по смыслу текста, а не по ключевым словам (таких, как Google)? Или сейчас это не позволяют делать текущие технологии ("жесткие" парсеры не подходят, а парсеры на основе нейронных сетей еще не достаточно развиты)?

Ничего не мешает, это уже сделано. https://habr.com/company/yandex/blog/336094/

Цитата:
«Королёв» – это не одна конкретно взятая модель, а целый комплект технологий более глубокого применения нейронных сетей в поиске Яндекса. Это еще один важный шаг в сторону будущего, в котором Поиск будет ориентироваться на семантическое соответствие запросов и страниц не хуже, чем человек. Или даже лучше.


Проблема в том, что по вашему запросу действительно ничего нет. Либо ваш запрос некорректен или двусмысленный. Вините себя, а не поисковик.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение14.11.2018, 17:50 
Аватара пользователя


28/08/13

156
Rasool в сообщении #1354031 писал(а):
Система должна уметь отвечать на вопросы по тексту.

Должна, но никто не умеет. Даже в самом простом варианте. Например, запрос: "столица государства где говорят по русски" будет выдавать ссылки по ключам "столица", "язык", "русский". Почему? Потому, что для текущих вариантов NLP/NLU значениями являются слова (как байтовые массивы), а не их смыслы.

 Профиль  
                  
 
 Re: Семантические парсеры и поисковые системы
Сообщение14.11.2018, 18:10 


12/07/15
01/12/24
3317
г. Чехов
Alephegg в сообщении #1354041 писал(а):
Почему? Потому, что для текущих вариантов NLP/NLU значениями являются слова (как байтовые массивы), а не их смыслы.

Некомпетентное мнение. Знаниями являются множество массивов прямоугольных матриц со значениями типа double, иными словами, веса. То, что Вы нам вещаете - это определенно ложь. Или заблуждение.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Эта тема закрыта, вы не можете редактировать и оставлять сообщения в ней.  [ Сообщений: 23 ]  На страницу 1, 2  След.

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group