Семантические парсеры и поисковые системы

[Rasool]

Такой, немного наивный вопрос. Что мешает построить семантические парсеры для интернет-страниц для последующего использования их в поисковых системах для поиска по смыслу текста, а не по ключевым словам (таких, как Google)? Или сейчас это не позволяют делать текущие технологии ("жесткие" парсеры не подходят, а парсеры на основе нейронных сетей еще не достаточно развиты)?

[Alephegg]

Rasool в сообщении #1353741 писал(а):

Что мешает построить семантические парсеры для интернет-страниц для последующего использования их в поисковых системах для поиска по смыслу текста

Отсутствие представления о том, что такое смысл текста. :)

[Rasool]

Alephegg в сообщении #1353745 писал(а):

Отсутствие представления о том, что такое смысл текста. :)

Смысл текста - это структура, соответствующая тексту, отображающая реальность. Например, в виде онтологии.

[Alephegg]

Rasool в сообщении #1353746 писал(а):

отображающая реальность

Иными словами, чтобы построить смысл текста необходимо иметь представление о реальности. В форме онтологии. Есть такой подход, есть тридцать (или сорок, могу ошибаться) лет разработок и огромное финансирование. Даг Ленат и его cyc.com, полюбопытствуйте, если хотите. У них есть всё для успешной работы. Результатов нет. То есть, смысл - это что-то другое.

[Rasool]

Вообще-то авторитетный ученый в области инженерии знаний Джон Сова в одном из обсуждений в LinkedIn утверждал, что "понимание текста - это ИИ-полная задача". Но студентам в этой области советовал изучать логику.

[Alephegg]

Rasool, тут есть шероховатость одна, если что такое NPC понятно и строго определено, то что такое ИИ-полная задача - непонятно и вообще не определено, кроме как на уровне ассоциаций.

[worm2]

Alephegg в сообщении #1353747 писал(а):

Результатов нет.

Я думаю, те результаты, которые запланированы, достигаются. Это же просто база данных, которая пополняется медленно, но верно. Вряд ли в cyc.com кто-нибудь верит, что когда-нибудь эта база начнёт обучаться сама и выдавать нечто отличное от того, что в неё положили. А то, что в ней есть, приносит пользу уже сейчас, причём никто не запрещает использовать её в комбинации с каким угодно другим AI.

[Alephegg]

worm2 в сообщении #1353751 писал(а):

Это же просто база данных

"Это"? Что "это"? Если полагать, что смысл - это какая-то конструкция из слов (базы данных, базы "знаний", онтологии, тезаурусы, словари и т.п.), то неизбежно окажется, что либо часть слов будет неопределена, либо определения будут циркулярными, либо какая-то комбинация этого. То есть у нас всегда окажется часть слов (с наибольшим индексом использования), которая не будет определена даже таким забавным способом.

[worm2]

Это (cyc.com), конечно, не настоящий смысл. Настоящий смысл должен выковываться в боях с настоящей окружающей действительностью. А здесь у нас исключительно текстовый интерфейс, словесно её (действительность) описывающий, но очень подробно и тщательно. Что уже весьма немало, на мой взгляд. Можно, например, уже пробовать замахнуться на "настоящий", "понимающий" машинный перевод, о котором мечтают со времён первых компьютеров. Можно (уже сейчас) спросить, почему был сделан тот или иной вывод, и (в отличие от нейронных сетей) получить совершенно понятный ответ.

[Alephegg]

worm2 в сообщении #1353758 писал(а):

А здесь у нас исключительно текстовый интерфейс, словесно её (действительность) описывающий, но очень подробно и тщательно.

Конечно. Это полезно для большого количества задач.
Просто, если говорить именно о смысле, в контексте стартового сообщения топика, то проблема как раз и заключается в том, что действительность можно описать неограниченным наборов высказываний. И это еще без метафор, фразеологем и иносказаний. Я не спорю, что онтологии и дистрибутивная семантика полезны, я просто говорю, что в смысл как объект в них не содержится.

[Rasool]

Alephegg в сообщении #1353749 писал(а):

Rasool, тут есть шероховатость одна, если что такое NPC понятно и строго определено, то что такое ИИ-полная задача - непонятно и вообще не определено, кроме как на уровне ассоциаций.

Видимо, имеется в виду, что для решения задачи понимания текста требуется смоделировать мышление человека, что сейчас технически невозможно. А так - можно производить логический вывод, можно попробовать формализовать такие логические операции, как индукция, дедукция, абстракция, аналогия и т.д.

[Rasool]

Alephegg в сообщении #1353745 писал(а):

Отсутствие представления о том, что такое смысл текста. :)

Здесь, наверное, нужно провести аналогию с вопросно-ответными системами. Система должна уметь отвечать на вопросы по тексту. Например, исполнить такой запрос: найти в интернете все литературные произведения, где герой изменяет своей жене.

[Mihaylo]

Rasool в сообщении #1353741 писал(а):

Такой, немного наивный вопрос. Что мешает построить семантические парсеры для интернет-страниц для последующего использования их в поисковых системах для поиска по смыслу текста, а не по ключевым словам (таких, как Google)? Или сейчас это не позволяют делать текущие технологии ("жесткие" парсеры не подходят, а парсеры на основе нейронных сетей еще не достаточно развиты)?

Ничего не мешает, это уже сделано. https://habr.com/company/yandex/blog/336094/

Цитата:

«Королёв» – это не одна конкретно взятая модель, а целый комплект технологий более глубокого применения нейронных сетей в поиске Яндекса. Это еще один важный шаг в сторону будущего, в котором Поиск будет ориентироваться на семантическое соответствие запросов и страниц не хуже, чем человек. Или даже лучше.

Проблема в том, что по вашему запросу действительно ничего нет. Либо ваш запрос некорректен или двусмысленный. Вините себя, а не поисковик.

[Alephegg]

Rasool в сообщении #1354031 писал(а):

Система должна уметь отвечать на вопросы по тексту.

Должна, но никто не умеет. Даже в самом простом варианте. Например, запрос: "столица государства где говорят по русски" будет выдавать ссылки по ключам "столица", "язык", "русский". Почему? Потому, что для текущих вариантов NLP/NLU значениями являются слова (как байтовые массивы), а не их смыслы.

[Mihaylo]

Alephegg в сообщении #1354041 писал(а):

Почему? Потому, что для текущих вариантов NLP/NLU значениями являются слова (как байтовые массивы), а не их смыслы.

Некомпетентное мнение. Знаниями являются множество массивов прямоугольных матриц со значениями типа double, иными словами, веса. То, что Вы нам вещаете - это определенно ложь. Или заблуждение.