Deep Learning и задача понимания естественного языка

[realeugene]

Pavia в сообщении #1343090 писал(а):

Основания есть. Помните провал ИИ в задачи чтения?

В чём он заключался?

[Mihaylo]

Pavia в сообщении #1343090 писал(а):

Основания есть. Помните провал ИИ в задачи чтения?

Обратите внимание на то, как учится человек. Все знания с детства "пихают в рот насильно" родители, школа, ВУЗ (+очень важно самообучение, если есть интерес). Если ослабить давление, то обучения никакого не получится.

Всем хотелось бы иметь усилитель интеллекта, чтобы освоить всё за 20 минут - это давняя детская мечта каждого. Сильный интеллект - это на полном серьёзе заблуждение взрослых детей, оно основано на представлении о взрывном росте развития компьютерной техники и о детских усилителях интеллекта.

Однако, одной силой интеллекта данные не взять. Да и сила-то не наращивается так, как хотелось бы. Ну нету никакого усилителя интеллекта и сильного интеллекта. Всё банально: нужно тщательнее подготавливать данные. Приходится знания "насильно пихать в рот". И неважно, машине или человеку.

Не должно быть значительной разницы между тем, как опыт получает человек и как машина, иначе задача понимания естественного языка будет решена искусственно, понарошку. Вы можете подготовить реальный опыт машине?

Если взять распознавание изображений и речи, то здесь всё просто - в принципе, машина имеет равнозначный опыт работы с обучающими данными. Человек видит картинку и машина тоже. Исследования показывают, что машина достигает качества распознавания на уровне человека (порядка 95%), это общий предел для машины и человека в тех задачах, где они равноправны в смысле доступа к опыту, обучающим данным. Это говорит о равенстве сил интеллекта машины и человека.

[realeugene]

Mihaylo в сообщении #1343150 писал(а):

Если взять распознавание изображений и речи, то здесь всё просто - в принципе, машина имеет равнозначный опыт работы с обучающими данными. Человек видит картинку и машина тоже. Исследования показывают, что машина достигает качества распознавания на уровне человека (порядка 95%), это общий предел для машины и человека в тех задачах, где они равноправны в смысле доступа к опыту, обучающим данным. Это говорит о равенстве сил интеллекта машины и человека.

Процент распознавания - это понятие лукавое и требующее указания тестовой базы. Насколько мне известно, чистые печатные тексты компьютер читает лучше человека (той же машинистки, перепечатывающей текст) уже четверть века, а на отдельных шрифтах и того больше. Но тут ещё вопрос в том, что именно вы относите к понятию "искуственный интеллект"? Только ли нейросети, или специально написанные под задачу учителем эвристики тоже? Нейросети развились только в последние годы, это правда.

[Alephegg]

Михайло не прав, факты говорят об обратном, чем меньше у человека возраст, тем легче он учится языку (начиная с двух-трех лет). Это особенно хорошо видно на детях при переезде в другую страну. Собственно, это явилось причиной возникновения модели порождающей грамматики, которая является очень популярной.

Проблема понимания ЕЯ в том, что очень мало людей понимают, что такое понимание. :) Как оно реализовано на уровне когнитивных функций естественного мышления. Что оно такое и как может быть реализовано в формальных системах. Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.

[realeugene]

Alephegg в сообщении #1343556 писал(а):

Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.

Вы это сами поняли, или тоже сторонний наблюдатель?

[Pavia]

Alephegg в сообщении #1343556 писал(а):

Михайло не прав, факты говорят об обратном, чем меньше у человека возраст, тем легче он учится языку (начиная с двух-трех лет). Это особенно хорошо видно на детях при переезде в другую страну.

Чем меньше возраст тем больше человек запоминает слов. Однако язык зависит не только от слов и их расположению в предложении. Насколько мне известно качественные переводчики появляются к 30 годам, а то и позже.

realeugene
Что такое понимание?
https://en.wikipedia.org/wiki/Reading_comprehension

Цитата:

Фундаментальные навыки, требуемые в эффективном понимании прочитанного, знают значение слов, способность понять значение слова от контекста беседы, способность следовать за организацией прохода и определить антецеденты и ссылки в нем, способность потянуть выводы из пассажа о его содержании, способность определить главную мысль о проходе, способность ответить на вопросы ответила в проходе, способность признать литературные устройства или логические структуры, используемые в проходе и определить его тон, понять ситуативное настроение (агенты, объекты, временные и пространственные ориентиры, случайные и намеренные сгибания, и т.д.) переданный для утверждений, опроса, командования, воздерживаясь и т.д. и наконец способности определить цель писателя, намерение и точку зрения, и потянуть выводы о писателе (семантика беседы). [3] [4]

Отсюда собственно и взялась задача о чтении, а вернее способность отвечать на вопросы.
https://rajpurkar.github.io/SQuAD-explorer/
В 2015 году ИИ стал одерживать победы над человеком во многих отраслях, шахматы, распознавание изображений, в последствии ГО.
Встал вопрос, а не появился ли у нас сильный ИИ? Одним из критериев сильного ИИ является способность самостоятельно обучаться не хуже человека.
Что предложил rajpurkar? Собственно он предложил взять искусственную сеть без вмешательства человека и сверить с обучением при помощи человека. EM и F1 модели. Как видно разница есть, это значит что сильный ИИ ещё нет.
Вторая проблема, что при добавлении в предложении мусорной информации ИИ начинал резко проседать по правильным ответам.

Цитата:

риходят к тому же выводу в другой области: работе с языком. Различные нейросети были натренированы на поиск ответов на вопросы в задаче, известной как SQuAD (Stanford Question Answering Database), в которой целью служит подсветка слов в определённой фразе, соответствующих заданному вопросу. К примеру, в одном случае натренированная система впечатляюще правильно, определила квотербека из выигравшей Суперкубок XXXIII команды, как Джона Элвея, на основе изучения небольшого параграфа. Но Джиа и Лиян показали, что простая вставка отвлекающих от темы предложений (например, о якобы случившейся победе Джеффа Дина в другой игре серии) привела к обрушению качества работы системы. У 16 моделей медианные показатели успеха упали с 75% до 36%.

Или были другие примеры в вопросе про количество фруктов если добавить в предложение количество стульев, то ИИ просто складывал числа.
Это свидетельствует о том что на вопросы можно отвечать без понимания текста. Для того что-бы понять понимает нужно всё же больше чем ответ на вопросы. Собственно в википедии это 1 из 7 пунктов. Считаю что ИИ нужно одновременно с ответами на вопросы по тексту, обучать логическим рассуждениям.

[realeugene]

Pavia в сообщении #1343591 писал(а):

Отсюда собственно и взялась задача о чтении, а вернее способность отвечать на вопросы.

А, понятно. Вы подразумевали "чтение" не в смысле OCR, а в смысле Comprehension. Т. е. не само чтение, а "причины чтения".

[Rasool]

Alephegg в сообщении #1343556 писал(а):

Проблема понимания ЕЯ в том, что очень мало людей понимают, что такое понимание. :) Как оно реализовано на уровне когнитивных функций естественного мышления. Что оно такое и как может быть реализовано в формальных системах. Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.

Рекомендую почитать книгу Кобозевой И.М. "Лингвистическая семантика", можно Ю. Д. Апресяна "Избранные труды том I
Лексическая семантика".
Понимание смысла текста сводится к тому, что субьект (человек или машина) сопоставляет смысл прочитанного с имеющимися знаниями о мире в голове. Если 5-летнему ребенку рассказать про синхрофазотрон, то он ничего не поймет, потому что он не обладает нужными знаниями о физике. В случае машины читаемый текст на ЕЯ можно преобразовывать в онтологию с помощью специального синтактико-семантического парсера и сравнить эту онтологию с имеющейся базой знаний в памяти. Тут уже потребуется логика, как говорил известный ученый в области инженерии знаний Джон Сова.

[Alephegg]

Спасибо, парни! Я примерно об этом и говорил... :)

[realeugene]

Rasool в сообщении #1343605 писал(а):

В случае машины читаемый текст на ЕЯ можно преобразовывать в онтологию с помощью специального синтактико-семантического парсера и сравнить эту онтологию с имеющейся базой знаний в памяти.

И где эти парсеры?
Для отдельных областей знаний, как я слышал, существуют. Но пока что не универсальные.

[Rasool]

realeugene в сообщении #1343609 писал(а):

И где эти парсеры?
Для отдельных областей знаний, как я слышал, существуют. Но пока что не универсальные.

Например, этот.

[realeugene]

Rasool в сообщении #1343613 писал(а):

Например, этот
.

Слышал, что штука хорошая, но и с ним всё непросто.

[Alephegg]

Rasool,
они в свое время к сказке Кот В Сапогах прикручивали свою вопросно-ответную систему в качестве демонстрации. Может и до сих пор где-то страничка работает, не знаю. Только вот незадача - страничка работала, а вот технология - нет. Что вполне объяснимо, поскольку, если для понимания текста нужно писать (насколько я понял - с помощью живых лингвистов) для каждой лексемы десять страниц формализованного контекста, тогда это задача с каждой страницей увеличивается, а не уменьшается.

Как это бывает, можно спросить у Дугласа Ленната - cyc.com - он уже сорок лет (могу ошибаться) свою Самую Правильную Онтологию Мира Как Он Есть На Самом Деле пишет.

-- 04.10.2018, 07:01 --

realeugene писал(а):

Вы это сами поняли, или тоже сторонний наблюдатель?

Я "этим" профессионально (то есть "это" является моим источником дохода) занимаюсь довольно давно. То, что люди не очень понимают, что такое понимание я привык, а вот то, что ИИшники не пытаются это понять - удивляет меня до сих пор...

[Rasool]

Alephegg в сообщении #1343616 писал(а):

Я "этим" профессионально (то есть "это" является моим источником дохода) занимаюсь довольно давно. То, что люди не очень понимают, что такое понимание я привык, а вот то, что ИИшники не пытаются это понять - удивляет меня до сих пор...

Тот же Джон Сова утверждал, что задача NLU - понимания текста на ЕЯ - это "ИИ-полная задача". То есть может быть решена только при наличии "сильного ИИ".

[Alephegg]

Rasool в сообщении #1343690 писал(а):

Джон Сова утверждал, что задача NLU - понимания текста на ЕЯ - это "ИИ-полная задача"

А десять лет назад люди говорили, что ахиллес никогда не догонит черепаху компьютер никогда не обыграет человека в го. Не хуже меня знаете цену и прогнозам и голословным утверждениям. Тут даже вопрос не в том, как определить NLU и AIC, здесь самое главное дорожная карта. На мой вкус оба доминирующих сейчас варианта: а) оно само возникнет, нужно просто глубже обучать и б) соберем все модули в кучу, это и будет AGI-архитектура - ведут в тупик.