2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2, 3, 4, 5, 6 ... 21  След.
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение01.10.2018, 21:42 
Pavia в сообщении #1343090 писал(а):
Основания есть. Помните провал ИИ в задачи чтения?
В чём он заключался?

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение02.10.2018, 05:12 
Pavia в сообщении #1343090 писал(а):
Основания есть. Помните провал ИИ в задачи чтения?

Обратите внимание на то, как учится человек. Все знания с детства "пихают в рот насильно" родители, школа, ВУЗ (+очень важно самообучение, если есть интерес). Если ослабить давление, то обучения никакого не получится.

Всем хотелось бы иметь усилитель интеллекта, чтобы освоить всё за 20 минут - это давняя детская мечта каждого. Сильный интеллект - это на полном серьёзе заблуждение взрослых детей, оно основано на представлении о взрывном росте развития компьютерной техники и о детских усилителях интеллекта.

Однако, одной силой интеллекта данные не взять. Да и сила-то не наращивается так, как хотелось бы. Ну нету никакого усилителя интеллекта и сильного интеллекта. Всё банально: нужно тщательнее подготавливать данные. Приходится знания "насильно пихать в рот". И неважно, машине или человеку.

Не должно быть значительной разницы между тем, как опыт получает человек и как машина, иначе задача понимания естественного языка будет решена искусственно, понарошку. Вы можете подготовить реальный опыт машине?

Если взять распознавание изображений и речи, то здесь всё просто - в принципе, машина имеет равнозначный опыт работы с обучающими данными. Человек видит картинку и машина тоже. Исследования показывают, что машина достигает качества распознавания на уровне человека (порядка 95%), это общий предел для машины и человека в тех задачах, где они равноправны в смысле доступа к опыту, обучающим данным. Это говорит о равенстве сил интеллекта машины и человека.

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение02.10.2018, 11:37 
Mihaylo в сообщении #1343150 писал(а):
Если взять распознавание изображений и речи, то здесь всё просто - в принципе, машина имеет равнозначный опыт работы с обучающими данными. Человек видит картинку и машина тоже. Исследования показывают, что машина достигает качества распознавания на уровне человека (порядка 95%), это общий предел для машины и человека в тех задачах, где они равноправны в смысле доступа к опыту, обучающим данным. Это говорит о равенстве сил интеллекта машины и человека.
Процент распознавания - это понятие лукавое и требующее указания тестовой базы. Насколько мне известно, чистые печатные тексты компьютер читает лучше человека (той же машинистки, перепечатывающей текст) уже четверть века, а на отдельных шрифтах и того больше. Но тут ещё вопрос в том, что именно вы относите к понятию "искуственный интеллект"? Только ли нейросети, или специально написанные под задачу учителем эвристики тоже? Нейросети развились только в последние годы, это правда.

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 06:08 
Аватара пользователя
Михайло не прав, факты говорят об обратном, чем меньше у человека возраст, тем легче он учится языку (начиная с двух-трех лет). Это особенно хорошо видно на детях при переезде в другую страну. Собственно, это явилось причиной возникновения модели порождающей грамматики, которая является очень популярной.

Проблема понимания ЕЯ в том, что очень мало людей понимают, что такое понимание. :) Как оно реализовано на уровне когнитивных функций естественного мышления. Что оно такое и как может быть реализовано в формальных системах. Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 11:56 
Alephegg в сообщении #1343556 писал(а):
Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.
Вы это сами поняли, или тоже сторонний наблюдатель?

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 13:09 
Аватара пользователя
Alephegg в сообщении #1343556 писал(а):
Михайло не прав, факты говорят об обратном, чем меньше у человека возраст, тем легче он учится языку (начиная с двух-трех лет). Это особенно хорошо видно на детях при переезде в другую страну.

Чем меньше возраст тем больше человек запоминает слов. Однако язык зависит не только от слов и их расположению в предложении. Насколько мне известно качественные переводчики появляются к 30 годам, а то и позже.

realeugene
Что такое понимание?
https://en.wikipedia.org/wiki/Reading_comprehension

Цитата:
Фундаментальные навыки, требуемые в эффективном понимании прочитанного, знают значение слов, способность понять значение слова от контекста беседы, способность следовать за организацией прохода и определить антецеденты и ссылки в нем, способность потянуть выводы из пассажа о его содержании, способность определить главную мысль о проходе, способность ответить на вопросы ответила в проходе, способность признать литературные устройства или логические структуры, используемые в проходе и определить его тон, понять ситуативное настроение (агенты, объекты, временные и пространственные ориентиры, случайные и намеренные сгибания, и т.д.) переданный для утверждений, опроса, командования, воздерживаясь и т.д. и наконец способности определить цель писателя, намерение и точку зрения, и потянуть выводы о писателе (семантика беседы). [3] [4]

Отсюда собственно и взялась задача о чтении, а вернее способность отвечать на вопросы.
https://rajpurkar.github.io/SQuAD-explorer/
В 2015 году ИИ стал одерживать победы над человеком во многих отраслях, шахматы, распознавание изображений, в последствии ГО.
Встал вопрос, а не появился ли у нас сильный ИИ? Одним из критериев сильного ИИ является способность самостоятельно обучаться не хуже человека.
Что предложил rajpurkar? Собственно он предложил взять искусственную сеть без вмешательства человека и сверить с обучением при помощи человека. EM и F1 модели. Как видно разница есть, это значит что сильный ИИ ещё нет.
Вторая проблема, что при добавлении в предложении мусорной информации ИИ начинал резко проседать по правильным ответам.
Цитата:
риходят к тому же выводу в другой области: работе с языком. Различные нейросети были натренированы на поиск ответов на вопросы в задаче, известной как SQuAD (Stanford Question Answering Database), в которой целью служит подсветка слов в определённой фразе, соответствующих заданному вопросу. К примеру, в одном случае натренированная система впечатляюще правильно, определила квотербека из выигравшей Суперкубок XXXIII команды, как Джона Элвея, на основе изучения небольшого параграфа. Но Джиа и Лиян показали, что простая вставка отвлекающих от темы предложений (например, о якобы случившейся победе Джеффа Дина в другой игре серии) привела к обрушению качества работы системы. У 16 моделей медианные показатели успеха упали с 75% до 36%.

Или были другие примеры в вопросе про количество фруктов если добавить в предложение количество стульев, то ИИ просто складывал числа.
Это свидетельствует о том что на вопросы можно отвечать без понимания текста. Для того что-бы понять понимает нужно всё же больше чем ответ на вопросы. Собственно в википедии это 1 из 7 пунктов. Считаю что ИИ нужно одновременно с ответами на вопросы по тексту, обучать логическим рассуждениям.

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 13:22 
Pavia в сообщении #1343591 писал(а):
Отсюда собственно и взялась задача о чтении, а вернее способность отвечать на вопросы.

А, понятно. Вы подразумевали "чтение" не в смысле OCR, а в смысле Comprehension. Т. е. не само чтение, а "причины чтения".

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 14:29 
Alephegg в сообщении #1343556 писал(а):
Проблема понимания ЕЯ в том, что очень мало людей понимают, что такое понимание. :) Как оно реализовано на уровне когнитивных функций естественного мышления. Что оно такое и как может быть реализовано в формальных системах. Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.

Рекомендую почитать книгу Кобозевой И.М. "Лингвистическая семантика", можно Ю. Д. Апресяна "Избранные труды том I
Лексическая семантика".
Понимание смысла текста сводится к тому, что субьект (человек или машина) сопоставляет смысл прочитанного с имеющимися знаниями о мире в голове. Если 5-летнему ребенку рассказать про синхрофазотрон, то он ничего не поймет, потому что он не обладает нужными знаниями о физике. В случае машины читаемый текст на ЕЯ можно преобразовывать в онтологию с помощью специального синтактико-семантического парсера и сравнить эту онтологию с имеющейся базой знаний в памяти. Тут уже потребуется логика, как говорил известный ученый в области инженерии знаний Джон Сова.

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 14:39 
Аватара пользователя
Спасибо, парни! Я примерно об этом и говорил... :)

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 14:45 
Rasool в сообщении #1343605 писал(а):
В случае машины читаемый текст на ЕЯ можно преобразовывать в онтологию с помощью специального синтактико-семантического парсера и сравнить эту онтологию с имеющейся базой знаний в памяти.

И где эти парсеры?
Для отдельных областей знаний, как я слышал, существуют. Но пока что не универсальные.

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 15:31 
realeugene в сообщении #1343609 писал(а):
И где эти парсеры?
Для отдельных областей знаний, как я слышал, существуют. Но пока что не универсальные.

Например, этот.

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 15:34 
Rasool в сообщении #1343613 писал(а):
Например, этот
.
Слышал, что штука хорошая, но и с ним всё непросто.

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 15:39 
Аватара пользователя
Rasool,
они в свое время к сказке Кот В Сапогах прикручивали свою вопросно-ответную систему в качестве демонстрации. Может и до сих пор где-то страничка работает, не знаю. Только вот незадача - страничка работала, а вот технология - нет. Что вполне объяснимо, поскольку, если для понимания текста нужно писать (насколько я понял - с помощью живых лингвистов) для каждой лексемы десять страниц формализованного контекста, тогда это задача с каждой страницей увеличивается, а не уменьшается.

Как это бывает, можно спросить у Дугласа Ленната - cyc.com - он уже сорок лет (могу ошибаться) свою Самую Правильную Онтологию Мира Как Он Есть На Самом Деле пишет.

-- 04.10.2018, 07:01 --

realeugene писал(а):
Вы это сами поняли, или тоже сторонний наблюдатель?

Я "этим" профессионально (то есть "это" является моим источником дохода) занимаюсь довольно давно. То, что люди не очень понимают, что такое понимание я привык, а вот то, что ИИшники не пытаются это понять - удивляет меня до сих пор...
:D

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 22:20 
Alephegg в сообщении #1343616 писал(а):
Я "этим" профессионально (то есть "это" является моим источником дохода) занимаюсь довольно давно. То, что люди не очень понимают, что такое понимание я привык, а вот то, что ИИшники не пытаются это понять - удивляет меня до сих пор... :D

Тот же Джон Сова утверждал, что задача NLU - понимания текста на ЕЯ - это "ИИ-полная задача". То есть может быть решена только при наличии "сильного ИИ".

 
 
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 23:48 
Аватара пользователя
Rasool в сообщении #1343690 писал(а):
Джон Сова утверждал, что задача NLU - понимания текста на ЕЯ - это "ИИ-полная задача"

А десять лет назад люди говорили, что ахиллес никогда не догонит черепаху компьютер никогда не обыграет человека в го. Не хуже меня знаете цену и прогнозам и голословным утверждениям. Тут даже вопрос не в том, как определить NLU и AIC, здесь самое главное дорожная карта. На мой вкус оба доминирующих сейчас варианта: а) оно само возникнет, нужно просто глубже обучать и б) соберем все модули в кучу, это и будет AGI-архитектура - ведут в тупик.

 
 
 [ Сообщений: 314 ]  На страницу Пред.  1, 2, 3, 4, 5, 6 ... 21  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group