2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6 ... 21  След.
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение01.10.2018, 21:42 


27/08/16
8641
Pavia в сообщении #1343090 писал(а):
Основания есть. Помните провал ИИ в задачи чтения?
В чём он заключался?

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение02.10.2018, 05:12 


12/07/15
1749
Pavia в сообщении #1343090 писал(а):
Основания есть. Помните провал ИИ в задачи чтения?

Обратите внимание на то, как учится человек. Все знания с детства "пихают в рот насильно" родители, школа, ВУЗ (+очень важно самообучение, если есть интерес). Если ослабить давление, то обучения никакого не получится.

Всем хотелось бы иметь усилитель интеллекта, чтобы освоить всё за 20 минут - это давняя детская мечта каждого. Сильный интеллект - это на полном серьёзе заблуждение взрослых детей, оно основано на представлении о взрывном росте развития компьютерной техники и о детских усилителях интеллекта.

Однако, одной силой интеллекта данные не взять. Да и сила-то не наращивается так, как хотелось бы. Ну нету никакого усилителя интеллекта и сильного интеллекта. Всё банально: нужно тщательнее подготавливать данные. Приходится знания "насильно пихать в рот". И неважно, машине или человеку.

Не должно быть значительной разницы между тем, как опыт получает человек и как машина, иначе задача понимания естественного языка будет решена искусственно, понарошку. Вы можете подготовить реальный опыт машине?

Если взять распознавание изображений и речи, то здесь всё просто - в принципе, машина имеет равнозначный опыт работы с обучающими данными. Человек видит картинку и машина тоже. Исследования показывают, что машина достигает качества распознавания на уровне человека (порядка 95%), это общий предел для машины и человека в тех задачах, где они равноправны в смысле доступа к опыту, обучающим данным. Это говорит о равенстве сил интеллекта машины и человека.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение02.10.2018, 11:37 


27/08/16
8641
Mihaylo в сообщении #1343150 писал(а):
Если взять распознавание изображений и речи, то здесь всё просто - в принципе, машина имеет равнозначный опыт работы с обучающими данными. Человек видит картинку и машина тоже. Исследования показывают, что машина достигает качества распознавания на уровне человека (порядка 95%), это общий предел для машины и человека в тех задачах, где они равноправны в смысле доступа к опыту, обучающим данным. Это говорит о равенстве сил интеллекта машины и человека.
Процент распознавания - это понятие лукавое и требующее указания тестовой базы. Насколько мне известно, чистые печатные тексты компьютер читает лучше человека (той же машинистки, перепечатывающей текст) уже четверть века, а на отдельных шрифтах и того больше. Но тут ещё вопрос в том, что именно вы относите к понятию "искуственный интеллект"? Только ли нейросети, или специально написанные под задачу учителем эвристики тоже? Нейросети развились только в последние годы, это правда.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 06:08 
Аватара пользователя


28/08/13

156
Михайло не прав, факты говорят об обратном, чем меньше у человека возраст, тем легче он учится языку (начиная с двух-трех лет). Это особенно хорошо видно на детях при переезде в другую страну. Собственно, это явилось причиной возникновения модели порождающей грамматики, которая является очень популярной.

Проблема понимания ЕЯ в том, что очень мало людей понимают, что такое понимание. :) Как оно реализовано на уровне когнитивных функций естественного мышления. Что оно такое и как может быть реализовано в формальных системах. Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 11:56 


27/08/16
8641
Alephegg в сообщении #1343556 писал(а):
Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.
Вы это сами поняли, или тоже сторонний наблюдатель?

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 13:09 
Аватара пользователя


31/10/08
1244
Alephegg в сообщении #1343556 писал(а):
Михайло не прав, факты говорят об обратном, чем меньше у человека возраст, тем легче он учится языку (начиная с двух-трех лет). Это особенно хорошо видно на детях при переезде в другую страну.

Чем меньше возраст тем больше человек запоминает слов. Однако язык зависит не только от слов и их расположению в предложении. Насколько мне известно качественные переводчики появляются к 30 годам, а то и позже.

realeugene
Что такое понимание?
https://en.wikipedia.org/wiki/Reading_comprehension

Цитата:
Фундаментальные навыки, требуемые в эффективном понимании прочитанного, знают значение слов, способность понять значение слова от контекста беседы, способность следовать за организацией прохода и определить антецеденты и ссылки в нем, способность потянуть выводы из пассажа о его содержании, способность определить главную мысль о проходе, способность ответить на вопросы ответила в проходе, способность признать литературные устройства или логические структуры, используемые в проходе и определить его тон, понять ситуативное настроение (агенты, объекты, временные и пространственные ориентиры, случайные и намеренные сгибания, и т.д.) переданный для утверждений, опроса, командования, воздерживаясь и т.д. и наконец способности определить цель писателя, намерение и точку зрения, и потянуть выводы о писателе (семантика беседы). [3] [4]

Отсюда собственно и взялась задача о чтении, а вернее способность отвечать на вопросы.
https://rajpurkar.github.io/SQuAD-explorer/
В 2015 году ИИ стал одерживать победы над человеком во многих отраслях, шахматы, распознавание изображений, в последствии ГО.
Встал вопрос, а не появился ли у нас сильный ИИ? Одним из критериев сильного ИИ является способность самостоятельно обучаться не хуже человека.
Что предложил rajpurkar? Собственно он предложил взять искусственную сеть без вмешательства человека и сверить с обучением при помощи человека. EM и F1 модели. Как видно разница есть, это значит что сильный ИИ ещё нет.
Вторая проблема, что при добавлении в предложении мусорной информации ИИ начинал резко проседать по правильным ответам.
Цитата:
риходят к тому же выводу в другой области: работе с языком. Различные нейросети были натренированы на поиск ответов на вопросы в задаче, известной как SQuAD (Stanford Question Answering Database), в которой целью служит подсветка слов в определённой фразе, соответствующих заданному вопросу. К примеру, в одном случае натренированная система впечатляюще правильно, определила квотербека из выигравшей Суперкубок XXXIII команды, как Джона Элвея, на основе изучения небольшого параграфа. Но Джиа и Лиян показали, что простая вставка отвлекающих от темы предложений (например, о якобы случившейся победе Джеффа Дина в другой игре серии) привела к обрушению качества работы системы. У 16 моделей медианные показатели успеха упали с 75% до 36%.

Или были другие примеры в вопросе про количество фруктов если добавить в предложение количество стульев, то ИИ просто складывал числа.
Это свидетельствует о том что на вопросы можно отвечать без понимания текста. Для того что-бы понять понимает нужно всё же больше чем ответ на вопросы. Собственно в википедии это 1 из 7 пунктов. Считаю что ИИ нужно одновременно с ответами на вопросы по тексту, обучать логическим рассуждениям.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 13:22 


27/08/16
8641
Pavia в сообщении #1343591 писал(а):
Отсюда собственно и взялась задача о чтении, а вернее способность отвечать на вопросы.

А, понятно. Вы подразумевали "чтение" не в смысле OCR, а в смысле Comprehension. Т. е. не само чтение, а "причины чтения".

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 14:29 


20/09/09
1454
Уфа
Alephegg в сообщении #1343556 писал(а):
Проблема понимания ЕЯ в том, что очень мало людей понимают, что такое понимание. :) Как оно реализовано на уровне когнитивных функций естественного мышления. Что оно такое и как может быть реализовано в формальных системах. Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.

Рекомендую почитать книгу Кобозевой И.М. "Лингвистическая семантика", можно Ю. Д. Апресяна "Избранные труды том I
Лексическая семантика".
Понимание смысла текста сводится к тому, что субьект (человек или машина) сопоставляет смысл прочитанного с имеющимися знаниями о мире в голове. Если 5-летнему ребенку рассказать про синхрофазотрон, то он ничего не поймет, потому что он не обладает нужными знаниями о физике. В случае машины читаемый текст на ЕЯ можно преобразовывать в онтологию с помощью специального синтактико-семантического парсера и сравнить эту онтологию с имеющейся базой знаний в памяти. Тут уже потребуется логика, как говорил известный ученый в области инженерии знаний Джон Сова.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 14:39 
Аватара пользователя


28/08/13

156
Спасибо, парни! Я примерно об этом и говорил... :)

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 14:45 


27/08/16
8641
Rasool в сообщении #1343605 писал(а):
В случае машины читаемый текст на ЕЯ можно преобразовывать в онтологию с помощью специального синтактико-семантического парсера и сравнить эту онтологию с имеющейся базой знаний в памяти.

И где эти парсеры?
Для отдельных областей знаний, как я слышал, существуют. Но пока что не универсальные.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 15:31 


20/09/09
1454
Уфа
realeugene в сообщении #1343609 писал(а):
И где эти парсеры?
Для отдельных областей знаний, как я слышал, существуют. Но пока что не универсальные.

Например, этот.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 15:34 


27/08/16
8641
Rasool в сообщении #1343613 писал(а):
Например, этот
.
Слышал, что штука хорошая, но и с ним всё непросто.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 15:39 
Аватара пользователя


28/08/13

156
Rasool,
они в свое время к сказке Кот В Сапогах прикручивали свою вопросно-ответную систему в качестве демонстрации. Может и до сих пор где-то страничка работает, не знаю. Только вот незадача - страничка работала, а вот технология - нет. Что вполне объяснимо, поскольку, если для понимания текста нужно писать (насколько я понял - с помощью живых лингвистов) для каждой лексемы десять страниц формализованного контекста, тогда это задача с каждой страницей увеличивается, а не уменьшается.

Как это бывает, можно спросить у Дугласа Ленната - cyc.com - он уже сорок лет (могу ошибаться) свою Самую Правильную Онтологию Мира Как Он Есть На Самом Деле пишет.

-- 04.10.2018, 07:01 --

realeugene писал(а):
Вы это сами поняли, или тоже сторонний наблюдатель?

Я "этим" профессионально (то есть "это" является моим источником дохода) занимаюсь довольно давно. То, что люди не очень понимают, что такое понимание я привык, а вот то, что ИИшники не пытаются это понять - удивляет меня до сих пор...
:D

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 22:20 


20/09/09
1454
Уфа
Alephegg в сообщении #1343616 писал(а):
Я "этим" профессионально (то есть "это" является моим источником дохода) занимаюсь довольно давно. То, что люди не очень понимают, что такое понимание я привык, а вот то, что ИИшники не пытаются это понять - удивляет меня до сих пор... :D

Тот же Джон Сова утверждал, что задача NLU - понимания текста на ЕЯ - это "ИИ-полная задача". То есть может быть решена только при наличии "сильного ИИ".

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение04.10.2018, 23:48 
Аватара пользователя


28/08/13

156
Rasool в сообщении #1343690 писал(а):
Джон Сова утверждал, что задача NLU - понимания текста на ЕЯ - это "ИИ-полная задача"

А десять лет назад люди говорили, что ахиллес никогда не догонит черепаху компьютер никогда не обыграет человека в го. Не хуже меня знаете цену и прогнозам и голословным утверждениям. Тут даже вопрос не в том, как определить NLU и AIC, здесь самое главное дорожная карта. На мой вкус оба доминирующих сейчас варианта: а) оно само возникнет, нужно просто глубже обучать и б) соберем все модули в кучу, это и будет AGI-архитектура - ведут в тупик.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 314 ]  На страницу Пред.  1, 2, 3, 4, 5, 6 ... 21  След.

Модераторы: maxal, Toucan, PAV, Karan, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group