2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки





Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 ИИ-полная задача понимания ЕЯ-текста
Сообщение09.05.2017, 05:43 


20/09/09
675
Уфа
В LinkedIn в одной из групп разгорелась следующая дискуссия (привожу для точности на английском языке):
Цитата:
John Sowa
In December, Google bragged about their neural MT system (GNMT), which made a vast improvement for English to and from German, French, Spanish, and Chinese. Last week, I tested GNMT on those languages. I agree that their syntax is better, but their semantics is just as bad. See slides 25 to 29 of http://www.jfsowa.com/talks/nlu.pdf . I just ran the examples on slide 29 last week.
For examples of *cognitive* learning, see http://www.jfsowa.com/talks/cogmem.pdf . These slides show 4 applications implemented for *paying* clients.

Rasool
Dear Dr. Sowa,
I'm interested in the modern works on artificial intelligence: machine learning, etc.
As a world-renowned expert in the field of knowledge engineering, I'd appreciate your opinion on the future of the field. Particularly, do you foresee any future breakthroughs in the field of semantics in natural language processing, for example in machine translation, associated with the use of ontologies and with an increased performance of computers?
Thank you.

Rasool
Did you hear about ABBYY Compreno - Natural Language Processing technology developed in russian company ABBYY? https://www.abbyy.com/compreno/

John Sowa
Dear Rasool, John K, and anyone else. The next major breakthrough for AI and NLP requires an integration of the traditional cognitive methods of AI with both perceptual *and* cognitive learning methods. I uploaded a revised version of http://www.jfsowa.com/talks/cogmem.pdf that has a few more slides and makes a sharper distinction between perceptual learning and cognitive learning. For related issues of neuroscience, see http://www.jfsowa.com/talks/vrmind.pdf .
Re Google's report on GNMT: I saw it, read it, and cited it in my nlu.pdf slides. Conclusion: it does better sentence-level syntax, but it can't do paragraph-level anaphora and semantics. Try running my examples on other languages.
Re ABBYY: I downloaded their 4-page report. The only new point I saw was their hierarchy of 130,000 concepts. That is not impressive. The Kyndi technology starts with a base ontology and can derive new concepts dynamically from any number of documents -- no annotations needed.

John Sowa
John K, I didn't have room in the previous note to say more about conceptual graphs. Basic principle: the names in circles represent predicates in predicate calculus; the names in boxes represent types of entities. Since the name 'Support' is in a box, it represents an entity type. If that name were inside an oval, it would represent a relation type (predicate). If you want to quantify over verbs or refer to them with a pronoun, put them in a box rather than a circle.
For an article that describes conceptual graphs and related systems, see http://www.jfsowa.com/pubs/eg2cg.pdf . For more detail, see the references at the end of the article -- including the ISO standard for Common Logic.

Koos Vanderwilt
Some comments regarding this question from Jason Baldridge and some others on Twitter (of course limited format). Prof Manning's paper on the relationship between Deep Learning and (computational) linguistics is the subject of this Twitter exchange. I recommend reading: http://www.mitpressjournals.org/doi/pdf ... LI_a_00239

Koos Vanderwilt
Dr Sowa's philosophy seems to foreshadow some Semantic Web devlopments? Another tangent: Walid Saba has consistently argued logic and the study of language belong together in various and sundry LinkedIn discussions.

John Sowa
Koos, I agree with Chris Manning and Walid Saba. I also agree with Martin Kay, who said that NL understanding is an AI complete problem: it won't be accomplished until *every* major problem in AI has been solved. No single method, by itself, is sufficient for NL understanding. But if you include *every* AI method that has been developed in the past half century, you can come close.
The one additional method that the cogmem.pdf slides introduce is the ability to encode arbitrary graphs in a form that allows graph search and retrieval in log(N) time, where N is the number of graphs in your knowledge base. When you add that to your AI toolkit, you enable *all* of the traditional AI tools to scale to the size of the WWW. That is a major, major breakthrough.
Note to students: Don't neglect logic. See http://www.jfsowa.com/pubs/fflogic.pdf .

Rasool
I'm not a high skilled expert in artificial intelligence.
Could we hope that progress is possible in the field of semantics in natural language processing associated with the use of Deep Learning? The success of AlphaGo demonstrated the possibility of using neural networks in modeling multi-step processes. Also, the success of Google-translator in the syntactic translation takes place.
Perhaps, it will be possible to use new and future results of research on the work of the human brain related to the ways of storing and processing concepts and entities in the cortex?
В связи с этим я ищу, где можно почитать по теме понимания текста на естественном языке. Для себя понял, что для понимания текста человеку или машине необходимы априорные знания о мире (как правило, бессмысленно рассказывать 5-летнему ребенку о строении синхрофазотрона).
Отсюда возникает вопрос о возможности использования классических баз знаний для понимания текста, принадлежащего одной из областей знания. Задача звучит почти фантастически, поэтому встает вопрос о границах возможного в понимании смысла текста, необходимых для коммерческого применения (семантический поиск, классификация документов, машинный перевод и т.д.).
В Википедии нашел кое-что по предыстории решения задачи понимания текста на ЕЯ: теория "Смысл-Текст" И. А. Мельчука.

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение09.05.2017, 09:58 
Заслуженный участник
Аватара пользователя


09/09/14
4357
Rasool в сообщении #1215166 писал(а):
В связи с этим я ищу, где можно почитать по теме понимания текста на естественном языке.
Сама постановка задачи о понимании обычно ставится намного шире, чем Вы поняли для себя. Что если начать с Вики про NLP и дальше по ссылкам?

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение09.05.2017, 13:19 


20/09/09
675
Уфа
Я так понимаю, что основная проблема - в том, как перекодировать текст на естественном языке в семантическую сеть (или подобную семантическую структуру)?

-- Вт май 09, 2017 16:48:08 --

grizzly в сообщении #1215181 писал(а):
Rasool в сообщении #1215166 писал(а):
В связи с этим я ищу, где можно почитать по теме понимания текста на естественном языке.
Сама постановка задачи о понимании обычно ставится намного шире, чем Вы поняли для себя. Что если начать с Вики про NLP и дальше по ссылкам?

Спасибо.

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение09.05.2017, 14:25 
Заслуженный участник
Аватара пользователя


09/09/14
4357
Rasool в сообщении #1215218 писал(а):
Я так понимаю, что основная проблема - в том, как перекодировать текст на естественном языке в семантическую сеть (или подобную семантическую структуру)?
Ну это только в одном из подходов (самом ценном и самом сложном, я думаю). Мечты довести этот подход (с математической точностью и строгостью) за 10 лет до уровня машинного перевода были особенно популярны полвека тому назад и тогда же умерли. Работы в этом направлении ведутся, хотя на практике всё больше используются статистическая обработка.

И ещё. Задача создать семантическую сеть каждого предложения в контексте текста сама по себе достаточно понятна, сколько бы сложной она не была. А вот выдать на выход из этой сети нужное -- задача намного менее приятная и вряд ли может быть решена однозначно (люди в этом вопросе тоже ошибаются и значительно чаще, чем принято считать). Поэтому приходится углубляться в морфологию, фонологию, синтаксис, орфографию и т.п. На практике помогает статистическая обработка: смотрим на слова, смотрим на контекст, смотрим на статистику и выбираем наиболее вероятную из возможностей.

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение09.05.2017, 15:46 


20/09/09
675
Уфа
Сейчас наблюдается бурное развитие нейронных сетей (глубокое обучение и т.д.). В связи с этим, наверное, возможен прогресс в статистической обработке? Появились такие вещи, как сеть глубокого обучения в Google-переводчике и т.д.

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение09.05.2017, 16:08 
Заслуженный участник
Аватара пользователя


09/09/14
4357
Rasool
У меня самого есть только обрывочные знания, почерпнутые большей частью из популярной литературы и обсуждений в достойных сообществах. Да, я думаю, что на практике спасает только статистическая обработка. Хотя наработки во всех направлениях тоже не пропадают -- какие-то элементы используются со всех развитых подходов. В тех же корпусах тысячи волонтёров-энтузиастов делают разметки миллионам предложений и всё это накапливается в базах данных. Когда-то и это количество перейдёт в качество.

Относительно машинного перевода. В начале века считался перспективным подход с использованием готовых фраз из пополняемой базы данных надёжных источников (профессиональные переводы книг, статей и т.п.). Сейчас об этом ничего не слышно на поверхности. Интересно было бы узнать, чем всё закончилось и почему.

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение09.05.2017, 19:49 
Аватара пользователя


31/10/08
803
Rasool в сообщении #1215218 писал(а):
Я так понимаю, что основная проблема - в том, как перекодировать текст на естественном языке в семантическую сеть (или подобную семантическую структуру)?


Rasool в сообщении #1215265 писал(а):
Сейчас наблюдается бурное развитие нейронных сетей (глубокое обучение и т.д.). В связи с этим, наверное, возможен прогресс в статистической обработке? Появились такие вещи, как сеть глубокого обучения в Google-переводчике и т.д.

Я вижу проблему иначе. Статистические методы уже отжили своё и им на смену как раз и пришло глубинное обучение. Считают что как раз статические методы уже справились с задачею построения семантической структуры данных. Проблема в другом мы не знаем что с ней делать. Не знаем с какой стороны подойти.


grizzly
Цитата:
В тех же корпусах тысячи волонтёров-энтузиастов делают разметки миллионам предложений и всё это накапливается в базах данных. Когда-то и это количество перейдёт в качество.

Тысяч там нету. Всё делается автоматизированно. Просто не нашлось столько желающих. Поэтому в ход и пошла компьютерная лингвистика.

Цитата:
Относительно машинного перевода. В начале века считался перспективным подход с использованием готовых фраз из пополняемой базы данных надёжных источников (профессиональные переводы книг, статей и т.п.). Сейчас об этом ничего не слышно на поверхности. Интересно было бы узнать, чем всё закончилось и почему.
Короче надёжные источники легли в основу корпусов, лингвистических движков и статистического анализа.
Что касается готовых фраз, то сейчас это называется ассоциативной памятью является основным инструментом у любого переводческого движка. Хорошо подходит для формальных и технических документов и практически не годиться для естественных текстов. Ну нету там повторяющихся конструкций.
Почему не годится? Потому что переводчик когда пишет текст он думает, а не тупо копирует шаблон.
Вот глубинное обучение как раз и является следующим шагом. Уже выискиваются скрытые шаблоныпроцессы, которые не фиксируются на бумаге, а протекают в мозгу переводчика. Мы видим начальную стадию и конечную, но невидим промежуточных. Вот задача лингивстики как раз и явить миру записать на бумаге эти процессы. Скорее всего кто первым явит это миру будет компьютерная лингвистика, а непросто лингвистика.

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение10.05.2017, 16:09 


20/09/09
675
Уфа
Pavia в сообщении #1215296 писал(а):
Rasool в сообщении #1215265 писал(а):
Сейчас наблюдается бурное развитие нейронных сетей (глубокое обучение и т.д.). В связи с этим, наверное, возможен прогресс в статистической обработке? Появились такие вещи, как сеть глубокого обучения в Google-переводчике и т.д.

Я вижу проблему иначе. Статистические методы уже отжили своё и им на смену как раз и пришло глубинное обучение. Считают что как раз статические методы уже справились с задачею построения семантической структуры данных. Проблема в другом мы не знаем что с ней делать. Не знаем с какой стороны подойти.

Нет какой-нибудь современной книги/монографии, где бы это все описывалось?

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение10.05.2017, 20:54 


20/09/09
675
Уфа
Pavia в сообщении #1215296 писал(а):
Я вижу проблему иначе. Статистические методы уже отжили своё и им на смену как раз и пришло глубинное обучение. Считают что как раз статические методы уже справились с задачею построения семантической структуры данных. Проблема в другом мы не знаем что с ней делать. Не знаем с какой стороны подойти.

Исходя из примитивного жизненного опыта можно заключить, что для получения семантической информации из семантической структуры, нужна "осмысленность" этой информации, т.е. априорное знание тех понятий, которые есть в этой структуре. Т.е. нужна вторая семантическая структура, априорная, которая будет заключать в себе некие априорные знания о мире. Вопрос в том, как сопоставить эти две семантические структуры.

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение10.05.2017, 23:14 
Аватара пользователя


31/10/08
803
Rasool
Rasool в сообщении #1215485 писал(а):
Нет какой-нибудь современной книги/монографии, где бы это все описывалось?

Я в этом году больше изучал исторические книги и совсем не уделял современным подходам. Пролистал John Sowa в принципе он верно описывает современное состояния дел. Только в выводах мы расходимся.
- онтология существует с 90-тых годов если не раньше.
- в 2009 компьютерная программа Ватсон демонстрирует что может улавливать смысл фраз и отвечать на заданные ей вопросы. «Своя игра».
- 2017 Гугл запускает семантический анализ в своём поисковике.
- Викисловарь https://ru.wiktionary.org/ у каждого слова приведены его варианты семантических смыслов и примеры использования. Сделано это программно в примерно 2006-2011 гг.
-2015 https://habrahabr.ru/company/abbyy/blog/271601/ закончила с антология для Русского языка и перешла на Немецкий. А сейчас если судить по их переводчику уже добавили пару десятков языков.

130,000 concepts. - это очень много. Сравните с числом всех известных словоформ и числом известных обычному человеку.
Но вывод один. Как переводчики не старались они всё ещё делают это хуже чем дети. Ребёнок не пользуется такой большой базой.
Цитата:
Вопрос в том, как сопоставить эти две семантические структуры.

Десятки мелких фирм только этим и занимаются. Внедрением ИИ на основе API от того же Гугла и Abbyy. Они и решают эту проблему. Простым доучиванием НС, добавлением знаний в базу и дописыванием фильтров результатов, проведением анализа классификации и кластеризации своих данных.

Есть структура. Есть алгоритмы. Но качество оставляет желать лучшего. John Sowa - считает что недостаточно когнитивных связей и надо развивать эту тему. Я считаю аналогично, но уверено что связи появятся, а ИИ так и не научится нас понимать.

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение11.05.2017, 05:16 


12/07/15
790
Чтобы понимать естественный язык, нужно знать, например, что такое "натянуть тетиву лука" и чем это похоже "прыгать на батуте". Иначе понимания никогда не будет. Улавливаете, о чем я? Нужно просто напросто, чтобы машина повторила жизненный опыт человека. Но это нереально. Машина и человек находятся в разных информационных пространствах и обучаются по-разному. Как их свести к единому мнению?..

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение11.05.2017, 08:10 
Заслуженный участник


16/02/13
2866
Владивосток
Pavia в сообщении #1215573 писал(а):
Сравните с числом всех известных словоформ
Ключ...

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение11.05.2017, 15:15 


20/09/09
675
Уфа
Mihaylo в сообщении #1215620 писал(а):
Чтобы понимать естественный язык, нужно знать, например, что такое "натянуть тетиву лука" и чем это похоже "прыгать на батуте". Иначе понимания никогда не будет. Улавливаете, о чем я? Нужно просто напросто, чтобы машина повторила жизненный опыт человека. Но это нереально. Машина и человек находятся в разных информационных пространствах и обучаются по-разному. Как их свести к единому мнению?..

Зато машину достаточно обучить только один раз и дальше уже можно просто копировать базу знаний. А каждого нового рожденного человечка нужно обучать заново.

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение11.05.2017, 20:50 


20/09/09
675
Уфа
Pavia в сообщении #1215296 писал(а):
Что касается готовых фраз, то сейчас это называется ассоциативной памятью является основным инструментом у любого переводческого движка. Хорошо подходит для формальных и технических документов и практически не годиться для естественных текстов. Ну нету там повторяющихся конструкций.
Почему не годится? Потому что переводчик когда пишет текст он думает, а не тупо копирует шаблон.
Вот глубинное обучение как раз и является следующим шагом. Уже выискиваются скрытые шаблоныпроцессы, которые не фиксируются на бумаге, а протекают в мозгу переводчика. Мы видим начальную стадию и конечную, но невидим промежуточных. Вот задача лингивстики как раз и явить миру записать на бумаге эти процессы. Скорее всего кто первым явит это миру будет компьютерная лингвистика, а непросто лингвистика.

Дмитрий Ветров, профессор-исследователь Департамента больших данных и информационного поиска факультета компьютерных наук ВШЭ, пишет на сайте НИУ ВШЭ:
Цитата:
Некоторые направления в области обучения глубинных нейронных сетей, в которых можно ждать существенных продвижений в ближайшее время, я рискну назвать.

Во-первых, это развитие идей нейросетевого обучения с подкреплением, которое позволит разработать новые самообучающиеся алгоритмы для агентов, взаимодействующих с окружающей средой. Это могут быть как роботы, так и программы, действующие в виртуальном пространстве, например, играющие в интеллектуальные игры типа Го (уже сделано) или Starcraft (в процессе). Главной целью тут, конечно, станет создание алгоритма, умеющего «на ходу» приспосабливаться к новой сложной игре или окружению.

...Первое позволяет компьютеру схватывать новые понятия и смыслы по нескольким примерам, подобно тому, как это делает человек, и в отличие от современных нейронных сетей, которые выучивают новое понятие после демонстрации тысяч и десятков тысяч примеров.

 Профиль  
                  
 
 Re: ИИ-полная задача понимания ЕЯ-текста
Сообщение11.05.2017, 21:42 


15/11/15
218
grizzly в сообщении #1215236 писал(а):
Мечты довести этот подход (с математической точностью и строгостью) за 10 лет до уровня машинного перевода были особенно популярны полвека тому назад и тогда же умерли.

Недавно наткнулся на амбициозный Сколковский проект "Киноязык".
Цитата:
Проект направлен на создание уникальной технологии, позволяющей в полуавтоматическом режиме переводить текст (сценарий) в 3-х мерную анимацию (визуальный ряд).
Идея, по сути, действительно впечатляющая: вбил ты текст Колобка, и вуаля - тебе 3D фильм "Колобок". Фантастика! Я чуть со стула не упал.

Правда, есть небольшая проблемка - фиг сделаешь. Хотя, может, я неправ, ведь технологии ИИ растут и развиваются ) Сколково под этот проект умудрился в 2013г. дать аж 156 млн рублей. Потом появлялись сообщения, что вот-вот. Потом приутихло.

Но, может, скоро появится работающий проект, нужно просто немножко подождать.

Изображение

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 19 ]  На страницу 1, 2  След.

Модераторы: maxal, Karan, Toucan, PAV, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group