2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу 1, 2, 3, 4, 5 ... 21  След.
 
 Deep Learning и задача понимания естественного языка
Сообщение24.02.2018, 14:57 


20/09/09
1877
Уфа
Думаю, что не надо рассказывать про успехи Deep Learning в последние годы, в особенности, в применении к обработке естественного языка. Здесь мне видится прорывным успех Google Network Machine Translation, который коренным образом смог улучшить качество перевода между разными естественными языками.
Стоит следующая задача - обеспечить понимание машиной текста на естественном языке. Здесь очевидным кажется реализация системы, которая бы осуществляла сопоставление входного текста на естественном языке с имеющимися знаниями, например, заклюяенными в базе знаний - онтологиях.
Вот цитата из статьи нейрофизиолога Михаила Бурцева о попытках моделирования мозга человека, развитии логических систем и возможностях нейронных сетей "Дуализм в решении проблемы искусственного интеллекта" на Постнауке:
Цитата:
Таким образом, нейросети решают задачи, способ решения которых мы не можем формализовать, но требуют большого объема данных. Все началось с распознавания картинок: в течение нескольких лет нейросеть научилась распознавать и классифицировать объекты на картинках лучше, чем человек. Хотя до этого она решала эту задачу в несколько раз хуже. Триумфом последних лет стало то, что нейросеть обыграла человека в го. Алгоритм игры в го основывался на том, что нейросеть оценивала ситуацию на доске в целом, а не пыталась напрямую прогнозировать все ходы. Удалось получить гибридное решение, которое скомбинировало поиск в глубину, просчитывание вариантов, интуицию игрока, которая аппроксимировалась нейросетью и вычислялась на основании большого объема сыгранных игр в го, выработанного понимания того, какая позиция лучше или хуже. Таким образом, мы смогли сделать так, что наш алгоритм поиска рассчитывает не все варианты, а лишь предсказанные нейросетью как хорошие. Это позволяет нам значительно сократить перебор.
Сегодня мы оказываемся в положении дуализма наших подходов и методов решения задач искусственного интеллекта. С одной стороны, это подход, основанный на онтологиях. Сейчас уже построены огромные онтологии для различных областей знания, в них действительно формализовано очень много полезной информации. С другой стороны, у нас есть нейросети, пытающиеся учиться на объектах и на примерах, но найти много примеров мы можем не для всех областей знания и не для всех. В этом проблема: мы не можем использовать в них нейросети. Кажется, что будущее этой области заключается в комбинации подхода онтологий с нейросетевым. Как мы можем это сделать?
В области систем, основанных на знании, одна из проблем - это привязка конкретных сущностей наших онтологий к конкретным ситуациям, распознавание их как соответствующих той или иной ситуации, в которой наша система может делать вывод. Здесь нейросети могли бы помочь правильно распознавать ситуацию и отражать их на онтологию. С другой стороны, мы могли бы использовать онтологии, чтобы спланировать действия нашего интеллектуального агента или сделать вывод о том, каким должен быть конкретный ответ в данной ситуации. Современные нейросетевые методы, хоть и хорошо справляются с задачами классификации отличения одного от другого, не достигают эффективности, присущей системам, основанным на логике, в области планирования и долгосрочного просчитывания вариантов. Поэтому кажется, что идеальным вариантом было бы отдать на откуп нейросетям те части нашего интеллектуального агента, которые мы не можем формализовать или пока не знаем, как это сделать, а для частей, требующих рассуждения и планирования, использовать онтологии и системы, основанные на знаниях. Дело осталось за малым - придумать хороший способ это скомбинировать.

Я завел тему в LinkedIn с целью обсудить возможности нейронных сетей в NLU. Вот эта дискуссия:
Цитата:
Problems that need to be solved to solve the problem of understanding the natural language
As you know, GNMT translates the text in a natural language into its internal language. As far as I know, the problem of translating a natural language into a language of knowledge bases (for example, ontologies) has already been solved (or not yet?). There remains the problem of implementing ontology processing operations, for example, matching the resulting ontology to a global knowledge base to determine its truth / falsity, its information value and relevance, etc.
If I'm not mistaken, Dr. Sowa in one of the discussions on LinkedIn recommended that students of artificial intelligence turn to logic. Do I understand correctly that the question arises: how to use the logic to implement the task of processing and mapping ontologies?

Beth Carey
Beth Carey Hi Rasool Barlybayev - I think Koos Vanderwilt could make some good comments on your questions with the current methodologies, including GNMT, which I believe is Google's neural net methodology for machine translation. I would say GNMT and Deep Learning bypass meaning because of their inherent approach ie. looking for statistical co-location of word patterns, and I'm not sure meaning is retrievable. Open scientific problems of NLU are not solved by this approach and may never be. GNMT made good progress with some machine translation pairs, and will probably continue to, but is it asymptotic as a scientific model for machine translation and NLU? What is the goal, human-like accuracy? or incremental % points better than before, potentially plateauing.

Koos Vanderwilt
Koos Vanderwilt Quite an honor for you to say this, Beth. I am not sure if I can, but I will try and produce some generalities. I am hampered by not knowing what GNMT stands for. I am not sure Semantic Web technology can be considered to have solved various questions, including the translation of text to knowledge bases. There are two issues here: the knowledge basis or ontologies and the ways to reason over them. Ontologies consist of classes/concepts and properties, VERY roughly SUBJCT, PREDICATE and OBJECT. You can get these out of a text with a parser. Googling "triplet table(s)"and "ontologie(s)"will bring up sites that tell you more. Ontologies are simple, but the details are NOT. "Implementing ontology processing operations" could be "editing the ontology"or"creating an ontology" or performing consistency checking. Logics are used for reasoning over the ontologies. This is just like in real life: you have knowledge, and taking it as a point of departure, you reason with it.

Koos Vanderwilt
Koos Vanderwilt For instance, Moscow is the capital of Russia, I am sure every Russian knows. Every Russian will therefore be able to conclude Leningrad is not the capital of Russia. Two cities, a predicate "is capital of" and a reasoning leading to a negative statement about Leningrad. You could imagine how nice it'd be if the computer could reason about facts in genomics, medicine, and so on. Thereare quite a few logics, mostly called Description Logics. These are subsets of First Order Predicate Logic, which has a large time complexity- meaning using it takes forever to run. Many Description Logics are constructed to be more tractable, but you can do less with them. The SW is a huge, world-wide project that, if it delivers what is being promised, will improve medicine, the practice of law, biology research, and other fields that involve text and therefore Text Analytics. I hope this is somewhat informative.

Menno Mafait
Menno Mafait Rasool, this field has a fundamental flaw:

It is well known that grammar provides structure to sentences. However, scientists have not discovered yet the laws of intelligence, which are embedded in grammar. This Universal Logic embedded in Grammar provides a logical structure (=meaning) in natural language, by which sentences make sense.

As a consequence of being ignorant of this natural structure of sentence, in NLP, rich and meaningful sentences are degraded to "bags of keywords", by which the natural structure of sentences are discarded beyond repair. This loss of information is like a two-dimensional movie that as lost its three-dimensional spatial information. Hence the deep problems in this field to grasp the deeper meaning expressed by humans.

I have a solution for the long term:

I have knowledge, experience, technologies and results that no one else has. I am probably the only one in the world who has defined intelligence as a set of natural laws.

Menno Mafait
Menno Mafait I am using fundamental science (logic and laws of nature) instead of cognitive science (simulation of behavior), because:

- Autonomous reasoning requires both intelligence and language;
- Intelligence and language are natural phenomena;
- Natural phenomena obey laws of nature;
- Laws of nature (and logic) are investigated using fundamental science.

Using fundamental science, I gained knowledge and experience that no one else has:

- I have defined intelligence in a natural way, as a set of natural laws;
- I have discovered a logical relationship between natural intelligence and natural language, which I am implementing in software;
- And I defy anyone to beat the simplest results of my Controlled Natural Language (CNL) reasoner in a generic way: from natural language, through algorithms, back to natural language. See: http://mafait.org/challenge/

It is open source software. Feel free to join.

То есть стоит вопрос: можно ли на имеющемся "железе" (онтологиях и машин с Deep Learning) худо-бедно решить задачу понимания текста настолько, что ее можно использовать в семантическом поиске, машинном переводе, работе с корпоративными системами, чат-ботах, вопросно-ответных системах?

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение24.02.2018, 16:37 


10/04/12
704
Нейросеть это просто функция, которая зависит от большого числа параметнов.

Задача классификации очевидно функция. В случае шахмат и го нейросеть это функция, которая по текущей позиции выдаёт вероятности ходов. Которые затем передаються методу Монте-Карло. Перевеод естесвенно языка я не в курсе, но первое что приходит в голову это функция, которая по контексту передаёт используемый термин для перевода. И т. д.

В случае пониманя естественного языка самый большой вопрос состоит в том, какую структуру мы ожидаем на выходе. Как вообще хранить знания? И тогда уже будет плюс-минус понятно, где можно использовать глубокое обучение.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение24.02.2018, 22:16 


20/09/09
1877
Уфа
mustitz в сообщении #1294127 писал(а):
Нейросеть это просто функция, которая зависит от большого числа параметнов.

Упомянутая мною выше GNMT как раз является гибридной технологией (ее структуру можно погуглить).

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение26.02.2018, 06:05 
Аватара пользователя


31/10/08
1244
Rasool
Rasool в сообщении #1294092 писал(а):
То есть стоит вопрос: можно ли на имеющемся "железе" (онтологиях и машин с Deep Learning) худо-бедно решить задачу понимания текста настолько, что ее можно использовать в семантическом поиске, машинном переводе, работе с корпоративными системами, чат-ботах, вопросно-ответных системах?

В каком-то смысле да. Но проблема как и раньше в том что НС работает по предварительной классификации, а хотелось бы чтобы сеть ещё проявляла инициативу.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение26.02.2018, 12:31 


20/09/09
1877
Уфа
Pavia в сообщении #1294403 писал(а):
Rasool
Rasool в сообщении #1294092 писал(а):
То есть стоит вопрос: можно ли на имеющемся "железе" (онтологиях и машин с Deep Learning) худо-бедно решить задачу понимания текста настолько, что ее можно использовать в семантическом поиске, машинном переводе, работе с корпоративными системами, чат-ботах, вопросно-ответных системах?

В каком-то смысле да. Но проблема как и раньше в том что НС работает по предварительной классификации, а хотелось бы чтобы сеть ещё проявляла инициативу.

Вообще, наверное, я задаю глупые вопросы, ибо этим должны заниматься взрослые дяденьки в Google, и если уж они пока не могут, то на этом форуме...

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение26.02.2018, 14:54 


03/06/17

67

(Оффтоп)

Rasool в сообщении #1294438 писал(а):

Вообще, наверное, я задаю глупые вопросы, ибо этим должны заниматься взрослые дяденьки в Google, и если уж они пока не могут, то на этом форуме...
Вы их сильно переоцениваете, на самом деле не такие уж они и умные, просто их много

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение26.02.2018, 15:56 


20/09/09
1877
Уфа
root721 в сообщении #1294477 писал(а):

(Оффтоп)

Rasool в сообщении #1294438 писал(а):

Вообще, наверное, я задаю глупые вопросы, ибо этим должны заниматься взрослые дяденьки в Google, и если уж они пока не могут, то на этом форуме...
Вы их сильно переоцениваете, на самом деле не такие уж они и умные, просто их много

(Оффтоп)

И это тоже.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение26.02.2018, 20:33 
Заслуженный участник


27/04/09
28128

(Оффтоп)

Rasool в сообщении #1294438 писал(а):
Вообще, наверное, я задаю глупые вопросы, ибо этим должны заниматься взрослые дяденьки в Google, и если уж они пока не могут, то на этом форуме...
Тут другая проблема. Может быть, я неправ или ненаблюдателен, но не помню ни одной вашей темы, касающейся ИИ, где бы вы спустились до конкретики. Люди занимаются конкретикой, абстракции идут потом. Потому если вопросы абстрактны и не спускаются на землю, совершенно неудивительно, что получается. Обсуждать-то выходит почти нечего.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение27.02.2018, 16:29 


20/09/09
1877
Уфа
arseniiv в сообщении #1294536 писал(а):

(Оффтоп)

Rasool в сообщении #1294438 писал(а):
Вообще, наверное, я задаю глупые вопросы, ибо этим должны заниматься взрослые дяденьки в Google, и если уж они пока не могут, то на этом форуме...
Тут другая проблема. Может быть, я неправ или ненаблюдателен, но не помню ни одной вашей темы, касающейся ИИ, где бы вы спустились до конкретики. Люди занимаются конкретикой, абстракции идут потом. Потому если вопросы абстрактны и не спускаются на землю, совершенно неудивительно, что получается. Обсуждать-то выходит почти нечего.

Конкретику тут трудно обозначить без того, чтобы не залезть в область ИИ-полных задач. Проблема состоит в том, что можно ли решить некоторые задачи из области искусственного интеллекта, в том числе, понимания текста, без того, чтобы избежать полноценного моделирования мышления человека (ИИ-полная задача).
Попытка обозначить конкретику присутствует в цитате Бурцева:
Цитата:
Сегодня мы оказываемся в положении дуализма наших подходов и методов решения задач искусственного интеллекта. С одной стороны, это подход, основанный на онтологиях. Сейчас уже построены огромные онтологии для различных областей знания, в них действительно формализовано очень много полезной информации. С другой стороны, у нас есть нейросети, пытающиеся учиться на объектах и на примерах, но найти много примеров мы можем не для всех областей знания и не для всех. В этом проблема: мы не можем использовать в них нейросети. Кажется, что будущее этой области заключается в комбинации подхода онтологий с нейросетевым. Как мы можем это сделать?
В области систем, основанных на знании, одна из проблем - это привязка конкретных сущностей наших онтологий к конкретным ситуациям, распознавание их как соответствующих той или иной ситуации, в которой наша система может делать вывод. Здесь нейросети могли бы помочь правильно распознавать ситуацию и отражать их на онтологию. С другой стороны, мы могли бы использовать онтологии, чтобы спланировать действия нашего интеллектуального агента или сделать вывод о том, каким должен быть конкретный ответ в данной ситуации. Современные нейросетевые методы, хоть и хорошо справляются с задачами классификации отличения одного от другого, не достигают эффективности, присущей системам, основанным на логике, в области планирования и долгосрочного просчитывания вариантов. Поэтому кажется, что идеальным вариантом было бы отдать на откуп нейросетям те части нашего интеллектуального агента, которые мы не можем формализовать или пока не знаем, как это сделать, а для частей, требующих рассуждения и планирования, использовать онтологии и системы, основанные на знаниях. Дело осталось за малым - придумать хороший способ это скомбинировать.

Можно, например, попытаться обучить нейронную сеть таким мыслительным операциям, как вывод по индукции, вывод по дедукции, вывод по аналогии, сопоставить это с имеющимися базами знаний (это в порядке прикидки наугад).
Если GNMT работает на "гибридной технологии", то что еще можно попытаться сделать коммерчески выгодного на имеющихся технологиях? Или уже все, нужно ждать очередного прорыва в области изучения работы человеческого мозга, которое неизвестно когда еще произойдет?

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение27.02.2018, 18:23 


10/04/12
704
Rasool в сообщении #1294736 писал(а):
Можно, например, попытаться обучить нейронную сеть таким мыслительным операциям, как вывод по индукции, вывод по дедукции, вывод по аналогии, сопоставить это с имеющимися базами знаний (это в порядке прикидки наугад).
Если GNMT работает на "гибридной технологии", то что еще можно попытаться сделать коммерчески выгодного на имеющихся технологиях? Или уже все, нужно ждать очередного прорыва в области изучения работы человеческого мозга, которое неизвестно когда еще произойдет?


Хорошо, что такое вывод по индукции? Нейросеть это некоторая функция $\vec y = f(\vec x)$. Возникает вопрос, для функции $f$ вывода по индукции что будет выступать в качестве области определения, а что в качестве области значений? Хоть один пример, на котором проводить обучение?

GNMT работает на «гибридной технологии» скорее всего потому, что исторически в существующем алгоритме использовались несколько функций, которые работали недостаточно хорошо. При помощи нейросети и обучения их улучшили. Вот и всё.

Изучение работы человеческого могза сейчас идёт ударными темпами, просто это малоприменимо к нейросетям.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение27.02.2018, 18:54 


20/09/09
1877
Уфа
Джон Сова, известный эксперт в области искусственного интеллекта, заявил как-то, что "задача понимания естественного языка - это ИИ-полная задача". Так что, может быть, я действительно создал тему непонятно зачем. Может быть, понадеялся на что-то?

-- Вт фев 27, 2018 22:27:25 --

Вот выдержка из выступления К.В.Воронцова на Открытой конференции по искусственному интеллекту OpenTalks.AI-2018:
Цитата:
Сухой остаток

Невозможно поставить задачу «понимания речи» или
«понимания смысла текста», когда нет конкретной цели

Легче ставить задачи автоматизации обработки текстов,
когда есть конкретные бизнес
-
цели, формализуемые
с помощью измеримых критериев качества решения

Для решения таких задач не обязательно создавать сложные
универсальные инструменты

Они решались, решаются, и будут решаться различными
специализированными методами
NLP
и
ML

Наиболее критичны

объём и чистота обучающих данных

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение28.02.2018, 16:02 


20/09/09
1877
Уфа
arseniiv в сообщении #1294536 писал(а):

(Оффтоп)

Rasool в сообщении #1294438 писал(а):
Вообще, наверное, я задаю глупые вопросы, ибо этим должны заниматься взрослые дяденьки в Google, и если уж они пока не могут, то на этом форуме...
Тут другая проблема. Может быть, я неправ или ненаблюдателен, но не помню ни одной вашей темы, касающейся ИИ, где бы вы спустились до конкретики. Люди занимаются конкретикой, абстракции идут потом. Потому если вопросы абстрактны и не спускаются на землю, совершенно неудивительно, что получается. Обсуждать-то выходит почти нечего.

(Оффтоп)

Наверное, я некорректно выразился. На этом форуме безусловно есть люди, способные заниматься задачами понимания естественного языка, пусть и не на уровне Google. Другое дело, могут ли заниматься этим широкие круги лиц, в том числе и ваш покорный слуга. Например, я сейчас учусь в магистратуре, возможная тема магистерской диссертации - обработка естественного языка, а возможно, что-то другое (машинное обучение и т.д.). Необходимо определиться.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение28.02.2018, 21:45 
Заслуженный участник


27/04/09
28128

(Оффтоп)

Идеальным было бы покрутиться в этой тусовке и посмотреть; какие-нибудь простые задачи порешать. Снаружи вы вряд ли сможете принять решение лучше, чем изнутри. Ну, это моё предположение.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение01.03.2018, 13:53 
Заслуженный участник


07/07/09
5408
Rasool в сообщении #1294912 писал(а):
пусть и не на уровне Google

Существует ли перечень запросов , по которым можно оценить этот уровень?
Такие исследования доступны всем , может где-то пишут о ляпах поисковиков или о смещении выдаваемых сведений в каком-то направлении.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение01.03.2018, 14:17 


10/04/12
704

(Оффтоп)

Rasool в сообщении #1294912 писал(а):
Наверное, я некорректно выразился. На этом форуме безусловно есть люди, способные заниматься задачами понимания естественного языка, пусть и не на уровне Google. Другое дело, могут ли заниматься этим широкие круги лиц, в том числе и ваш покорный слуга. Например, я сейчас учусь в магистратуре, возможная тема магистерской диссертации - обработка естественного языка, а возможно, что-то другое (машинное обучение и т.д.). Необходимо определиться.


Непонятно, что значит «заниматься». В целом в области обработки естественного языка не все задачи решены. Всегда можно найти нерешённую задачу себе по силам. Не говоря о том, что большая часть исследований касается преимущественно английского языка. Выбираете другой, например украинский, и пробуете перенести на него существующие методы, ...

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 314 ]  На страницу 1, 2, 3, 4, 5 ... 21  След.

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group