2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8 ... 21  След.
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 17:42 


12/07/15
3313
г. Чехов
Alephegg в сообщении #1343836 писал(а):
Mihaylo в сообщении #1343831 писал(а):
но обучающие данные разные

Честно говоря, не очень понятно, почему они разные. И не очень понятно, почему в обучении ИИ нельзя использовать именно те данные, которые делают живого человека способным к осмысленной речи (с учетом того, что с Ваших слов, человек - это слабый интеллект).

Мой дорогой друг, на мой взгляд очевидно: человек учится синтезации речи (в терминах машины) порядка 15 лет при активном участии общества родителей, родственников, учителей, друзей, одноклассников и т.д. Надо сказать, что механизм обучения человека очень схож с машинным GAN (генеративно-состязательная сеть). То есть состязательные сети должны следить за обучаемым. Думаю, в этом пока серьёзные трудности, тем более нужны не просто растущие антагонистические сети, а такие, которые соответствуют взрослым людям - родителям, учителям. А обученных машинных синтезаторов речи определённого языка нет, это такие же системы, в которых мы тоже нуждаемся.

-- 05.10.2018, 19:50 --

Понял, что в моём ответе не хватает второй половины ответа: очень важно понять, что слова, словосочетания, предложения, абзацы и тексты - это отражение реальных процессов. Поэтому просто так сгенерировать текст достаточно просто, но потом недружественному интеллекту легко выявить то или иное несоответствие реальности. И итоговый вывод - носитель языка должен владеть реальностью, то есть пятью органами чувств и всеми эффекторами (для активного обучения). Это значит, что машина должна быть человекоподобной, чтобы речь была неотличима от человеческой.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 17:53 
Аватара пользователя


28/08/13

156
Mihaylo в сообщении #1343847 писал(а):
человек учится синтезации речи (в терминах машины) порядка 15 лет

Человек учится всю жизнь, после сорока это становится особенно очевидным и приходится даже планировать эти занятия. :) Но я с Вами, мой дорогой друг, не согласен. Я могу принять аргумент, что мы пока не нашли адекватной архитектуры для ЕЯ-сети, какого-то гибрида RNN, DL и GAN. Но я не могу принять аргумент про 15 лет.

Уже в возрасте года человек проявляет достаточную разумность, а в три (при не очень хорошей "синтезации" речи и письменности, и плохого vocabulary) проявляет исчерпывающую разумность, которую сразу можно отличить от машинной "разумности". Тут дело не в обучающих данных и не в архитектуре слабого интеллекта, тут дело как раз в том, что архитектура сильного интеллекта совсем другая. И мы пока вообще не понимаем, какая она. В этом смысле задача NLU как раз хороший индикатор нашего непомания проблемы.

-- 05.10.2018, 08:53 --

Mihaylo в сообщении #1343847 писал(а):
И итоговый вывод - носитель языка должен владеть реальностью

Да, это серьезное замечание.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 17:57 


27/08/16
10197
У человека при обработке поступающей информации хорошо заметны несколько различных процессов: генерация первичных гипотез, их быстрая оценка и углублённый анализ самых лучших, пока не выживет одна гипотеза и не будет не принято окончательное решение. Это, несомненно, позволяет экономить ресурсы (и единственный доступный способ решать сложные комбинаторные задачи). Я вот не в теме: нейросети сейчас так уже умеют?

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 18:03 


12/07/15
3313
г. Чехов
Alephegg в сообщении #1343848 писал(а):
Но я не могу принять аргумент про 15 лет.

15 лет - это моя условная отметка. Пусть будет 3 года, просто там качество другое. Но машины обучаются максимум неделю-две, так как нужно выводить продукт на рынок незамедлительно.

Важно подчеркнуть: когда человек должен выразиться о каких-то ощущениях, он должен их испытать. Среднестатистический человек испытывает большинство ощущений (5 органов чувств). Многие из них принимают активные действия для получения новых ощущений.
Трудно будет говорить с машиной о том, как у тебя болит голова после похмелья.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 18:07 
Аватара пользователя


28/08/13

156
realeugene в сообщении #1343849 писал(а):
генерация первичных гипотез
realeugene в сообщении #1343849 писал(а):
нейросети сейчас так уже умеют?

В этом месте мы должны определиться, что мы понимаем под гипотезами. Если понимаем модели (с элементами онтологии, понятийной системой, алфавитом объектов, языком описания и тому подобным), то - нет, не умеют. Если понимаем автоматически сгенерированные функции для заранее размеченной области, то - да, умеют. "Нейросети" вообще очень похожи на программирование, только с несколько экзотическим языком и компайлером.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 18:12 


12/07/15
3313
г. Чехов
realeugene в сообщении #1343849 писал(а):
У человека при обработке поступающей информации хорошо заметны несколько различных процессов: генерация первичных гипотез, их быстрая оценка и углублённый анализ самых лучших, пока не выживет одна гипотеза и не будет не принято окончательное решение. Это, несомненно, позволяет экономить ресурсы (и единственный доступный способ решать сложные комбинаторные задачи). Я вот не в теме: нейросети сейчас так уже умеют?

Нейросети по своим возможностям соответствуют возможностям человека (по силе интеллекта), это уже сто раз доказано реальными результатами. Проблема в том, что не всегда получаются "дешёвыми" обучающие выборки и не всегда хватает времени на обучение.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 18:15 
Аватара пользователя


28/08/13

156
Mihaylo в сообщении #1343852 писал(а):
Но машины обучаются максимум неделю-две

На мой вкус, тут важно не время обучения, а как раз формат данных. Машины обучаются на предварительно размеченных данных. Даже, если это текстовые корпуса, то используются размеченные корпуса и словари (например, та же морфология, грамматика). Проблема в том, что после какого-то времени обучения, человек начинает обучаться данным НЕ размеченным, а машина этого не умеет принципиально. В ней элемента "само" немножко не хватает. :)

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 18:17 


12/07/15
3313
г. Чехов
Alephegg в сообщении #1343855 писал(а):
В этом месте мы должны определиться, что мы понимаем под гипотезами. Если понимаем модели (с элементами онтологии, понятийной системой, алфавитом объектов, языком описания и тому подобным), то - нет, не умеют.

Стопэ. А вы уверены, что человек это умеет?????????? Онтологии, понятийные системы - это всё чуждо даже людям с высшим образованием!

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 18:20 
Аватара пользователя


28/08/13

156
Mihaylo в сообщении #1343859 писал(а):
А вы уверены, что человек это умеет

Да, любое моделирование (а мышление - это (если сильно упрощать) и есть моделирование) включает в себя все эти вещи. Другое дело, что они могут существовать неявно, размыто, нечетко, с противоречиями и прочим, но суть не меняется. Модель необходимо подразумевает язык, язык необходимо подразумевает онтологию и правила, онтология подразумевает понятия и объекты), то есть любой модели соответствует некоторое мета-описание, опять же, в явном или неявном виде.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 20:21 


12/07/15
3313
г. Чехов
Alephegg в сообщении #1343861 писал(а):
Другое дело, что они могут существовать неявно, размыто, нечетко, с противоречиями и прочим, но суть не меняется.

Суть меняется, однозначно и бесповоротно. Иначе все выглядит так, будто человек - это бог и так далее. Я даже утверждаю это для людей с высшим образованием, а у вас это свободно и для всех. Глупость какая-то.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение05.10.2018, 20:37 
Аватара пользователя


28/08/13

156
Mihaylo в сообщении #1343883 писал(а):
Суть меняется, однозначно и бесповоротно.

Нет, не меняется. Грамматика, морфология не исчезает из языка от того, что человек, разговаривающий на нём, не имеет высшего филологического образования. :-) :-) Человек, прыгающий с шестом, учится этому не осозновая, что решает тем самым дифференциальное уравнение движения тела в потенциальном поле. И так далее.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 07:54 


12/07/15
3313
г. Чехов
Нейронная сеть тоже работает, не осознавая. Она моделирует/решает дифференциальные уравнения, она и онтологии создаёт, и логически мыслит. И всё это размыто. Как у человека. Разницы-то нет.

Человек в какой-то мере умеет тренировать чёткое понимание (в противовес "нечёткому пониманию", характерному нейронным сетям). За счёт чего это получается? За счёт повторения/зубрения налаживаются более-менее прочные нейронные связи. Нейронная сеть учится отбрасывать нечёткое и принимать во внимание только чёткое, доказанное. Именно так вырабатывается некий подход. Именно так появляются педантичные, грамотные, эрудированные люди. И дело ни в каких-то построениях онтологий.
Если взять людей с творческим началом в работе, то они тренируются делать экстраполяции, случайные пробы и так далее. Так появляются творческие, креативные люди, разработчики.

Все люди формируются в процессе обучения. Обучай машину также, получишь такой же результат.

Говорить о том, что нейронным сетям не хватает какой-то силы - это наивность какая-то. Есть определённые обучающие датасеты - всё что там есть, тому НС и научится. Научиться можно чему угодно.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 08:38 


27/08/16
10197
Mihaylo в сообщении #1343924 писал(а):
Говорить о том, что нейронным сетям не хватает какой-то силы - это наивность какая-то.

А проводились ли эксперименты, например, какая требуется нейросеть для вычисления медианы из пяти чисел с точностью 1%?

-- 06.10.2018, 08:58 --

(Оффтоп)

Mihaylo в сообщении #1343859 писал(а):
Онтологии
До сих пор не знаю точный смысл этого термина. Википедия помогает не сильно.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 13:53 
Аватара пользователя


28/08/13

156
Mihaylo в сообщении #1343924 писал(а):
Обучай машину также, получишь такой же результат.

Проблема только в том, что большинство интеллектуальных задач не являются задачами аппроксимации. И как я уже говорил выше, машина вообще не умеет заниматься генерацией моделей. От слова совсем. :-) Это немножко разрушает картину мира ув. Михайло, но зато соответствует реальности.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 17:32 


12/08/14

401
Alephegg в сообщении #1343971 писал(а):
Mihaylo в сообщении #1343924 писал(а):
Обучай машину также, получишь такой же результат.
Проблема только в том, что большинство интеллектуальных задач не являются задачами аппроксимации. И как я уже говорил выше, машина вообще не умеет заниматься генерацией моделей. От слова совсем. :-) Это немножко разрушает картину мира ув. Михайло, но зато соответствует реальности.
Так и есть.

-- 06.10.2018, 14:35 --

realeugene Онтология это структура данных по сути. Формализация неформальных данных и знаний, понятий. При чтении всяких текстов, где встречается слово онтология, я подставляю мысленно слова "определение/понятие" и текст становится понятным. :?

-- 06.10.2018, 14:38 --

Alephegg в сообщении #1343861 писал(а):
Да, любое моделирование (а мышление - это (если сильно упрощать) и есть моделирование) включает в себя все эти вещи. Другое дело, что они могут существовать неявно, размыто, нечетко, с противоречиями и прочим, но суть не меняется. Модель необходимо подразумевает язык, язык необходимо подразумевает онтологию и правила, онтология подразумевает понятия и объекты), то есть любой модели соответствует некоторое мета-описание, опять же, в явном или неявном виде.
Правильно, поддерживаю позицию.

-- 06.10.2018, 14:40 --

Mihaylo в сообщении #1343883 писал(а):
Alephegg в сообщении #1343861 писал(а):
Другое дело, что они могут существовать неявно, размыто, нечетко, с противоречиями и прочим, но суть не меняется.

Суть меняется, однозначно и бесповоротно. Иначе все выглядит так, будто человек - это бог и так далее. Я даже утверждаю это для людей с высшим образованием, а у вас это свободно и для всех. Глупость какая-то.
Это не глупость. Вы наделяете нейросетки тем содержанием, которым они не обладают, судя по вашим высказываниям в данной теме.

-- 06.10.2018, 14:40 --

Mihaylo в сообщении #1343856 писал(а):
Нейросети по своим возможностям соответствуют возможностям человека (по силе интеллекта), это уже сто раз доказано реальными результатами.
Это глубоко неверно.

-- 06.10.2018, 14:44 --

Alephegg в сообщении #1343848 писал(а):
Уже в возрасте года человек проявляет достаточную разумность, а в три (при не очень хорошей "синтезации" речи и письменности, и плохого vocabulary) проявляет исчерпывающую разумность, которую сразу можно отличить от машинной "разумности". Тут дело не в обучающих данных и не в архитектуре слабого интеллекта, тут дело как раз в том, что архитектура сильного интеллекта совсем другая.
Именно так.
Alephegg в сообщении #1343848 писал(а):
И мы пока вообще не понимаем, какая она.
Это слишком пессиместично, в принципе уже кое-что понимаем. :-)

-- 06.10.2018, 14:48 --

Alephegg в сообщении #1343803 писал(а):
На мой вкус, понимание (в каком-то смысле) - это неотъемлемая способность такого интеллекта.

Это одна из ключевых вещей!

-- 06.10.2018, 14:50 --

Mihaylo в сообщении #1343735 писал(а):
Так что, ещё раз повторю, на сегодняшний момент человек и машина - одного поля ягода. Оба обладают слабым интеллектом. Не преувеличивайте интеллект человека.
Это уже совсем ни в какие ворота не лезет. :mrgreen: Хотя, конечно, бывает и мясорубка умнее человека. :mrgreen:

-- 06.10.2018, 15:00 --

Теперь про нейросети. Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та. А какой должна быть архитектура сильного ИИ? Над этим и надо размышлять. Для этого вся текущая литература бесполезна по сути. Почему? А потому, что еще нет сильного ИИ. Если чуть корректнее сказать, по литературе разбросаныы крупицы правильного, но если не знать правильного ответа, то и не выберешь нужные крупицы, крупицы правильного тонут в Тьюринговской трясине смысла и трясине мелких подробностей. А все почему? Нужна формализация многих понятий! А ее нет. Как следствие нет понимания.
Короче, надо размышлять, а не нейросети гонять на датасетах. 8-)

-- 06.10.2018, 15:10 --

Alephegg в сообщении #1343556 писал(а):
Проблема понимания ЕЯ в том, что очень мало людей понимают, что такое понимание. :) Как оно реализовано на уровне когнитивных функций естественного мышления. Что оно такое и как может быть реализовано в формальных системах. Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.
Горячо поддерживаю спич. )

-- 06.10.2018, 15:12 --

Rasool в сообщении #1343015 писал(а):
По задаче понимания текста на ЕЯ - я лично пересекался в LinkedIn с Джоном Совой, который сообщил, что задача Natural Language Understanding - ИИ-полная, для ее решения требуется сильный ИИ.
Я так понимаю, что для понимания текста на ЕЯ нужно решить задачу трансляции этого текста в базу знаний, например, онтологию.
Именно так и в моем понимании.

-- 06.10.2018, 15:17 --

Rasool в сообщении #1343605 писал(а):
Рекомендую почитать книгу Кобозевой И.М. "Лингвистическая семантика", можно Ю. Д. Апресяна "Избранные труды том I
Лексическая семантика".
Понимание смысла текста сводится к тому, что субьект (человек или машина) сопоставляет смысл прочитанного с имеющимися знаниями о мире в голове. Если 5-летнему ребенку рассказать про синхрофазотрон, то он ничего не поймет, потому что он не обладает нужными знаниями о физике. В случае машины читаемый текст на ЕЯ можно преобразовывать в онтологию с помощью специального синтактико-семантического парсера и сравнить эту онтологию с имеющейся базой знаний в памяти. Тут уже потребуется логика, как говорил известный ученый в области инженерии знаний Джон Сова.
Именно так. Текст должен преобразовываться в модели, модели должны сопоставляться, идентифицироваться, преобразовываться, дополняться из базы моделей, на окончательном этапе модели должны преобразовываться в текст на другом языке.

-- 06.10.2018, 15:21 --

Alephegg в сообщении #1343711 писал(а):
Тут даже вопрос не в том, как определить NLU и AIC, здесь самое главное дорожная карта. На мой вкус оба доминирующих сейчас варианта: а) оно само возникнет, нужно просто глубже обучать и б) соберем все модули в кучу, это и будет AGI-архитектура - ведут в тупик.
Однозначно, аналогично. :!:

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 314 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8 ... 21  След.

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group