Deep Learning и задача понимания естественного языка

[Mihaylo]

Alephegg в сообщении #1343836 писал(а):

Mihaylo в сообщении #1343831 писал(а):

но обучающие данные разные

Честно говоря, не очень понятно, почему они разные. И не очень понятно, почему в обучении ИИ нельзя использовать именно те данные, которые делают живого человека способным к осмысленной речи (с учетом того, что с Ваших слов, человек - это слабый интеллект).

Мой дорогой друг, на мой взгляд очевидно: человек учится синтезации речи (в терминах машины) порядка 15 лет при активном участии общества родителей, родственников, учителей, друзей, одноклассников и т.д. Надо сказать, что механизм обучения человека очень схож с машинным GAN (генеративно-состязательная сеть). То есть состязательные сети должны следить за обучаемым. Думаю, в этом пока серьёзные трудности, тем более нужны не просто растущие антагонистические сети, а такие, которые соответствуют взрослым людям - родителям, учителям. А обученных машинных синтезаторов речи определённого языка нет, это такие же системы, в которых мы тоже нуждаемся.

-- 05.10.2018, 19:50 --

Понял, что в моём ответе не хватает второй половины ответа: очень важно понять, что слова, словосочетания, предложения, абзацы и тексты - это отражение реальных процессов. Поэтому просто так сгенерировать текст достаточно просто, но потом недружественному интеллекту легко выявить то или иное несоответствие реальности. И итоговый вывод - носитель языка должен владеть реальностью, то есть пятью органами чувств и всеми эффекторами (для активного обучения). Это значит, что машина должна быть человекоподобной, чтобы речь была неотличима от человеческой.

[Alephegg]

Mihaylo в сообщении #1343847 писал(а):

человек учится синтезации речи (в терминах машины) порядка 15 лет

Человек учится всю жизнь, после сорока это становится особенно очевидным и приходится даже планировать эти занятия. :) Но я с Вами, мой дорогой друг, не согласен. Я могу принять аргумент, что мы пока не нашли адекватной архитектуры для ЕЯ-сети, какого-то гибрида RNN, DL и GAN. Но я не могу принять аргумент про 15 лет.

Уже в возрасте года человек проявляет достаточную разумность, а в три (при не очень хорошей "синтезации" речи и письменности, и плохого vocabulary) проявляет исчерпывающую разумность, которую сразу можно отличить от машинной "разумности". Тут дело не в обучающих данных и не в архитектуре слабого интеллекта, тут дело как раз в том, что архитектура сильного интеллекта совсем другая. И мы пока вообще не понимаем, какая она. В этом смысле задача NLU как раз хороший индикатор нашего непомания проблемы.

-- 05.10.2018, 08:53 --

Mihaylo в сообщении #1343847 писал(а):

И итоговый вывод - носитель языка должен владеть реальностью

Да, это серьезное замечание.

[realeugene]

У человека при обработке поступающей информации хорошо заметны несколько различных процессов: генерация первичных гипотез, их быстрая оценка и углублённый анализ самых лучших, пока не выживет одна гипотеза и не будет не принято окончательное решение. Это, несомненно, позволяет экономить ресурсы (и единственный доступный способ решать сложные комбинаторные задачи). Я вот не в теме: нейросети сейчас так уже умеют?

[Mihaylo]

Alephegg в сообщении #1343848 писал(а):

Но я не могу принять аргумент про 15 лет.

15 лет - это моя условная отметка. Пусть будет 3 года, просто там качество другое. Но машины обучаются максимум неделю-две, так как нужно выводить продукт на рынок незамедлительно.

Важно подчеркнуть: когда человек должен выразиться о каких-то ощущениях, он должен их испытать. Среднестатистический человек испытывает большинство ощущений (5 органов чувств). Многие из них принимают активные действия для получения новых ощущений.
Трудно будет говорить с машиной о том, как у тебя болит голова после похмелья.

[Alephegg]

realeugene в сообщении #1343849 писал(а):

генерация первичных гипотез

realeugene в сообщении #1343849 писал(а):

нейросети сейчас так уже умеют?

В этом месте мы должны определиться, что мы понимаем под гипотезами. Если понимаем модели (с элементами онтологии, понятийной системой, алфавитом объектов, языком описания и тому подобным), то - нет, не умеют. Если понимаем автоматически сгенерированные функции для заранее размеченной области, то - да, умеют. "Нейросети" вообще очень похожи на программирование, только с несколько экзотическим языком и компайлером.

[Mihaylo]

realeugene в сообщении #1343849 писал(а):

У человека при обработке поступающей информации хорошо заметны несколько различных процессов: генерация первичных гипотез, их быстрая оценка и углублённый анализ самых лучших, пока не выживет одна гипотеза и не будет не принято окончательное решение. Это, несомненно, позволяет экономить ресурсы (и единственный доступный способ решать сложные комбинаторные задачи). Я вот не в теме: нейросети сейчас так уже умеют?

Нейросети по своим возможностям соответствуют возможностям человека (по силе интеллекта), это уже сто раз доказано реальными результатами. Проблема в том, что не всегда получаются "дешёвыми" обучающие выборки и не всегда хватает времени на обучение.

[Alephegg]

Mihaylo в сообщении #1343852 писал(а):

Но машины обучаются максимум неделю-две

На мой вкус, тут важно не время обучения, а как раз формат данных. Машины обучаются на предварительно размеченных данных. Даже, если это текстовые корпуса, то используются размеченные корпуса и словари (например, та же морфология, грамматика). Проблема в том, что после какого-то времени обучения, человек начинает обучаться данным НЕ размеченным, а машина этого не умеет принципиально. В ней элемента "само" немножко не хватает. :)

[Mihaylo]

Alephegg в сообщении #1343855 писал(а):

В этом месте мы должны определиться, что мы понимаем под гипотезами. Если понимаем модели (с элементами онтологии, понятийной системой, алфавитом объектов, языком описания и тому подобным), то - нет, не умеют.

Стопэ. А вы уверены, что человек это умеет?????????? Онтологии, понятийные системы - это всё чуждо даже людям с высшим образованием!

[Alephegg]

Mihaylo в сообщении #1343859 писал(а):

А вы уверены, что человек это умеет

Да, любое моделирование (а мышление - это (если сильно упрощать) и есть моделирование) включает в себя все эти вещи. Другое дело, что они могут существовать неявно, размыто, нечетко, с противоречиями и прочим, но суть не меняется. Модель необходимо подразумевает язык, язык необходимо подразумевает онтологию и правила, онтология подразумевает понятия и объекты), то есть любой модели соответствует некоторое мета-описание, опять же, в явном или неявном виде.

[Mihaylo]

Alephegg в сообщении #1343861 писал(а):

Другое дело, что они могут существовать неявно, размыто, нечетко, с противоречиями и прочим, но суть не меняется.

Суть меняется, однозначно и бесповоротно. Иначе все выглядит так, будто человек - это бог и так далее. Я даже утверждаю это для людей с высшим образованием, а у вас это свободно и для всех. Глупость какая-то.

[Alephegg]

Mihaylo в сообщении #1343883 писал(а):

Суть меняется, однозначно и бесповоротно.

Нет, не меняется. Грамматика, морфология не исчезает из языка от того, что человек, разговаривающий на нём, не имеет высшего филологического образования. Человек, прыгающий с шестом, учится этому не осозновая, что решает тем самым дифференциальное уравнение движения тела в потенциальном поле. И так далее.

[Mihaylo]

Нейронная сеть тоже работает, не осознавая. Она моделирует/решает дифференциальные уравнения, она и онтологии создаёт, и логически мыслит. И всё это размыто. Как у человека. Разницы-то нет.

Человек в какой-то мере умеет тренировать чёткое понимание (в противовес "нечёткому пониманию", характерному нейронным сетям). За счёт чего это получается? За счёт повторения/зубрения налаживаются более-менее прочные нейронные связи. Нейронная сеть учится отбрасывать нечёткое и принимать во внимание только чёткое, доказанное. Именно так вырабатывается некий подход. Именно так появляются педантичные, грамотные, эрудированные люди. И дело ни в каких-то построениях онтологий.
Если взять людей с творческим началом в работе, то они тренируются делать экстраполяции, случайные пробы и так далее. Так появляются творческие, креативные люди, разработчики.

Все люди формируются в процессе обучения. Обучай машину также, получишь такой же результат.

Говорить о том, что нейронным сетям не хватает какой-то силы - это наивность какая-то. Есть определённые обучающие датасеты - всё что там есть, тому НС и научится. Научиться можно чему угодно.

[realeugene]

Mihaylo в сообщении #1343924 писал(а):

Говорить о том, что нейронным сетям не хватает какой-то силы - это наивность какая-то.

А проводились ли эксперименты, например, какая требуется нейросеть для вычисления медианы из пяти чисел с точностью 1%?

-- 06.10.2018, 08:58 --

(Оффтоп)

Mihaylo в сообщении #1343859 писал(а):

Онтологии

До сих пор не знаю точный смысл этого термина. Википедия помогает не сильно.

[Alephegg]

Mihaylo в сообщении #1343924 писал(а):

Обучай машину также, получишь такой же результат.

Проблема только в том, что большинство интеллектуальных задач не являются задачами аппроксимации. И как я уже говорил выше, машина вообще не умеет заниматься генерацией моделей. От слова совсем. Это немножко разрушает картину мира ув. Михайло, но зато соответствует реальности.

[Yodine]

Alephegg в сообщении #1343971 писал(а):

Mihaylo в сообщении #1343924 писал(а):

Обучай машину также, получишь такой же результат.

Проблема только в том, что большинство интеллектуальных задач не являются задачами аппроксимации. И как я уже говорил выше, машина вообще не умеет заниматься генерацией моделей. От слова совсем. Это немножко разрушает картину мира ув. Михайло, но зато соответствует реальности.

Так и есть.

-- 06.10.2018, 14:35 --

realeugene Онтология это структура данных по сути. Формализация неформальных данных и знаний, понятий. При чтении всяких текстов, где встречается слово онтология, я подставляю мысленно слова "определение/понятие" и текст становится понятным.

-- 06.10.2018, 14:38 --

Alephegg в сообщении #1343861 писал(а):

Да, любое моделирование (а мышление - это (если сильно упрощать) и есть моделирование) включает в себя все эти вещи. Другое дело, что они могут существовать неявно, размыто, нечетко, с противоречиями и прочим, но суть не меняется. Модель необходимо подразумевает язык, язык необходимо подразумевает онтологию и правила, онтология подразумевает понятия и объекты), то есть любой модели соответствует некоторое мета-описание, опять же, в явном или неявном виде.

Правильно, поддерживаю позицию.

-- 06.10.2018, 14:40 --

Mihaylo в сообщении #1343883 писал(а):

Alephegg в сообщении #1343861 писал(а):

Другое дело, что они могут существовать неявно, размыто, нечетко, с противоречиями и прочим, но суть не меняется.

Суть меняется, однозначно и бесповоротно. Иначе все выглядит так, будто человек - это бог и так далее. Я даже утверждаю это для людей с высшим образованием, а у вас это свободно и для всех. Глупость какая-то.

Это не глупость. Вы наделяете нейросетки тем содержанием, которым они не обладают, судя по вашим высказываниям в данной теме.

-- 06.10.2018, 14:40 --

Mihaylo в сообщении #1343856 писал(а):

Нейросети по своим возможностям соответствуют возможностям человека (по силе интеллекта), это уже сто раз доказано реальными результатами.

Это глубоко неверно.

-- 06.10.2018, 14:44 --

Alephegg в сообщении #1343848 писал(а):

Уже в возрасте года человек проявляет достаточную разумность, а в три (при не очень хорошей "синтезации" речи и письменности, и плохого vocabulary) проявляет исчерпывающую разумность, которую сразу можно отличить от машинной "разумности". Тут дело не в обучающих данных и не в архитектуре слабого интеллекта, тут дело как раз в том, что архитектура сильного интеллекта совсем другая.

Именно так.

Alephegg в сообщении #1343848 писал(а):

И мы пока вообще не понимаем, какая она.

Это слишком пессиместично, в принципе уже кое-что понимаем.

-- 06.10.2018, 14:48 --

Alephegg в сообщении #1343803 писал(а):

На мой вкус, понимание (в каком-то смысле) - это неотъемлемая способность такого интеллекта.

Это одна из ключевых вещей!

-- 06.10.2018, 14:50 --

Mihaylo в сообщении #1343735 писал(а):

Так что, ещё раз повторю, на сегодняшний момент человек и машина - одного поля ягода. Оба обладают слабым интеллектом. Не преувеличивайте интеллект человека.

Это уже совсем ни в какие ворота не лезет. Хотя, конечно, бывает и мясорубка умнее человека.

-- 06.10.2018, 15:00 --

Теперь про нейросети. Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та. А какой должна быть архитектура сильного ИИ? Над этим и надо размышлять. Для этого вся текущая литература бесполезна по сути. Почему? А потому, что еще нет сильного ИИ. Если чуть корректнее сказать, по литературе разбросаныы крупицы правильного, но если не знать правильного ответа, то и не выберешь нужные крупицы, крупицы правильного тонут в Тьюринговской трясине смысла и трясине мелких подробностей. А все почему? Нужна формализация многих понятий! А ее нет. Как следствие нет понимания.
Короче, надо размышлять, а не нейросети гонять на датасетах.

-- 06.10.2018, 15:10 --

Alephegg в сообщении #1343556 писал(а):

Проблема понимания ЕЯ в том, что очень мало людей понимают, что такое понимание. :) Как оно реализовано на уровне когнитивных функций естественного мышления. Что оно такое и как может быть реализовано в формальных системах. Если поймете 'понимание', то уже можно и задачи ставить и инструменты соответствующие искать.

Горячо поддерживаю спич. )

-- 06.10.2018, 15:12 --

Rasool в сообщении #1343015 писал(а):

По задаче понимания текста на ЕЯ - я лично пересекался в LinkedIn с Джоном Совой, который сообщил, что задача Natural Language Understanding - ИИ-полная, для ее решения требуется сильный ИИ.
Я так понимаю, что для понимания текста на ЕЯ нужно решить задачу трансляции этого текста в базу знаний, например, онтологию.

Именно так и в моем понимании.

-- 06.10.2018, 15:17 --

Rasool в сообщении #1343605 писал(а):

Рекомендую почитать книгу Кобозевой И.М. "Лингвистическая семантика", можно Ю. Д. Апресяна "Избранные труды том I
Лексическая семантика".
Понимание смысла текста сводится к тому, что субьект (человек или машина) сопоставляет смысл прочитанного с имеющимися знаниями о мире в голове. Если 5-летнему ребенку рассказать про синхрофазотрон, то он ничего не поймет, потому что он не обладает нужными знаниями о физике. В случае машины читаемый текст на ЕЯ можно преобразовывать в онтологию с помощью специального синтактико-семантического парсера и сравнить эту онтологию с имеющейся базой знаний в памяти. Тут уже потребуется логика, как говорил известный ученый в области инженерии знаний Джон Сова.

Именно так. Текст должен преобразовываться в модели, модели должны сопоставляться, идентифицироваться, преобразовываться, дополняться из базы моделей, на окончательном этапе модели должны преобразовываться в текст на другом языке.

-- 06.10.2018, 15:21 --

Alephegg в сообщении #1343711 писал(а):

Тут даже вопрос не в том, как определить NLU и AIC, здесь самое главное дорожная карта. На мой вкус оба доминирующих сейчас варианта: а) оно само возникнет, нужно просто глубже обучать и б) соберем все модули в кучу, это и будет AGI-архитектура - ведут в тупик.

Однозначно, аналогично.