Deep Learning и задача понимания естественного языка

[Andrey_Kireew]

Не всё сводится к ассоциациям, см. предыдущий пост. Не зря различают интуицию (ассоциативное мышление в чистом виде) и "разум" (рациональное мышление), которые часто вступают в противоречие.

[Yodine]

Все остальное более сложная надстройка по моим текущим воззрениям. Я понимаю, что выглядит радикально.
Это как с машиной Тьюринга, которая только и может, что головкой двигать.

[Andrey_Kireew]

Тут принципиальная разница. Ассоциативное мышление параллельное, а рациональное - последовательное. Ассоциации возникают быстро (и это преимущество), логически обоснованное умозаключение - после долгих раздумий.

[Yodine]

Ассоциация это сокращенная цепочка событий.
Пусть есть события $a_1,a_2,...,a_k,...,a_j,...a_n$, тогда ассоциация это $((a_1,...,a_k),(a_j,...,a_n))=(s_{beg}, s_{end})$
Один возможный механизм конструирования нового на основе старых ассоциаций:
старые ассоциации
$(a_{beg}, a_{end})$
$(b_{beg}, b_{end})$

новые ассоциации
$(a_{beg}, b_{end})$
$(b_{beg}, a_{end})$

-- 08.10.2018, 04:58 --

Andrey_Kireew Я понимаю, про что вы. Вы про более сложные формы мышления, которые естественно существуют. Сложные формы мышления это сложная комбинация простых ассоциаций. Точно также, на машине Тьюринга с помощью простых команд можно осуществить вычисление сложной функции.

[Andrey_Kireew]

Yodine в сообщении #1344357 писал(а):

Ассоциация это сокращенная цепочка событий

странное понимание, мне казалось, что ассоциация - это взаимосвязь фактов $Y=F(X)$, $X$ - вектор стимулов, $Y$ - вектор ответов. Привязка ко времени совсем не обязательна. Как раз такую ассоциативную связь очень хорошо моделирует нейросеть. Отсюда и все разговоры о искусственном интеллекте.

Yodine в сообщении #1344357 писал(а):

Один возможный механизм конструирования нового на основе старых ассоциаций:
старые ассоциации
$(a_{beg}, a_{end})$
$(b_{beg}, b_{end})$

новые ассоциации
$(a_{beg}, b_{end})$
$(b_{beg}, a_{end})$

как это осуществляется? Сбой в работе головного мозга (у гениев, к стати, с этим всё в порядке), в результате которого случайно возникает новое знание?

Вообще то мне казалось, да и кажется, что это процесс целенаправленный. Хотя, может и так.

-- 08.10.2018, 09:24 --

Я имею в виду именно качественно новые знания. Нетривиальные задачи, которые человек иногда в состоянии решать.
Можно научиться, и решать любые задачи (при должном упорстве). Именно ассоциативное мышление развивает система образования.

Но как быть с задачами, с которыми никогда не сталкивался? Их то ведь кто то впервые решает. Ассоциативное мышление здесь бессильно. Поэтому, для большинства людей такие задачи оказываются непреодолимыми.

-- 08.10.2018, 09:36 --

Yodine в сообщении #1344357 писал(а):

Точно также, на машине Тьюринга с помощью простых команд можно осуществить вычисление сложной функции

Да, процесс мышления похож как раз на это. Но чтобы моделировать такие процессы, нужны рекуррентные нейросети. Deap learning здесь постольку - по скольку. Ближе всего с "думающим" можно отнести игровые программы, типа шахмат или го. Но их наверное не то что глубокими, вообще нейросетями, назвать можно, лишь с большой натяжкой.

[Mihaylo]

Andrey_Kireew в сообщении #1344342 писал(а):

1. какие это такие одинаковые методы применяются в интерполяции и аппроксимации? (приведите примеры конкретных методов)
2. данные какого характера используются в интерполяции, а какого - в аппроксимации? (какие такие специфические требования эти методы предъявляют к данным)

Прочитайте внимательнее:

Mihaylo в сообщении #1344333 писал(а):

Стоит лишь начать задавать вопросы, а чем экстраполяция отличается от интерполяции, то оказывается человек-то и не понимает разницы: потому что у них одинаковые методы, а отличаются они лишь характером данных.

Есть два противопоставления:
1. экстраполяция vs интерполяция
2. аппроксимация vs интерполяция

Yodine в сообщении #1344346 писал(а):

Любопытно, а смогут ли предсказать ваши методы экстраполяции, какое слово я напишу в следующем сообщении мужду двумя *...*? Это принципиальная разница. Экстраполяция пытается предсказать будущее и в этом вся фишка. Когда будущее будет удачно предсказано?
Скажем последовательность $2,4,6,8...$ можно продолжить бесконечным числом способов. Вопрос как выбрать правильное правило (функцию) экстраполяции?
Вот на этой разнице нейросетки и срезаются.

Вы поставили мысленный эксперимент, но не пытаетесь его объяснить и описать реальные результаты. Лишь голословно утверждаете, что нейросетки не могут. А человек-то может? он тоже не может.

Я лично не вижу никаких проблем в том, чтобы научить нейросети экстраполировать. Заметьте Ваша ошибка заключается в том, что вы считаете способность экстраполировать необходимым врождённым свойством. А на самом деле - это приобретаемое свойство. Причина: чтобы экстраполировать, надо переносить знания из одной области в другую:

Цитата:

Экстраполяция — это логико-методологическая процедура распространения (переноса) выводов, сделанных относительно какой-либо части объектов или явлений на всю совокупность (множество) данных объектов или явлений.

То есть для экстраполяции надо сначала чему-то научиться (развить детекторы признаков в скрытых слоях), а потом пытаться эти знания применить. А теперь вспомните хотя бы архитектуру классического многослойного перцептрона и поймёте, что нет ничего невозможного.
Уверяю, нейросети могут научиться переносить знания из области в область. Для этого нужно, чтобы нейросеть работала в двух или трёх разнотипных областях.

[Yodine]

Думаю, что если взять нейросетку достаточно больших размеров, то на ней можно будет промоделировать машину Тьюринга. На машине Тьюринга нейросетки моделируются с очевидностью. Эти две конструкции Тьюринг-полны.
Я считаю, что сильный ИИ возможен, соответственно, на машине Тьюринга можно составить алгоритм, который будет сильным ИИ. Т.е. сама по себе организация структуры нейросети не является принципиально нужной, принципиально необходимой.
Т.е. нейросетки и машина Тьюринга являются тьюринг-эквивалентны.
Вопрос: чего не хватает машине Тьюринга, чтобы стать сильным ИИ? Мой ответ не хватает правильно организованного алгоритма.
Если начать генерировать все возможные программы машины Тьюринга в лексикографическом порядке, то рано или поздно мы наткнемся на сильный ИИ. Аналогично и с нейросетками, коль скоро они эквивалентны машине Тьюринга. Все ухищрения с нейросетками по сути это усложненный перебор возможных программ на МТ.

Я утверждаю, что это тупиковый путь, требуются новые подходы, дело не в недостатке данных, дело в отсутствии правильного алгоритма, а это в свою очередь требует правильного осознания проблемы и выработки правильных подходов.

[Mihaylo]

Yodine в сообщении #1344346 писал(а):

Скажем последовательность $2,4,6,8...$ можно продолжить бесконечным числом способов. Вопрос как выбрать правильное правило (функцию) экстраполяции?

Давайте вот здесь поподробнее, а то у вас наблюдаются пробелы в знаниях. Смотрите, как эта задача решается в разной стадии развития интеллекта.

Когда интеллект не знает ничего о линейной и прочих зависимостях (полный нуль), экстраполяция невозможна. Нечего экстраполировать. Обычно (на практике) человеческий интеллект осваивает константные зависимости $y = \operatorname{const}$. Мы очень часто сталкиваемся с тем, что многие вещи вокруг нас неизменны. Поэтому поначалу дети экстраполировали бы так: $2, 4, 6, 8, 8, 8, 8, 8, ...$ (Где в последний раз видел игрушку, там и ищем.)
Затем накапливается опыт линейных зависимостей (опыт изменения положения при равномерном движении)... Потом программирование - опыт экспоненциальных зависимостей...
Экстраполяция - это приобретаемая способность.

А вы как себе представляли экстраполирование? Это точно не метод генерации новых знаний, смотрите определение.

[realeugene]

Mihaylo в сообщении #1344362 писал(а):

Вы поставили мысленный эксперимент, но не пытаетесь его объяснить и описать реальные результаты. Лишь голословно утверждаете, что нейросетки не могут. А человек-то может? он тоже не может.

С точки зрения человека, он может. "Продолжить последовательность" - это стандартная практика при тестировании IQ.

-- 08.10.2018, 09:35 --

Yodine в сообщении #1344366 писал(а):

Если начать генерировать все возможные программы машины Тьюринга в лексикографическом порядке, то рано или поздно мы наткнемся на сильный ИИ. Аналогично и с нейросетками, коль скоро они эквивалентны машине Тьюринга. Все ухищрения с нейросетками по сути это усложненный перебор возможных программ на МТ.

Вы, безусловно, подразумевали древний аргумент про толпы мартышек за печатными машинками, которые рано или поздно напишут "Войну и мир". Написать-то они напишут, но когда?

[Yodine]

Mihaylo в сообщении #1344367 писал(а):

Давайте вот здесь поподробнее, а то у вас наблюдаются пробелы в знаниях.

У меня очень большие пробелы. Но гуглить и понимать несложные тексты умею.
А можете сказать, что вы заканчивали, какие работы (статьи) у вас есть в ИИ, специальность, чтобы легче было разговаривать, можно в личку и без фамилий, хотя со статьями я не знаю как быть тогда? )) Но если статей нет, тогда можно и вслух. Сoming out.

-- 08.10.2018, 06:41 --

realeugene в сообщении #1344369 писал(а):

Вы, безусловно, подразумевали древний аргумент про толпы мартышек за печатными машинками, которые рано или поздно напишут "Войну и мир". Написать-то они напишут, но когда?

Да, примерно такой аргумент.
Вот поэтому я и говорю, что нужны иные подходы.
Думаю, что не поможет подход типа такого, сделать много специализированных нейросеток. Потом на эти нейросетки натравить другие нейросетки, чтобы они выявили паттерны/алгоритмы экстраполяции. Потом на нейросетки предыдущих поколений снова натравить нейросетки, пока не получим сильный ИИ. Мы потеряемся на этом пути, "проклятие размерности", комбинаторный взрыв.

[Mihaylo]

Да зачем статьи, просто высказывания можно проанализировать.

[realeugene]

Mihaylo в сообщении #1344372 писал(а):

Да зачем статьи, просто высказывания можно проанализировать.

По высказываниям мне вспоминается поговорка: "когда у тебя в руках молоток, всё вокруг кажется гвоздями".
https://en.wikipedia.org/wiki/Law_of_the_instrument

[Mihaylo]

Желаю вам изобрести супермолот!

[Yodine]

Mihaylo в сообщении #1344372 писал(а):

Да зачем статьи, просто высказывания можно проанализировать.

Вот я уже ранее и оценил:

Yodine в сообщении #1344137 писал(а):

Вы научились гонять нейросетки и пребываете в эйфории, но не понимаете, что такое мышление и остальное. Именно оттуда и ваше "усилитель интеллекта"

Видимо вы с уклоном в программирование только, т.е без излишних теоретизирований. Думаю, вдруг ошибаюсь, поэтому и спросил.
У вас какие-то несколько механически-оптимистические взгляды, что-ль, насуем данных побольше и все само заведется.

[realeugene]

(Оффтоп)

Mihaylo в сообщении #1344375 писал(а):

Желаю вам изобрести супермолот!

Знаю, я не т-а-а-к уж молод,
но ещё могуч мой...
Тьфу на вас!