Deep Learning и задача понимания естественного языка

[fan_of_algoritms]

Цитата:

Если чуть корректнее сказать, по литературе разбросаныы крупицы правильного, но если не знать правильного ответа, то и не выберешь нужные крупицы, крупицы правильного тонут в Тьюринговской трясине смысла и трясине мелких подробностей. А все почему? Нужна формализация многих понятий! А ее нет. Как следствие нет понимания.

Кое что сконцентрированное, вместе со списком литературы, есть вот здесь: Перспективы развития вычислительной техники, в 11 томах, под ред. Ю.М. Смирнова, М., Высшая школа, 1989.
1-ая книга: Информационные семантические системы.
2-ая книга: Интеллектуализация ЭВМ.
:)

[Alephegg]

Yodine в сообщении #1343995 писал(а):

Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та. А какой должна быть архитектура сильного ИИ? Над этим и надо размышлять.

Да, согласен, именно так.

-- 06.10.2018, 10:47 --

Yodine в сообщении #1343995 писал(а):

Текст должен преобразовываться в модели, модели должны сопоставляться, идентифицироваться, преобразовываться, дополняться из базы моделей, на окончательном этапе модели должны преобразовываться в текст на другом языке.

В этом «месте» есть одна тонкость - слова сами по себе никаких значений не несут. Работать с моделями придется через семиотику, то есть текст - это не более, чем взаимная «адресация» реальности и понятийного пространства. То есть в преобразовании текст -> модель мы имеем две реконструкционных обратных задачи. А не функцию типа парсинга...

[Yodine]

Alephegg в сообщении #1344010 писал(а):

В этом «месте» есть одна тонкость - слова сами по себе никаких значений не несут. Работать с моделями придется через семиотику, то есть текст - это не более, чем взаимная «адресация» реальности и понятийного пространства. То есть в преобразовании текст -> модель мы имеем две реконструкционных обратных задачи. А не функцию типа парсинга...

Конечно, не тупой парсинг. Да, я подразумевал под моделями в текущем контексте некие конструкции адресации. Хотя я бы семиотику и ее семиозисы )) проигнорировал бы совсем. Для конкретных программ примтивного автоматического перевода не надо игнорировать. А для решения проблемы сильного ИИ игнорируем.

-- 06.10.2018, 17:39 --

fan_of_algoritms в сообщении #1344009 писал(а):

под ред. Ю.М. Смирнова, М., Высшая школа, 1989.
1-ая книга: Информационные семантические системы.

Качнул с генезиса, сейчас полистаю, доложу.

[Mihaylo]

Yodine в сообщении #1343995 писал(а):

Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та.

В смысле "не та"? Что вы хотите усилить? Сделать слабый интеллект сильнее? Ну дайте ему больше знаний. Других путей нет. Если анализировать существующие "заведомо слабые интеллекты", то выявится, что они просто недополучают информации, а не слабые. Вы думаете деревенские ребята немного слабее городских оттого, что у последних гены другие???

Вы ещё не поняли, где собака зарыта?

-- 06.10.2018, 22:55 --

Существует более правдоподобная гипотеза: любые проявление более сильного интеллекта являются следствием более тщательного обучения, а не абстрактной "силы интеллекта". Забудьте про "силу интеллекта". Вы путаете способности (которые в принципе у всех изначально одинаковы, даже у нейронных сетей) и багаж знаний.
Способность логически мыслить, способность абстрактно мыслить, способность творчески мыслить, способность системно мыслить - всё это приобретается при жизни. Вы же согласны с этим? Ну и при чём же тут "сила интеллекта"?

Я вас не понимаю!

[Rasool]

Mihaylo в сообщении #1344031 писал(а):

Yodine в сообщении #1343995 писал(а):

Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та.

В смысле "не та"? Что вы хотите усилить? Сделать слабый интеллект сильнее? Ну дайте ему больше знаний. Других путей нет. Если анализировать существующие "заведомо слабые интеллекты", то выявится, что они просто недополучают информации, а не слабые. Вы думаете деревенские ребята немного слабее городских оттого, что у последних гены другие???

Вы ещё не поняли, где собака зарыта?

-- 06.10.2018, 22:55 --

Существует более правдоподобная гипотеза: любые проявление более сильного интеллекта являются следствием более тщательного обучения, а не абстрактной "силы интеллекта". Забудьте про "силу интеллекта". Вы путаете способности (которые в принципе у всех изначально одинаковы, даже у нейронных сетей) и багаж знаний.
Способность логически мыслить, способность абстрактно мыслить, способность творчески мыслить, способность системно мыслить - всё это приобретается при жизни. Вы же согласны с этим? Ну и при чём же тут "сила интеллекта"?

Я вас не понимаю!

"Сила интеллекта" - в архитектуре нейронной сети, естественной или же искусственной. Пока искусственные НС не дотягивают до естественных.

[Yodine]

fan_of_algoritms в сообщении #1344009 писал(а):

Перспективы развития вычислительной техники, в 11 томах, под ред. Ю.М. Смирнова, М., Высшая школа, 1989.
1-ая книга: Информационные семантические системы.
2-ая книга: Интеллектуализация ЭВМ.

Книги старые, вроде введения для начинающих, понравились, полистал очень бегло.

-- 06.10.2018, 18:10 --

Mihaylo в сообщении #1344031 писал(а):

Yodine в сообщении #1343995 писал(а):

Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та.

В смысле "не та"? Что вы хотите усилить? Сделать слабый интеллект сильнее? Ну дайте ему больше знаний. Других путей нет. Если анализировать существующие "заведомо слабые интеллекты", то выявится, что они просто недополучают информации, а не слабые. Вы думаете деревенские ребята немного слабее городских оттого, что у последних гены другие???

Сколько в велосипед бензина не заливай, а он самолетом не станет. Хорошая аналогия состоит в следующем. Не надо копировать принципы работы естественного интеллекта для создания сильного ИИ. Точно также не надо копировать биохимию и движение птиц, чтобы создать самолет. Надо выделить главный эффект, который позволяет птицам летать, подъемную силу, используя этот эффект можно сконструировать дельтаплан и самолет, но не обязательно делать махолет. Так и с сильным ИИ. Надо понять главные принципы, ответить на главные вопросы и сконструировать сильный ИИ, не надо его заставлять махать крыльями.

Mihaylo в сообщении #1344031 писал(а):

Вы ещё не поняли, где собака зарыта?

Именно по причине понимания и не согласен с вами. А причина не механическая (мало информации), причина в конструкции и алгоритме.

[mihaild]

realeugene в сообщении #1343925 писал(а):

А проводились ли эксперименты, например, какая требуется нейросеть для вычисления медианы из пяти чисел с точностью 1%?

Уточните постановку - точность очевидно будет зависеть от распределения. А относительная погрешность еще и очень сильно зависит от среднего (все алгоритмы оптимизации смотрят только на разность, но не на само значение).

Совсем просто у меня получилось только примерно 22% погрешности для равномерного на [-1; 1] получить - https://gist.github.com/mihaild/d2e146f ... 39ebfb3c8f

(Оффтоп)

Я вообще не понимаю, что обсуждается в этой теме. Не хотят ли уважемые участники перейти от общих слов и аналогий к чуть более понятным простым пролетариям утверждениям?

[Yodine]

Эхе-хе, все уже было. )

Yodine в сообщении #1256440 писал(а):

В целом.
Нейросеть это по своей сути полином, который в многомерном пространстве параметров разделяет гиперповерхностями многомерные точки на разные классы. Обучение это по сути подгонка или фиттинг коэффициентов полинома. Ничего таинственного в итоге. Предыдущая ссылку очень наглядно показывает процесс подгонки гиперповерхностей.
Конкретный вид нейрона (функции активации) не имеет значения, он должен реализовавываться нелинейной, непрерывной и монотонной функцией, а вот конкретный вид неважен.
В нейросети главное не вид нейрона, а возможность легко образовывать связи между нейронами, оказывается это весьма универсальное свойство.
С помощью нейросетей можно аппроксимировать весьма широкий класс функций, есть соответствующие теоремы.

-- 06.10.2018, 18:37 --

mihaild в сообщении #1344035 писал(а):

Я вообще не понимаю, что обсуждается в этой теме. Не хотят ли уважемые участники перейти от общих слов и аналогий к чуть более понятным простым пролетариям утверждениям?

Без всяких претензий, естественно. А что вы хотели бы обсудить? Мне лично не интересно обсуждение конкретных систем перевода и конкретных алгоритмов используемых при переводе, при вытаскивании онтолгий и знаний из текстов. Мне интересны более общие вопросы касающиеся сильного ИИ, понимания и т.п. Если мы обсуждаем общие вопросы, то я остаюсь, иначе не смею мешать высокому собранию.

[Alephegg]

Было бы очень хорошо, на мой вкус, вместо термина "нейросети" имя коим - легион, употреблять хотя бы тип сетей. Насколько я вижу, чаще всего под "нейросетями" понимается MLP. Но я не стал бы в одной кучке общими словами описывать рядом с ним, например, RNN и CNN. А уж если речь идет о DL, как заявлено топиком, то каждая из них может иметь собственную архитектуру. И, уж если, мы всё объединяем в кучу, тогда уместнее все-таки использовать термин ML. Так мне скромно кажется.

[Rasool]

Mihaylo в сообщении #1344031 писал(а):

Yodine в сообщении #1343995 писал(а):

Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та.

В смысле "не та"? Что вы хотите усилить? Сделать слабый интеллект сильнее? Ну дайте ему больше знаний. Других путей нет. Если анализировать существующие "заведомо слабые интеллекты", то выявится, что они просто недополучают информации, а не слабые. Вы думаете деревенские ребята немного слабее городских оттого, что у последних гены другие???

Вы ещё не поняли, где собака зарыта?

-- 06.10.2018, 22:55 --

Существует более правдоподобная гипотеза: любые проявление более сильного интеллекта являются следствием более тщательного обучения, а не абстрактной "силы интеллекта". Забудьте про "силу интеллекта". Вы путаете способности (которые в принципе у всех изначально одинаковы, даже у нейронных сетей) и багаж знаний.
Способность логически мыслить, способность абстрактно мыслить, способность творчески мыслить, способность системно мыслить - всё это приобретается при жизни. Вы же согласны с этим? Ну и при чём же тут "сила интеллекта"?

Я вас не понимаю!

Тот же Джон Сова утверждал, что нейронные сети всего лишь реализуют функцию преобразования входного сигнала в выходной.

[Mihaylo]

Rasool в сообщении #1344032 писал(а):

"Сила интеллекта" - в архитектуре нейронной сети, естественной или же искусственной. Пока искусственные НС не дотягивают до естественных.

Ага... Щас! При прочих равных условиях нейросети бьют человека. Вы разве не слышали?
Ваша фраза "пока нейросети не дотягивают до ..." настолько бездумна, банальна и избита. Фактически вы хотите сказать "Пока задачи, которые нынче решаются нейросетями, меня не удовлетворяют, я хочу большего". Но не надо распространять свою неудовлетворённость на "силу интеллекта". Нету никакой силы интеллекта, есть logloss и accuracy. По этим показателям человек зачастую проигрывает.

Yodine в сообщении #1344033 писал(а):

Сколько в велосипед бензина не заливай, а он самолетом не станет. Хорошая аналогия состоит в следующем. Не надо копировать принципы работы естественного интеллекта для создания сильного ИИ. Точно также не надо копировать биохимию и движение птиц, чтобы создать самолет. Надо выделить главный эффект, который позволяет птицам летать, подъемную силу, используя этот эффект можно сконструировать дельтаплан и самолет, но не обязательно делать махолет.

Разногласия:
1. Сильный интеллект. Его не существует, нету никаких усилителей интеллекта. Есть только данные и в них нужно находить признаки. Есть хорошо работающие алгоритмы, есть плохо работающие. А ещё бывает данных нет - тут уже никакая "сила" не поможет.
2. Никто ничего не копирует. Вы знаете сколько методов машинного обучения помимо прославленных нейронных сетей? Все эти архитектуры объяснены. Принцип полёта ясен как пень.

-- 07.10.2018, 10:18 --

Я тут натравил MLP с одним скрытым слоем и 200 нейронами в этом слое на задачу MNIST.

import pandas as pd
path = 'D:/Anaconda/share/MNIST/'
data = pd.read_csv(path + 'train.csv', index_col='label')

# Простое разбиение выборки на обучающую и тестовую
k = 30000
y_train=data[0:(k-1)].index
x_train=data[0:(k-1)].values
y_test=data[k:41999].index
x_test=data[k:41999].values

from sklearn.neural_network import MLPClassifier
clf = MLPClassifier(solver='sgd', max_iter = 10, alpha=1e-4, hidden_layer_sizes=(200), random_state=1)
clf.fit(x_train, y_train)
y_pred = clf.predict(x_test)

from sklearn.metrics import accuracy_score
print(accuracy_score(y_test, y_pred))

Получен результат 0.9232436036336361 (аккуратность, доля правильных ответов). На стареньком компьютере работа алгоритма занимает всего 10 секунд. Обучение на 30000 символах, тест на 12000 символах.

Конечно 92% - это маловато. Слишком много символов (около 960 из 12000) распознаны ошибочно.

Давайте проанализируем, почему случаются ошибки. Для этого запустим код, который выведет нам несколько символов, на которых алгоритм ошибся.

import matplotlib.pyplot as plt
# Пороемся в первой сотне символов
for i in range(100):
   if (y_pred[i] != y_test[i]):
      imgplot = plt.imshow(x_test[i].reshape(28, 28))
      print(y_pred[i])
      plt.show()

Результат:


Красными прямоугольниками (см. стрелочку) я выделил ответы нейросети. Как видно, нейросеть, даже ошибаясь, даёт правдоподобные ответы. Можно просмотреть все ошибочно распознанные символы, там везде ситуация аналогичная.

Вы скажете: человек не сделал бы ни одной ошибки!
Мой ответ: поставьте машину в равное положение, чтобы сравнивать. Машина не знает принципы рукописания. Только человек может понять, что при написании цифры 8 дрогнула рука, ручка оторвалась от бумаги и завершающая часть цифры 8 не дорисована.
К сожалению, мой алгоритм не обучался рукописанию. Проблема не в силе интеллекта, а в обучающих данных.

[Pavia]

Rasool в сообщении #1344047 писал(а):

Тот же Джон Сова утверждал, что нейронные сети всего лишь реализуют функцию преобразования входного сигнала в выходной.

Автокодировщик, и прочие стекируемые для обучения не сильно используют выходные данные.

Есть алгоритмы которые и вовсе не используют выходные данные.

Но меня больше интересует следующее если взять окончания слов русского языка. Сможет ли ИИ сам додуматься до разделения на: существительные и глагол и тд. Или на падежи.

Попробовал tSNE но больше похоже, что он видит что-то своё.

[realeugene]

Mihaylo в сообщении #1344089 писал(а):

Машина не знает принципы рукописания. Только человек может понять, что при написании цифры 8 дрогнула рука, ручка оторвалась от бумаги и завершающая часть цифры 8 не дорисована.

Но нейросеть и не занимается подобными последовательными логическими выводами. По вашей предыдущей аргументации, при достаточной обучающей выборке нейросеть должна сама найти в картинках закономерности в штрихах, получающихся при движении человеком ручкой. А также карандашами, перьями, кисточкой для туши и т. д. А также англичанами, американцами, русскими, японцами, арабами и т. д. К слову, написание рукописных цифр в русской и английских традициях несколько разное. Но я всё же сомневаюсь, не правильнее ли обучать две нейросети, одну на распознавание различных механизмов письма и их артефактов, а другую - на различные культурные особенности пишущего, и потом как-то комбинировать их результат, а не требовать от одной нейросети сразу самостоятельно вывести из чего угодно законы Ньютона и всю остальную физику с химией в придачу?

[Mihaylo]

realeugene в сообщении #1344118 писал(а):

Но я всё же сомневаюсь, не правильнее ли

Главное, что вы не сомневаетесь, что алгоритм следует обучать чему-то большему, чем яркость пикселей. А это относится к проблеме недостатка обучающих данных. Как это реализовать - это вопрос времени и умов.

[Yodine]

Mihaylo в сообщении #1344123 писал(а):

А это относится к проблеме недостатка обучающих данных.

Миллиард мух не заменят самолет ТУ-154. Миллиард бумажных самолетиков не заменят ТУ-154. Миллион обезьян не заменят грамотного инженера-конструктора. Миллион калькуляторов ED-1300 (простой калькулятор непрограммируемый на столе лежит у меня) не эквиваленты смартофону с погрызенным яблоком. Миллион драйверов не эквивалентны винде. Что мешает машине Тьюринга стать виндой? Что мешает миллиону школьников спроектировать самолет? Информации в этом случае достаточно, инет под рукой. Что мешает обезьяне стать человеком? Что мешает Маугли стать человеком? Что мешает вам написать великое литературное произведение, вы все буквы и слова знаете????
Вот этого нечто как раз и не хватает нейросетям, вот этого и не хватает человеку, чтобы создать сильный ИИ.
Чего не хватает человеку, чтобы создать сильный ИИ? Нет не данных, данных в гугле полно.
Не хватает понимания того, что такое человек, что такое сознание, что такое сильный ИИ, что такое мышление и т.д., и т.п.

-- 07.10.2018, 10:32 --

Mihaylo Нейросетка это универсальный аппроксиматор-интерполятор, но увы, не является универсальным экстраполятором каковым является сильный ИИ и сильный естественный И, впрочем даже слабые ЕИ типа мышки или насекомые ваши нейросетки разделывают под орех.
Вот я про эту разницу вам и говорю, про разницу между интерполяцией и экстраполяцией. Вы научились гонять нейросетки и пребываете в эйфории, но не понимаете, что такое мышление и остальное. Именно оттуда и ваше "усилитель интеллекта"

Mihaylo в сообщении #1344089 писал(а):

1. Сильный интеллект. Его не существует, нету никаких усилителей интеллекта.

Под словосочетанием "сильный ИИ" понимают совсем иное. Понимают возможность исполнения функций мышления аналогичныых человеку, ну да, там можно подробно расписывать перечень функций и прочее. Загляние в вики и почитайте. (Хотя я уверен, что читали. Но зачем тогда вульгаризировать и искажать???)