2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 3, 4, 5, 6, 7, 8, 9 ... 21  След.
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 19:00 


31/01/12
97
Цитата:
Если чуть корректнее сказать, по литературе разбросаныы крупицы правильного, но если не знать правильного ответа, то и не выберешь нужные крупицы, крупицы правильного тонут в Тьюринговской трясине смысла и трясине мелких подробностей. А все почему? Нужна формализация многих понятий! А ее нет. Как следствие нет понимания.

Кое что сконцентрированное, вместе со списком литературы, есть вот здесь: Перспективы развития вычислительной техники, в 11 томах, под ред. Ю.М. Смирнова, М., Высшая школа, 1989.
1-ая книга: Информационные семантические системы.
2-ая книга: Интеллектуализация ЭВМ.
:)

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 19:07 
Аватара пользователя


28/08/13

156
Yodine в сообщении #1343995 писал(а):
Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та. А какой должна быть архитектура сильного ИИ? Над этим и надо размышлять.

Да, согласен, именно так.

-- 06.10.2018, 10:47 --

Yodine в сообщении #1343995 писал(а):
Текст должен преобразовываться в модели, модели должны сопоставляться, идентифицироваться, преобразовываться, дополняться из базы моделей, на окончательном этапе модели должны преобразовываться в текст на другом языке.

В этом «месте» есть одна тонкость - слова сами по себе никаких значений не несут. Работать с моделями придется через семиотику, то есть текст - это не более, чем взаимная «адресация» реальности и понятийного пространства. То есть в преобразовании текст -> модель мы имеем две реконструкционных обратных задачи. :-) :-) А не функцию типа парсинга...

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 20:34 


12/08/14

401
Alephegg в сообщении #1344010 писал(а):
В этом «месте» есть одна тонкость - слова сами по себе никаких значений не несут. Работать с моделями придется через семиотику, то есть текст - это не более, чем взаимная «адресация» реальности и понятийного пространства. То есть в преобразовании текст -> модель мы имеем две реконструкционных обратных задачи. :-) :-) А не функцию типа парсинга...
Конечно, не тупой парсинг. Да, я подразумевал под моделями в текущем контексте некие конструкции адресации. Хотя я бы семиотику и ее семиозисы )) проигнорировал бы совсем. Для конкретных программ примтивного автоматического перевода не надо игнорировать. А для решения проблемы сильного ИИ игнорируем.

-- 06.10.2018, 17:39 --

fan_of_algoritms в сообщении #1344009 писал(а):
под ред. Ю.М. Смирнова, М., Высшая школа, 1989.
1-ая книга: Информационные семантические системы.
Качнул с генезиса, сейчас полистаю, доложу. :-)

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 20:40 


12/07/15
3313
г. Чехов
Yodine в сообщении #1343995 писал(а):
Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та.

В смысле "не та"? Что вы хотите усилить? Сделать слабый интеллект сильнее? Ну дайте ему больше знаний. Других путей нет. Если анализировать существующие "заведомо слабые интеллекты", то выявится, что они просто недополучают информации, а не слабые. Вы думаете деревенские ребята немного слабее городских оттого, что у последних гены другие???

Вы ещё не поняли, где собака зарыта? :D

-- 06.10.2018, 22:55 --

Существует более правдоподобная гипотеза: любые проявление более сильного интеллекта являются следствием более тщательного обучения, а не абстрактной "силы интеллекта". Забудьте про "силу интеллекта". Вы путаете способности (которые в принципе у всех изначально одинаковы, даже у нейронных сетей) и багаж знаний.
Способность логически мыслить, способность абстрактно мыслить, способность творчески мыслить, способность системно мыслить - всё это приобретается при жизни. Вы же согласны с этим? Ну и при чём же тут "сила интеллекта"?

Я вас не понимаю! 8-)

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 20:57 


20/09/09
2038
Уфа
Mihaylo в сообщении #1344031 писал(а):
Yodine в сообщении #1343995 писал(а):
Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та.

В смысле "не та"? Что вы хотите усилить? Сделать слабый интеллект сильнее? Ну дайте ему больше знаний. Других путей нет. Если анализировать существующие "заведомо слабые интеллекты", то выявится, что они просто недополучают информации, а не слабые. Вы думаете деревенские ребята немного слабее городских оттого, что у последних гены другие???

Вы ещё не поняли, где собака зарыта? :D

-- 06.10.2018, 22:55 --

Существует более правдоподобная гипотеза: любые проявление более сильного интеллекта являются следствием более тщательного обучения, а не абстрактной "силы интеллекта". Забудьте про "силу интеллекта". Вы путаете способности (которые в принципе у всех изначально одинаковы, даже у нейронных сетей) и багаж знаний.
Способность логически мыслить, способность абстрактно мыслить, способность творчески мыслить, способность системно мыслить - всё это приобретается при жизни. Вы же согласны с этим? Ну и при чём же тут "сила интеллекта"?

Я вас не понимаю! 8-)

"Сила интеллекта" - в архитектуре нейронной сети, естественной или же искусственной. Пока искусственные НС не дотягивают до естественных.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 21:02 


12/08/14

401
fan_of_algoritms в сообщении #1344009 писал(а):
Перспективы развития вычислительной техники, в 11 томах, под ред. Ю.М. Смирнова, М., Высшая школа, 1989.
1-ая книга: Информационные семантические системы.
2-ая книга: Интеллектуализация ЭВМ.
Книги старые, вроде введения для начинающих, понравились, полистал очень бегло.

-- 06.10.2018, 18:10 --

Mihaylo в сообщении #1344031 писал(а):
Yodine в сообщении #1343995 писал(а):
Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та.

В смысле "не та"? Что вы хотите усилить? Сделать слабый интеллект сильнее? Ну дайте ему больше знаний. Других путей нет. Если анализировать существующие "заведомо слабые интеллекты", то выявится, что они просто недополучают информации, а не слабые. Вы думаете деревенские ребята немного слабее городских оттого, что у последних гены другие???
Сколько в велосипед бензина не заливай, а он самолетом не станет. Хорошая аналогия состоит в следующем. Не надо копировать принципы работы естественного интеллекта для создания сильного ИИ. Точно также не надо копировать биохимию и движение птиц, чтобы создать самолет. Надо выделить главный эффект, который позволяет птицам летать, подъемную силу, используя этот эффект можно сконструировать дельтаплан и самолет, но не обязательно делать махолет. Так и с сильным ИИ. Надо понять главные принципы, ответить на главные вопросы и сконструировать сильный ИИ, не надо его заставлять махать крыльями. :-)

Mihaylo в сообщении #1344031 писал(а):
Вы ещё не поняли, где собака зарыта? :D
Именно по причине понимания и не согласен с вами. А причина не механическая (мало информации), причина в конструкции и алгоритме.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 21:18 
Заслуженный участник
Аватара пользователя


16/07/14
9147
Цюрих
realeugene в сообщении #1343925 писал(а):
А проводились ли эксперименты, например, какая требуется нейросеть для вычисления медианы из пяти чисел с точностью 1%?
Уточните постановку - точность очевидно будет зависеть от распределения. А относительная погрешность еще и очень сильно зависит от среднего (все алгоритмы оптимизации смотрят только на разность, но не на само значение).

Совсем просто у меня получилось только примерно 22% погрешности для равномерного на [-1; 1] получить - https://gist.github.com/mihaild/d2e146f ... 39ebfb3c8f

(Оффтоп)

Я вообще не понимаю, что обсуждается в этой теме. Не хотят ли уважемые участники перейти от общих слов и аналогий к чуть более понятным простым пролетариям утверждениям?

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 21:24 


12/08/14

401
Эхе-хе, все уже было. )
Yodine в сообщении #1256440 писал(а):
В целом.
Нейросеть это по своей сути полином, который в многомерном пространстве параметров разделяет гиперповерхностями многомерные точки на разные классы. Обучение это по сути подгонка или фиттинг коэффициентов полинома. Ничего таинственного в итоге. Предыдущая ссылку очень наглядно показывает процесс подгонки гиперповерхностей.
Конкретный вид нейрона (функции активации) не имеет значения, он должен реализовавываться нелинейной, непрерывной и монотонной функцией, а вот конкретный вид неважен.
В нейросети главное не вид нейрона, а возможность легко образовывать связи между нейронами, оказывается это весьма универсальное свойство.
С помощью нейросетей можно аппроксимировать весьма широкий класс функций, есть соответствующие теоремы.


-- 06.10.2018, 18:37 --

mihaild в сообщении #1344035 писал(а):
Я вообще не понимаю, что обсуждается в этой теме. Не хотят ли уважемые участники перейти от общих слов и аналогий к чуть более понятным простым пролетариям утверждениям?
Без всяких претензий, естественно. А что вы хотели бы обсудить? Мне лично не интересно обсуждение конкретных систем перевода и конкретных алгоритмов используемых при переводе, при вытаскивании онтолгий и знаний из текстов. Мне интересны более общие вопросы касающиеся сильного ИИ, понимания и т.п. Если мы обсуждаем общие вопросы, то я остаюсь, иначе не смею мешать высокому собранию. :-)

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 21:45 
Аватара пользователя


28/08/13

156
Было бы очень хорошо, на мой вкус, вместо термина "нейросети" имя коим - легион, употреблять хотя бы тип сетей. Насколько я вижу, чаще всего под "нейросетями" понимается MLP. Но я не стал бы в одной кучке общими словами описывать рядом с ним, например, RNN и CNN. А уж если речь идет о DL, как заявлено топиком, то каждая из них может иметь собственную архитектуру. И, уж если, мы всё объединяем в кучу, тогда уместнее все-таки использовать термин ML. Так мне скромно кажется.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение06.10.2018, 22:45 


20/09/09
2038
Уфа
Mihaylo в сообщении #1344031 писал(а):
Yodine в сообщении #1343995 писал(а):
Нейросети принципиально не могут стать сильным ИИ в связи со своей архитектурой. Архитектура не та, совсем не та.

В смысле "не та"? Что вы хотите усилить? Сделать слабый интеллект сильнее? Ну дайте ему больше знаний. Других путей нет. Если анализировать существующие "заведомо слабые интеллекты", то выявится, что они просто недополучают информации, а не слабые. Вы думаете деревенские ребята немного слабее городских оттого, что у последних гены другие???

Вы ещё не поняли, где собака зарыта? :D

-- 06.10.2018, 22:55 --

Существует более правдоподобная гипотеза: любые проявление более сильного интеллекта являются следствием более тщательного обучения, а не абстрактной "силы интеллекта". Забудьте про "силу интеллекта". Вы путаете способности (которые в принципе у всех изначально одинаковы, даже у нейронных сетей) и багаж знаний.
Способность логически мыслить, способность абстрактно мыслить, способность творчески мыслить, способность системно мыслить - всё это приобретается при жизни. Вы же согласны с этим? Ну и при чём же тут "сила интеллекта"?

Я вас не понимаю! 8-)

Тот же Джон Сова утверждал, что нейронные сети всего лишь реализуют функцию преобразования входного сигнала в выходной.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение07.10.2018, 07:29 


12/07/15
3313
г. Чехов
Rasool в сообщении #1344032 писал(а):
"Сила интеллекта" - в архитектуре нейронной сети, естественной или же искусственной. Пока искусственные НС не дотягивают до естественных.

Ага... Щас! При прочих равных условиях нейросети бьют человека. Вы разве не слышали? :D
Ваша фраза "пока нейросети не дотягивают до ..." настолько бездумна, банальна и избита. Фактически вы хотите сказать "Пока задачи, которые нынче решаются нейросетями, меня не удовлетворяют, я хочу большего". Но не надо распространять свою неудовлетворённость на "силу интеллекта". Нету никакой силы интеллекта, есть logloss и accuracy. По этим показателям человек зачастую проигрывает.
Yodine в сообщении #1344033 писал(а):
Сколько в велосипед бензина не заливай, а он самолетом не станет. Хорошая аналогия состоит в следующем. Не надо копировать принципы работы естественного интеллекта для создания сильного ИИ. Точно также не надо копировать биохимию и движение птиц, чтобы создать самолет. Надо выделить главный эффект, который позволяет птицам летать, подъемную силу, используя этот эффект можно сконструировать дельтаплан и самолет, но не обязательно делать махолет.

Разногласия:
1. Сильный интеллект. Его не существует, нету никаких усилителей интеллекта. Есть только данные и в них нужно находить признаки. Есть хорошо работающие алгоритмы, есть плохо работающие. А ещё бывает данных нет - тут уже никакая "сила" не поможет.
2. Никто ничего не копирует. Вы знаете сколько методов машинного обучения помимо прославленных нейронных сетей? Все эти архитектуры объяснены. Принцип полёта ясен как пень.

-- 07.10.2018, 10:18 --

Я тут натравил MLP с одним скрытым слоем и 200 нейронами в этом слое на задачу MNIST.

Код:
import pandas as pd
path = 'D:/Anaconda/share/MNIST/'
data = pd.read_csv(path + 'train.csv', index_col='label')

# Простое разбиение выборки на обучающую и тестовую
k = 30000
y_train=data[0:(k-1)].index
x_train=data[0:(k-1)].values
y_test=data[k:41999].index
x_test=data[k:41999].values

from sklearn.neural_network import MLPClassifier
clf = MLPClassifier(solver='sgd', max_iter = 10, alpha=1e-4, hidden_layer_sizes=(200), random_state=1)
clf.fit(x_train, y_train)
y_pred = clf.predict(x_test)

from sklearn.metrics import accuracy_score
print(accuracy_score(y_test, y_pred))


Получен результат 0.9232436036336361 (аккуратность, доля правильных ответов). На стареньком компьютере работа алгоритма занимает всего 10 секунд. Обучение на 30000 символах, тест на 12000 символах.

Конечно 92% - это маловато. Слишком много символов (около 960 из 12000) распознаны ошибочно.

Давайте проанализируем, почему случаются ошибки. Для этого запустим код, который выведет нам несколько символов, на которых алгоритм ошибся.

Код:
import matplotlib.pyplot as plt
# Пороемся в первой сотне символов
for i in range(100):
   if (y_pred[i] != y_test[i]):
      imgplot = plt.imshow(x_test[i].reshape(28, 28))
      print(y_pred[i])
      plt.show()


Результат:
Изображение

Красными прямоугольниками (см. стрелочку) я выделил ответы нейросети. Как видно, нейросеть, даже ошибаясь, даёт правдоподобные ответы. Можно просмотреть все ошибочно распознанные символы, там везде ситуация аналогичная.

Вы скажете: человек не сделал бы ни одной ошибки!
Мой ответ: поставьте машину в равное положение, чтобы сравнивать. Машина не знает принципы рукописания. Только человек может понять, что при написании цифры 8 дрогнула рука, ручка оторвалась от бумаги и завершающая часть цифры 8 не дорисована.
К сожалению, мой алгоритм не обучался рукописанию. Проблема не в силе интеллекта, а в обучающих данных.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение07.10.2018, 09:36 
Аватара пользователя


31/10/08
1244
Rasool в сообщении #1344047 писал(а):
Тот же Джон Сова утверждал, что нейронные сети всего лишь реализуют функцию преобразования входного сигнала в выходной.

Автокодировщик, и прочие стекируемые для обучения не сильно используют выходные данные.

Есть алгоритмы которые и вовсе не используют выходные данные.

Но меня больше интересует следующее если взять окончания слов русского языка. Сможет ли ИИ сам додуматься до разделения на: существительные и глагол и тд. Или на падежи.

Попробовал tSNE но больше похоже, что он видит что-то своё.
Изображение

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение07.10.2018, 11:36 


27/08/16
10195
Mihaylo в сообщении #1344089 писал(а):
Машина не знает принципы рукописания. Только человек может понять, что при написании цифры 8 дрогнула рука, ручка оторвалась от бумаги и завершающая часть цифры 8 не дорисована.
Но нейросеть и не занимается подобными последовательными логическими выводами. По вашей предыдущей аргументации, при достаточной обучающей выборке нейросеть должна сама найти в картинках закономерности в штрихах, получающихся при движении человеком ручкой. А также карандашами, перьями, кисточкой для туши и т. д. А также англичанами, американцами, русскими, японцами, арабами и т. д. К слову, написание рукописных цифр в русской и английских традициях несколько разное. Но я всё же сомневаюсь, не правильнее ли обучать две нейросети, одну на распознавание различных механизмов письма и их артефактов, а другую - на различные культурные особенности пишущего, и потом как-то комбинировать их результат, а не требовать от одной нейросети сразу самостоятельно вывести из чего угодно законы Ньютона и всю остальную физику с химией в придачу?

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение07.10.2018, 11:52 


12/07/15
3313
г. Чехов
realeugene в сообщении #1344118 писал(а):
Но я всё же сомневаюсь, не правильнее ли

Главное, что вы не сомневаетесь, что алгоритм следует обучать чему-то большему, чем яркость пикселей. А это относится к проблеме недостатка обучающих данных. Как это реализовать - это вопрос времени и умов.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение07.10.2018, 13:19 


12/08/14

401
Mihaylo в сообщении #1344123 писал(а):
А это относится к проблеме недостатка обучающих данных.
Миллиард мух не заменят самолет ТУ-154. Миллиард бумажных самолетиков не заменят ТУ-154. Миллион обезьян не заменят грамотного инженера-конструктора. Миллион калькуляторов ED-1300 (простой калькулятор непрограммируемый на столе лежит у меня) не эквиваленты смартофону с погрызенным яблоком. Миллион драйверов не эквивалентны винде. Что мешает машине Тьюринга стать виндой? Что мешает миллиону школьников спроектировать самолет? Информации в этом случае достаточно, инет под рукой. Что мешает обезьяне стать человеком? Что мешает Маугли стать человеком? Что мешает вам написать великое литературное произведение, вы все буквы и слова знаете???? :mrgreen:
Вот этого нечто как раз и не хватает нейросетям, вот этого и не хватает человеку, чтобы создать сильный ИИ.
Чего не хватает человеку, чтобы создать сильный ИИ? Нет не данных, данных в гугле полно.
Не хватает понимания того, что такое человек, что такое сознание, что такое сильный ИИ, что такое мышление и т.д., и т.п.

-- 07.10.2018, 10:32 --

Mihaylo Нейросетка это универсальный аппроксиматор-интерполятор, но увы, не является универсальным экстраполятором :!: каковым является сильный ИИ и сильный естественный И, впрочем даже слабые ЕИ типа мышки или насекомые ваши нейросетки разделывают под орех.
Вот я про эту разницу вам и говорю, про разницу между интерполяцией и экстраполяцией. Вы научились гонять нейросетки и пребываете в эйфории, но не понимаете, что такое мышление и остальное. Именно оттуда и ваше "усилитель интеллекта" :mrgreen:
Mihaylo в сообщении #1344089 писал(а):
1. Сильный интеллект. Его не существует, нету никаких усилителей интеллекта.
Под словосочетанием "сильный ИИ" понимают совсем иное. Понимают возможность исполнения функций мышления аналогичныых человеку, ну да, там можно подробно расписывать перечень функций и прочее. Загляние в вики и почитайте. (Хотя я уверен, что читали. Но зачем тогда вульгаризировать и искажать???)

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 314 ]  На страницу Пред.  1 ... 3, 4, 5, 6, 7, 8, 9 ... 21  След.

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group