Deep Learning и задача понимания естественного языка

[Yodine]

Andrey_Kireew в сообщении #1344360 писал(а):

странное понимание, мне казалось, что ассоциация - это взаимосвязь фактов $Y=F(X)$, $X$ - вектор стимулов, $Y$ - вектор ответов. Привязка ко времени совсем не обязательна.

Замечание принимаю. Мне надо было подробнее расписывать.
Начальная модель может быть такая, есть у ИИ состояния, эти состояния и есть события, иных событий нет. ИИ не знает вначале какие у него датчики и какие манипуляторы и их количество, у него есть только состояния памяти, больше ничего нет, некоторые области памяти организм может менять. События это состояния памяти.

-- 08.10.2018, 07:54 --

Альтернатива принципу "насуем побольше данных в нейросетку и все само заведется" я предлагаю такой принцип "создаем правильный алгоритм и он сам себе данные соберет и сам всему научится", примерно как ребенок новорожденный этому учится.
Требуется понять каким должен быть этот алгоритм и на каких принципах, чтобы это получилось. Совершенно очевидно, что нет смысла изучать нейрофизиологию и прочие подробности электробиохимические подробности естественных организмов, достаточно понять как мы обучаемся и мыслим, как обучаются и мыслят простые организмы, т.е. надо понять как создается "подъемная сила" (аналогия с птицами и самолетом) сильного ИИ.

[Mihaylo]

Andrey_Kireew в сообщении #1344347 писал(а):

Откуда берутся качественно новые знания? Ведь аппроксиматор в принципе не может их дать, чему научили - то он и знает.

Здесь заблуждение. Не бывает такого, чтобы р-р-раз и какие-то знания откуда ни возьмись появились. Именно этот факт объясняет, почему человечество, "обладая сильным интеллектом", развивается в течение десятков тысяч лет.

Причина в том, что ничего кроме "аппроксимации", точнее методов решения задачи с неполными исходными данными не существует.

[Xaositect]

Yodine в сообщении #1344382 писал(а):

Требуется понять каким должен быть этот алгоритм и на каких принципах, чтобы это получилось. Совершенно очевидно, что нет смысла изучать нейрофизиологию и прочие подробности электробиохимические подробности естественных организмов, достаточно понять как мы обучаемся и мыслим, как обучаются и мыслят простые организмы, т.е. надо понять как создается "подъемная сила" (аналогия с птицами и самолетом) сильного ИИ.

Я от тематики ML далеко, но этот тезис кажется мне неочевидным. Я летом видел доклад по вот этой статье: http://science.sciencemag.org/content/358/6364/793.full , где люди изучили работу нейронов мух и получили метод распознавания похожести изображений, который значительно (порядка 10% в точности распознавания) лучше существующих подходов. Причем многие элементы этого метода раньше встречались, но конкретные детали и взаимодействие разных частей в мухе лучше.
Мне кажется, что для того, чтобы понять понимание, мозг как раз надо изучать, и пытаться выделить, чем мозг отличается от современной нейронной сети (а может и ничем не отличается, только глубиной - такого тоже нельзя исключать).

[fan_of_algoritms]

Yodine, участник форума Salen порекомендовал книгу(а может это и не книга): Пределы сложности искусственного интеллекта, Иванников М. А. 2018. Там предлагаются ответы на некоторые из вопросов, которые вы задаете. В частности, ответ на ваше предложение генерировать случайным образом алгоритмы ИИ для машины Тьюринга(почему это не имеет смысла).
Для Alephegg там тоже есть интересное, например, повторяется мое предположение, которое я ранее высказал в соседней ветке, о том, что ЕИ в процессе работы создает в своем сознании виртуальные логические структуры(суть виртуальные алгоритмы), которые частично сохраняются после использования, и в процессе работы меняет свою структуру и наполнение. Alephegg в соседней ветке про сильный ИИ говорит о поиске отправных точек. Я предлагаю определить цель, которую могла бы решить программа, меняющая свой код в процессе работы, меняющая свою базу данных в процессе работы, определить подходящую среду разработки. И посмотреть, что будет происходить в процессе разработки программы, в процессе ее работы, какие вопросы будут возникать, что получится в итоге и как это можно использовать в нейросетях.

[Yodine]

fan_of_algoritms спасибо.
Я нагуглил книги (пдф-ки)
Иванников М.А. Невычислимость мышления и перспективы искусственного интеллекта. 2017
Потапов А.С. Искусственный интеллект и универсальное мышление. 2012
посмотрю, доложусь.

Насколько я понимаю, там авторы/соавторы/сочувствующие (не разобрался еще точно) с большими амбициями
в процессе гугления напал на "Новейшая теория искусственного интеллекта на основе IT-самоорганизации".
Буду смотреть все внимательнее, но видимо не сегодня.

-- 08.10.2018, 10:14 --

fan_of_algoritms в сообщении #1344414 писал(а):

В частности, ответ на ваше предложение генерировать случайным образом алгоритмы ИИ для машины Тьюринга(почему это не имеет смысла).

Конечно, практического смысла не имеет, комбинаторный взрыв.

[Mihaylo]

Потапов А.С. - это ещё специалист в области компьютерного зрения, очень молодой доктор, профессор. Он пишет совершенно бесполезные ретроспективно-обзорные и футурологические книжки про сильный интеллект, технологические сингулярности... Просто интересуется человек, хобби у него такое и в институте не мешают.
Иванников М.А. - это уже лженаука.

[Rasool]

А тем временем в МФТИ идет курс "Deep Learning in Natural Language Processing".

[Pavia]

Xaositect
Про изучения мух там нет ничего. Во-вторых алгоритм на 20% отстают, от существующих подходов.
В этой статье нет ничего нового. И вообще классическая CNN только упрощённая с 7 слоев до 4-х.
Это все равно что читать статью про то, как надо решать системы уравнений с 5 неизвестными когда у вас есть алгоритм для N.

Xaositect в сообщении #1344405 писал(а):

Мне кажется, что для того, чтобы понять понимание, мозг как раз надо изучать, и пытаться выделить, чем мозг отличается от современной нейронной сети (а может и ничем не отличается, только глубиной - такого тоже нельзя исключать).

На форуме этот вопрос обсуждался: нет там ничего общего, во-вторых биологических изысканий не хватает.

Но вот подход через моделирование повеление человека вполне себе подход.

Yodine

Yodine в сообщении #1344420 писал(а):

Конечно, практического смысла не имеет, комбинаторный взрыв.

Напротив ИИ только и решают такие вот задачи с практической точки зрения.

Взять ГО или понимание ЕЯ.

Mihaylo в сообщении #1344031 писал(а):

Сделать слабый интеллект сильнее? Ну дайте ему больше знаний. Других путей нет.

Среднем в предложении 10 слов, к 7 годам человек знает 6000 слов. $6000^{10}=6*10^{37}$ предложений.
Больше 1 книги в час человек прочитать не может. Чем быстрее читает тем меньше понимает.
Услышать и одновременно понять больше 10 слов в секунду тоже не может. Так как ограничен рефлексами.
Средний объем книги 0.5 МБайт. Итого$(24-8)*365*7=20 $ ГБ
Для сравнения это 1000 доля либрусека или вся русская википедия.
Средний объем слова возьмем 8 байт для ровного счёта.
$2.5*10^9$ слов = $2.5*10^8$ предложений.
Разница на порядки $2.5*10^8$ против $6*10^{37}$
Человек вполне может нормально рассуждать и отвечать на вопросы, даже при колоссальном недостатки информации. А искусственные НС требуют доработки напильником. Поэтому человек является более сильным интеллектом. Второй вопрос скорость обучения.

[Xaositect]

Pavia в сообщении #1344577 писал(а):

Xaositect
Про изучения мух там нет ничего. Во-вторых алгоритм на 20% отстают, от существующих подходов.

Про мух в биологических статьях, http://www.pnas.org/content/113/24/6737 и дальше по ссылкам.
По отставанию, из графиков в статье вижу обратное, но я не специалист, может они и не с лучшим методом сравнивают.
На convolution не вижу вообще ничего похожего.

[Pavia]

Xaositect в сообщении #1344587 писал(а):

На convolution не вижу вообще ничего похожего.

Странно. Меня по чему-то завело на: doi:10.1126/science.aam9868

[Mihaylo]

Pavia в сообщении #1344577 писал(а):

Поэтому человек является более сильным интеллектом.

Ничего не понял в ваших расчётах, где тут вычисление сенсомоторного опыта? Сенсомоторный опыт! При чём тут чтение книжек?

[Yodine]

Pavia в сообщении #1344577 писал(а):

Напротив ИИ только и решают такие вот задачи с практической точки зрения.

Я немножко про иное там в контексте диалога. А с этим в принципе согласен.

-- 10.10.2018, 05:56 --

Mihaylo в сообщении #1344453 писал(а):

Потапов А.С. - это ещё специалист в области компьютерного зрения, очень молодой доктор, профессор. Он пишет совершенно бесполезные ретроспективно-обзорные и футурологические книжки про сильный интеллект, технологические сингулярности...

Учту информацию.

-- 10.10.2018, 06:06 --

Xaositect в сообщении #1344405 писал(а):

Я от тематики ML далеко, но этот тезис кажется мне неочевидным. Я летом видел доклад по вот этой статье: http://science.sciencemag.org/content/358/6364/793.full , где люди изучили работу нейронов мух и получили метод распознавания похожести изображений, который значительно (порядка 10% в точности распознавания) лучше существующих подходов. Причем многие элементы этого метода раньше встречались, но конкретные детали и взаимодействие разных частей в мухе лучше.

В целом согласен, что неочевидный, я пожалуй, перегнул. Однако, останусь при своем остальном мнении. Но хочу также подчеркнуть, что я считаю полезным изучение работы мозга и поведения приматов и т.п., а также прочие электробиохимические подробности функционирования живых организмов для целей улучшения понимания задачи создания сильного ИИ. Точно также не отрицаю полезнуость изучения мух для создания каких-либо нейросеток и все такое, и все вв таком духе. Да, изучать надо, может быть полезно, могут быть находки.

Xaositect в сообщении #1344405 писал(а):

Мне кажется, что для того, чтобы понять понимание, мозг как раз надо изучать, и пытаться выделить, чем мозг отличается от современной нейронной сети (а может и ничем не отличается, только глубиной - такого тоже нельзя исключать).

Да, возможен такой подход, он какие-то свои плоды безусловно принесет.

-- 10.10.2018, 06:21 --

Константин Анохин / Последний рубеж нейронауки
https://www.youtube.com/watch?v=v_XOcflONQ8
Константин Анохин - российский учёный, нейробиолог, профессор, член-корреспондент РАН и РАМН. Руководитель отдела нейронаук НИЦ «Курчатовский институт», игрок «Что? Где? Когда?». Лауреат премий Ленинского комсомола, имени Де Вида Нидерландской академии наук, Президиума Российской академии медицинских наук и Национальной премии «Человек года» в номинации «Потенциал и перспектива в науке».

На первых минутах Анохин говорит о необходимости парадигмальной революции т.е. о революции мировоззрения на мозг и сознание, о трудной проблеме сознания

[Mihaylo]

Ещё забыл написать, что является внуком Петра Кузьмича Анохина, более видного учёного, представленного реальными результатами.
Я бы не стал завышать заслуги Константина Анохина, тем более в последнее время, когда он уже начал организовывать непонятные "песнопения" с Далай-ламой. Уровень Татьяны Черниговской и Потапова Алексея - разговоры ни о чём. Выхлопа нет.

[Yodine]

Я слушал на ютубе некоторые лекции Анохина, понравились. Черниговскую пытался слушать, бросил. Потапова не читал еще.

[Alephegg]

Yodine в сообщении #1345244 писал(а):

Потапова не читал еще.

Кстати, на мой вкус, Потапов - один из немногих русскоязычных авторов, кто реально разбирается в материале ИИ, в отличие от Анохина и Черниговской (без обид только). И у Потапова есть очень сильная сторона - он сочетает широту взглядов с глубиной владения матаппаратом. А вот все полу-популяризаторы вообще не очень в теме, напридумывают разных когнитомов, что бы скрыть свое непонимание даже на уровне постановки задачи.