2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 6, 7, 8, 9, 10, 11, 12 ... 21  След.
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение08.10.2018, 10:22 


12/08/14

401
Andrey_Kireew в сообщении #1344360 писал(а):
странное понимание, мне казалось, что ассоциация - это взаимосвязь фактов $Y=F(X)$, $X$ - вектор стимулов, $Y$ - вектор ответов. Привязка ко времени совсем не обязательна.
Замечание принимаю. Мне надо было подробнее расписывать.
Начальная модель может быть такая, есть у ИИ состояния, эти состояния и есть события, иных событий нет. ИИ не знает вначале какие у него датчики и какие манипуляторы и их количество, у него есть только состояния памяти, больше ничего нет, некоторые области памяти организм может менять. События это состояния памяти.

-- 08.10.2018, 07:54 --

Альтернатива принципу "насуем побольше данных в нейросетку и все само заведется" я предлагаю такой принцип "создаем правильный алгоритм и он сам себе данные соберет и сам всему научится", примерно как ребенок новорожденный этому учится.
Требуется понять каким должен быть этот алгоритм и на каких принципах, чтобы это получилось. Совершенно очевидно, что нет смысла изучать нейрофизиологию и прочие подробности электробиохимические подробности естественных организмов, достаточно понять как мы обучаемся и мыслим, как обучаются и мыслят простые организмы, т.е. надо понять как создается "подъемная сила" (аналогия с птицами и самолетом) сильного ИИ.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение08.10.2018, 11:25 


12/07/15
3300
г. Чехов
Andrey_Kireew в сообщении #1344347 писал(а):
Откуда берутся качественно новые знания? Ведь аппроксиматор в принципе не может их дать, чему научили - то он и знает.

Здесь заблуждение. Не бывает такого, чтобы р-р-раз и какие-то знания откуда ни возьмись появились. Именно этот факт объясняет, почему человечество, "обладая сильным интеллектом", развивается в течение десятков тысяч лет.

Причина в том, что ничего кроме "аппроксимации", точнее методов решения задачи с неполными исходными данными не существует.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение08.10.2018, 11:40 
Заслуженный участник
Аватара пользователя


06/10/08
6422
Yodine в сообщении #1344382 писал(а):
Требуется понять каким должен быть этот алгоритм и на каких принципах, чтобы это получилось. Совершенно очевидно, что нет смысла изучать нейрофизиологию и прочие подробности электробиохимические подробности естественных организмов, достаточно понять как мы обучаемся и мыслим, как обучаются и мыслят простые организмы, т.е. надо понять как создается "подъемная сила" (аналогия с птицами и самолетом) сильного ИИ.
Я от тематики ML далеко, но этот тезис кажется мне неочевидным. Я летом видел доклад по вот этой статье: http://science.sciencemag.org/content/358/6364/793.full , где люди изучили работу нейронов мух и получили метод распознавания похожести изображений, который значительно (порядка 10% в точности распознавания) лучше существующих подходов. Причем многие элементы этого метода раньше встречались, но конкретные детали и взаимодействие разных частей в мухе лучше.
Мне кажется, что для того, чтобы понять понимание, мозг как раз надо изучать, и пытаться выделить, чем мозг отличается от современной нейронной сети (а может и ничем не отличается, только глубиной - такого тоже нельзя исключать).

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение08.10.2018, 12:27 


31/01/12
97
Yodine, участник форума Salen порекомендовал книгу(а может это и не книга): Пределы сложности искусственного интеллекта, Иванников М. А. 2018. Там предлагаются ответы на некоторые из вопросов, которые вы задаете. В частности, ответ на ваше предложение генерировать случайным образом алгоритмы ИИ для машины Тьюринга(почему это не имеет смысла).
Для Alephegg там тоже есть интересное, например, повторяется мое предположение, которое я ранее высказал в соседней ветке, о том, что ЕИ в процессе работы создает в своем сознании виртуальные логические структуры(суть виртуальные алгоритмы), которые частично сохраняются после использования, и в процессе работы меняет свою структуру и наполнение. Alephegg в соседней ветке про сильный ИИ говорит о поиске отправных точек. Я предлагаю определить цель, которую могла бы решить программа, меняющая свой код в процессе работы, меняющая свою базу данных в процессе работы, определить подходящую среду разработки. И посмотреть, что будет происходить в процессе разработки программы, в процессе ее работы, какие вопросы будут возникать, что получится в итоге и как это можно использовать в нейросетях.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение08.10.2018, 13:11 


12/08/14

401
fan_of_algoritms спасибо.
Я нагуглил книги (пдф-ки)
Иванников М.А. Невычислимость мышления и перспективы искусственного интеллекта. 2017
Потапов А.С. Искусственный интеллект и универсальное мышление. 2012
посмотрю, доложусь.

Насколько я понимаю, там авторы/соавторы/сочувствующие (не разобрался еще точно) с большими амбициями :-)
в процессе гугления напал на "Новейшая теория искусственного интеллекта на основе IT-самоорганизации".
Буду смотреть все внимательнее, но видимо не сегодня.

-- 08.10.2018, 10:14 --

fan_of_algoritms в сообщении #1344414 писал(а):
В частности, ответ на ваше предложение генерировать случайным образом алгоритмы ИИ для машины Тьюринга(почему это не имеет смысла).
Конечно, практического смысла не имеет, комбинаторный взрыв.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение08.10.2018, 15:22 


12/07/15
3300
г. Чехов
Потапов А.С. - это ещё специалист в области компьютерного зрения, очень молодой доктор, профессор. Он пишет совершенно бесполезные ретроспективно-обзорные и футурологические книжки про сильный интеллект, технологические сингулярности... Просто интересуется человек, хобби у него такое и в институте не мешают.
Иванников М.А. - это уже лженаука.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение08.10.2018, 16:17 


20/09/09
2036
Уфа
А тем временем в МФТИ идет курс "Deep Learning in Natural Language Processing".

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение08.10.2018, 22:03 
Аватара пользователя


31/10/08
1244
Xaositect
Про изучения мух там нет ничего. Во-вторых алгоритм на 20% отстают, от существующих подходов.
В этой статье нет ничего нового. И вообще классическая CNN только упрощённая с 7 слоев до 4-х.
Это все равно что читать статью про то, как надо решать системы уравнений с 5 неизвестными когда у вас есть алгоритм для N.

Xaositect в сообщении #1344405 писал(а):
Мне кажется, что для того, чтобы понять понимание, мозг как раз надо изучать, и пытаться выделить, чем мозг отличается от современной нейронной сети (а может и ничем не отличается, только глубиной - такого тоже нельзя исключать).

На форуме этот вопрос обсуждался: нет там ничего общего, во-вторых биологических изысканий не хватает.

Но вот подход через моделирование повеление человека вполне себе подход.

Yodine
Yodine в сообщении #1344420 писал(а):
Конечно, практического смысла не имеет, комбинаторный взрыв.

Напротив ИИ только и решают такие вот задачи с практической точки зрения.

Взять ГО или понимание ЕЯ.
Mihaylo в сообщении #1344031 писал(а):
Сделать слабый интеллект сильнее? Ну дайте ему больше знаний. Других путей нет.

Среднем в предложении 10 слов, к 7 годам человек знает 6000 слов. $6000^{10}=6*10^{37}$ предложений.
Больше 1 книги в час человек прочитать не может. Чем быстрее читает тем меньше понимает.
Услышать и одновременно понять больше 10 слов в секунду тоже не может. Так как ограничен рефлексами.
Средний объем книги 0.5 МБайт. Итого$(24-8)*365*7=20 $ ГБ
Для сравнения это 1000 доля либрусека или вся русская википедия.
Средний объем слова возьмем 8 байт для ровного счёта.
$2.5*10^9$ слов = $2.5*10^8$ предложений.
Разница на порядки $2.5*10^8$ против $6*10^{37}$
Человек вполне может нормально рассуждать и отвечать на вопросы, даже при колоссальном недостатки информации. А искусственные НС требуют доработки напильником. Поэтому человек является более сильным интеллектом. Второй вопрос скорость обучения.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение08.10.2018, 22:25 
Заслуженный участник
Аватара пользователя


06/10/08
6422
Pavia в сообщении #1344577 писал(а):
Xaositect
Про изучения мух там нет ничего. Во-вторых алгоритм на 20% отстают, от существующих подходов.

Про мух в биологических статьях, http://www.pnas.org/content/113/24/6737 и дальше по ссылкам.
По отставанию, из графиков в статье вижу обратное, но я не специалист, может они и не с лучшим методом сравнивают.
На convolution не вижу вообще ничего похожего.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение08.10.2018, 22:37 
Аватара пользователя


31/10/08
1244
Xaositect в сообщении #1344587 писал(а):
На convolution не вижу вообще ничего похожего.

Странно. Меня по чему-то завело на: doi:10.1126/science.aam9868

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение09.10.2018, 05:22 


12/07/15
3300
г. Чехов
Pavia в сообщении #1344577 писал(а):
Поэтому человек является более сильным интеллектом.

Ничего не понял в ваших расчётах, где тут вычисление сенсомоторного опыта? Сенсомоторный опыт! При чём тут чтение книжек?

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение10.10.2018, 08:55 


12/08/14

401
Pavia в сообщении #1344577 писал(а):
Напротив ИИ только и решают такие вот задачи с практической точки зрения.
Я немножко про иное там в контексте диалога. А с этим в принципе согласен.

-- 10.10.2018, 05:56 --

Mihaylo в сообщении #1344453 писал(а):
Потапов А.С. - это ещё специалист в области компьютерного зрения, очень молодой доктор, профессор. Он пишет совершенно бесполезные ретроспективно-обзорные и футурологические книжки про сильный интеллект, технологические сингулярности...
Учту информацию.

-- 10.10.2018, 06:06 --

Xaositect в сообщении #1344405 писал(а):
Я от тематики ML далеко, но этот тезис кажется мне неочевидным. Я летом видел доклад по вот этой статье: http://science.sciencemag.org/content/358/6364/793.full , где люди изучили работу нейронов мух и получили метод распознавания похожести изображений, который значительно (порядка 10% в точности распознавания) лучше существующих подходов. Причем многие элементы этого метода раньше встречались, но конкретные детали и взаимодействие разных частей в мухе лучше.
В целом согласен, что неочевидный, я пожалуй, перегнул. Однако, останусь при своем остальном мнении. Но хочу также подчеркнуть, что я считаю полезным изучение работы мозга и поведения приматов и т.п., а также прочие электробиохимические подробности функционирования живых организмов для целей улучшения понимания задачи создания сильного ИИ. Точно также не отрицаю полезнуость изучения мух для создания каких-либо нейросеток и все такое, и все вв таком духе. Да, изучать надо, может быть полезно, могут быть находки.

Xaositect в сообщении #1344405 писал(а):
Мне кажется, что для того, чтобы понять понимание, мозг как раз надо изучать, и пытаться выделить, чем мозг отличается от современной нейронной сети (а может и ничем не отличается, только глубиной - такого тоже нельзя исключать).
Да, возможен такой подход, он какие-то свои плоды безусловно принесет.

-- 10.10.2018, 06:21 --

Константин Анохин / Последний рубеж нейронауки
https://www.youtube.com/watch?v=v_XOcflONQ8
Константин Анохин - российский учёный, нейробиолог, профессор, член-корреспондент РАН и РАМН. Руководитель отдела нейронаук НИЦ «Курчатовский институт», игрок «Что? Где? Когда?». Лауреат премий Ленинского комсомола, имени Де Вида Нидерландской академии наук, Президиума Российской академии медицинских наук и Национальной премии «Человек года» в номинации «Потенциал и перспектива в науке».

На первых минутах Анохин говорит о необходимости парадигмальной революции т.е. о революции мировоззрения на мозг и сознание, о трудной проблеме сознания

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение10.10.2018, 20:03 


12/07/15
3300
г. Чехов
Ещё забыл написать, что является внуком Петра Кузьмича Анохина, более видного учёного, представленного реальными результатами.
Я бы не стал завышать заслуги Константина Анохина, тем более в последнее время, когда он уже начал организовывать непонятные "песнопения" с Далай-ламой. Уровень Татьяны Черниговской и Потапова Алексея - разговоры ни о чём. Выхлопа нет.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение10.10.2018, 22:10 


12/08/14

401
Я слушал на ютубе некоторые лекции Анохина, понравились. Черниговскую пытался слушать, бросил. Потапова не читал еще.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение10.10.2018, 22:20 
Аватара пользователя


28/08/13

156
Yodine в сообщении #1345244 писал(а):
Потапова не читал еще.

Кстати, на мой вкус, Потапов - один из немногих русскоязычных авторов, кто реально разбирается в материале ИИ, в отличие от Анохина и Черниговской (без обид только). И у Потапова есть очень сильная сторона - он сочетает широту взглядов с глубиной владения матаппаратом. А вот все полу-популяризаторы вообще не очень в теме, напридумывают разных когнитомов, что бы скрыть свое непонимание даже на уровне постановки задачи. :-)

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 314 ]  На страницу Пред.  1 ... 6, 7, 8, 9, 10, 11, 12 ... 21  След.

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group