Теория нейронных сетей

[PAV]

Nxx в сообщении #252358 писал(а):

То есть, никому не интересно создать компьютер, близкий по производительности к мозгу человека?

И вот это компанию http://www.corticaldb.com/corticaldb_ccortex/ тоже? или она не нейронными сетями занимается?

Ну, за всех говорить действительно не буду. Но следует иметь в виду следующие моменты.

Во-первых, следует ставить перед собой реально достижимые за обозримый срок задачи. А не так, как Ходжа Насреддин, который брал деньги с эмира, обещая через 20 лет научить ишака разговаривать. Сейчас так уже никто не делает и финансировать вряд ли кто-то серьезно такое будет. То, о чем Вы пишете - это фактически что-то вроде создания искусственного интеллекта или разума. Правильнее ставить какие-то реальные цели, в которых можно получить конкретные результаты, а потом уже двигаться дальше.

Сильным стимулом для исследователя, особенно ориентированного на практику, является возможность непосредственно наблюдать явные результаты своих трудов, а также внедрять их в реальные жизненные системы. А заниматься чем-то таким, что пусть звучит красиво и заманчиво, но непонятно когда и как получится сделать - таких желающих сильно меньше. Это как с квантовыми компьютерами: их еще толком нет, только простейшие прототипы, но некоторые уже исследуют алгоритмы и пишут для них программы. Лично мне это не очень близко и интересно.

Учтите и то, что для занятий Вашей задачей нужно реально мощное оборудование, на уровне суперкомпьютеров. Мало у кого есть доступ к таким системам и финансовая возможность их использовать. Задачи, для решения которых достаточно одного настольного компьютера или в крайнем случае распределенных вычислительных возможностей сравнительно небольшой локальной сети, очевидно будут более популярны и доступны.

К тому же, если говорить о внедрении этих технологий в прикладные системы, то здесь тоже нужны методы, которые способны работать на оборудовании сопоставимом с настольным компьютером. Если Вы сделаете какую-нибудь, скажем, распознающую систему, которая будет работать очень хорошо, но только на суперкомпьютере, то кому она реально нужна? А сильно более слабая система, но вполне нормально работающая у любого дома - вполне способна иметь коммерческий успех и быть востребована на рынке и в индустрии.

-- Вс окт 18, 2009 14:08:05 --

Небольшой комментарий по поводу терминологии. Название "теория нейронных сетей" не совсем правильное: узкое и делает упор не на то, что надо. По крайней мере, в отношении той области, о которой говорю я. Более правильный термин - "теория машинного обучения" (Machine Learning). Потому что ключевым моментом и наиболее важной характерной особенностью является то, что мы здесь исходим не из некоторой заданной модели явления и не из строгой математической постановки задачи, которую можно решить, а из определенного количества обучающего материала - конкретных примеров ситуаций, о которых нам может быть что-то известно. И нужно, чтобы компьютер, глядя на эти конкретные примеры, сумел сам придти к некоторому способу решения задачи, который бы относительно успешно работал на новых примерах, которые он до этого не видел. Вот как этого добиться - этим и занимается дисциплина. Нейронные сети - это всего лишь одна из ряда возможных технологий решения этой принципиальной задачи, а вовсе не ключевой момент.

Одна из наиболее содержательных конференций в данной науке - это NIPS. Можете зайти, посмотреть. Все материалы по всем годам есть в свободном доступе, это вообще большая редкость. Насколько мне известно, в основном там действительно содержательные вещи. Передний край, можно сказать.

[Nxx]

Цитата:

Во-первых, следует ставить перед собой реально достижимые за обозримый срок задачи.

Я лично, вообще никаких задач не ставил. Тем более, перед собой.

Цитата:

Сейчас так уже никто не делает и финансировать вряд ли кто-то серьезно такое будет.

Откуда такие сведения по поводу отсутствия финансирования? Если вы о той фирме, ссылку на которую я давал, то согласно их сообщению http://www.corticaldb.com/news_and_events/, 25 июня было принято решение о модернизации из серверной базы, я сомневаюсь, что это было бы возможно без финансирования.

Цитата:

Правильнее ставить какие-то реальные цели, в которых можно получить конкретные результаты, а потом уже двигаться дальше.

Вполне возможно. Но каждый ставит перед собой те задачи, кот орые хочет.

Цитата:

Учтите и то, что для занятий Вашей задачей нужно реально мощное оборудование, на уровне суперкомпьютеров.

Вау! Теперь это называется задачей моего имени?

Цитата:

Мало у кого есть доступ к таким системам и финансовая возможность их использовать. Задачи, для решения которых достаточно одного настольного компьютера или в крайнем случае распределенных вычислительных возможностей сравнительно небольшой локальной сети, очевидно будут более популярны и доступны.

Вполне возможно. Но мы же вроде, говорили о теории, а не об экспериментах. Например, астрофизика изучает принципы эволюции звезд, никто же не утверждает, что "астрофизика не имеет к звездам никакого отношения потому что все равно нужно строить дорогие телескопы, и даже с ними до звезд не дотянешься".

Цитата:

Небольшой комментарий по поводу терминологии. Название "теория нейронных сетей" не совсем правильное: узкое и делает упор не на то, что надо. По крайней мере, в отношении той области, о которой говорю я. Более правильный термин - "теория машинного обучения" (Machine Learning). Потому что ключевым моментом и наиболее важной характерной особенностью является то, что мы здесь исходим не из некоторой заданной модели явления и не из строгой математической постановки задачи, которую можно решить, а из определенного количества обучающего материала - конкретных примеров ситуаций, о которых нам может быть что-то известно. И нужно, чтобы компьютер, глядя на эти конкретные примеры, сумел сам придти к некоторому способу решения задачи, который бы относительно успешно работал на новых примерах, которые он до этого не видел. Вот как этого добиться - этим и занимается дисциплина. Нейронные сети - это всего лишь одна из ряда возможных технологий решения этой принципиальной задачи, а вовсе не ключевой момент.

Так теория конкретно нейронных сетей (не важно, машинных или натуральных), чисто математическая, есть или нет?

[PAV]

Nxx в сообщении #252358 писал(а):

То есть, теория нейронных сетей слишком слаба для этого? Или нужна принципиально другая теория?

Кто же его знает. Если бы иметь какие-то разумные предположения, которые к тому же можно проверить за реальное время и с реальными средствами - тогда почему бы этим не заняться?

Смотрите. Что имеет человек? Человек имеет довольно гибкую и настраиваемую систему с огромным числом связей и состояний, которая к тому что очень сильно распараллелена. Человек имеет время обучения, которое измеряется годами. Все эти годы человек имеет непрерывный поток визуальной и звуковой информации, которую каким-то образом можно использовать для обучения.

Проблема заключается в том, что если механически повышать гибкость и число состояний искусственной системы, то это банально приводит к тому, что она запоминает все обучающие примеры и все. Результат на этой выборке отличный, а обобщающая способность - никакая, на новых примерах ничего не работает. Собственно, это главная проблема в данной области. Каким образом обучается человек, какие содержательные признаки он извлекает из поступающей на его органы чувств информации огромного объема, и главное - как он ухитряется иметь такую обобщающую способность - неизвестно.

Nxx в сообщении #252358 писал(а):

Известно, что человеческий мозг очень хорошо решает прикладные задачи.

Не любые. Человек успешно решает, скажем, задачи распознавания изображений, лиц, звуков, движения и т.д. Но это как раз то, чему его мозг фактически учится с рождения и продолжает учиться, возможно, всю жизнь. А взять какую-нибудь сильно многомерную информацию, которую непонятно как визуализировать - тут он вполне может проиграть какой-нибудь не самой сложной искусственной нейронной сети. Мог ли человек теоретически этому научиться, если ему как-то много лет подавать эти многомерные сигналы в мозг - неизвестно.

-- Вс окт 18, 2009 14:41:01 --

Nxx в сообщении #252711 писал(а):

Я лично, вообще никаких задач не ставил. Тем более, перед собой.

Я имел в виду не Вас, а задачи, которые ставят перед собой работающие исследователи в данной области.

[Nxx]

Цитата:

Проблема заключается в том, что если механически повышать гибкость и число состояний искусственной системы, то это банально приводит к тому, что она запоминает все обучающие примеры и все. Результат на этой выборке отличный, а обобщающая способность - никакая, на новых примерах ничего не работает. Собственно, это главная проблема в данной области. Каким образом обучается человек, какие содержательные признаки он извлекает из поступающей на его органы чувств информации огромного объема, и главное - как он ухитряется иметь такую обобщающую способность - неизвестно.

Понятно. Делаем вывод, что теория пока слаба? Недостаточна? Недоразвита?

Цитата:

Не любые. Человек успешно решает, скажем, задачи распознавания изображений, лиц, звуков, движения и т.д.

Тем не менее, если бы удалось создать исскуственную нейронную сеть, способную решать прикладные задачи не хуже человка, это был бы существенный прогресс, так ведь?

[PAV]

Nxx в сообщении #252711 писал(а):

Так теория конкретно нейронных сетей (не важно, машинных или натуральных), чисто математическая, есть или нет?

Какой именно смысл Вы вкладываете в термин "конкретно нейронные сети"?

[Nxx]

Цитата:

Учтите и то, что для занятий Вашей задачей нужно реально мощное оборудование, на уровне суперкомпьютеров.

Тем не менее, это не является неразрешимой задачей. На оборудовании компании CorticalDB можно эмулировать работу большего количества нейронов, чем в мозге человека. Так что, слово за теорией, а не за экспериментальными сложностями.

-- Вс окт 18, 2009 14:47:41 --

PAV в сообщении #252717 писал(а):

Nxx в сообщении #252711 писал(а):

Так теория конкретно нейронных сетей (не важно, машинных или натуральных), чисто математическая, есть или нет?

Какой именно смысл Вы вкладываете в термин "конкретно нейронные сети"?

Нейронные сети, не включая другие реализации Machine Learning.

[PAV]

Nxx в сообщении #252718 писал(а):

Нейронные сети, не включая другие реализации Machine Learning.

Можете привести определение, не впадая в порочный круг?

[Nxx]

PAV в сообщении #252719 писал(а):

Можете привести определение, не впадая в порочный круг?

Ну я так понимаю, что изначально понятие "нейронные сети" возникло из биологической аналогии, поэтому я бы сказал, что нейронные сети - это сети, построенные из элементов, работающих по принципам, математически схожим с принципами работы биологических нейронов.

[PAV]

Nxx в сообщении #252720 писал(а):

схожим с принципами работы биологических нейронов.

Понятно. Но тогда на этот вопрос лично я ответить не могу, потому что не знаю принципов работы биологических нейронов. И меня это не очень-то интересует. Про математические теории, которые могли бы (хотя бы гипотетически) имитировать работу реального мозга - не слышал.

[Maslov]

PAV в сообщении #252714 писал(а):

Смотрите. Что имеет человек? Человек имеет довольно гибкую и настраиваемую систему с огромным числом связей и состояний, которая к тому что очень сильно распараллелена. Человек имеет время обучения, которое измеряется годами. Все эти годы человек имеет непрерывный поток визуальной и звуковой информации, которую каким-то образом можно использовать для обучения.

Хотелось бы немного добавить.
Кроме визуальной и звуковой информации, огромное значение при обучении человека играют другие органы чувств. У кого-то лучше развита зрительная память, у кого-то - звуковая, а у кого-то - моторная. Механизмы обучения изучены пока довольно слабо, по крайней мере, явно недостаточно для того, чтобы использовать их при машинном обучении. Абсолютно непонятно, например, как на способности человека к обучению решению научных задач влияет его опыт в остальных областях жизни.
На протяжении первых (и не только первых) лет жизни человека окружает большое количество учителей, при этом процесс обучения как с одной, так и с другой стороны, поддерживается мощнейшими механизмами, сформировавшимися в ходе естественного отбора. Достичь качества машинного обучения, сопоставимого с "человеческим", без понимания этих механизмов вряд ли возможно.
Поток информации, получаемый и перерабатываемый человеком (например, зрительной), на много порядков превышает современный возможности ввода, обработки и классификации данных в информационных системах.
Еще одно уникальное качество человека - его способность испытывать эмоции, являющиеся, во-первых, стимулом к решению той или иной проблемы, а кроме этого - критерием качества получающегося решения. Как объяснить программе, что такое "красивое" решение, когда мы сами это не очень понимаем?
И еще один момент, представляющийся мне довольно интересным - нет никаких доказательств того, что каждого человека можно научить успешно решать научные задачи. Поэтому моделировать надо не просто мозг человека, а мозг человека, способного успешно заниматься наукой. А с какими особенностями мозга эти способности связаны - пока загадка.
Это я всё к чему? К тому, что на данном этапе изучения работы мозга наука просто не располагает объёмом знаний, достаточным для того, чтобы смоделировать механизм машинного обучения, хоть сколь-нибудь адекватно моделирующий механизм обучения человеческого.
Ну а что касается CorticalDB, родить идею и выбыть под нее финансирование -- это только четверть дела. Давайте подождем каких-нибудь конкретных результатов

[Nxx]

Цитата:

Поток информации, получаемый и перерабатываемый человеком (например, зрительной), на много порядков превышает современный возможности ввода, обработки и классификации данных в информационных системах.

По поводу ввода я готов поспорить. В систему совершенно спокойно можно вводить и бОльший объем информации.

По поводу обработки и классификации - для этого и нужна нейронная сеть. По количеству нейронов современные искусственные сети могут превосходить человеческий мозг.

Цитата:

Еще одно уникальное качество человека - его способность испытывать эмоции, являющиеся, во-первых, стимулом к решению той или иной проблемы, а кроме этого - критерием качества получающегося решения. Как объяснить программе, что такое "красивое" решение, когда мы сами это не очень понимаем?

А что, эмоции невозможно объяснить в рамках теории нейронных сетей? Про "красивое" решение тут по-моему, все понятно - краткое и эффективное.

Цитата:

И еще один момент, представляющийся мне довольно интересным - нет никаких доказательств того, что каждого человека можно научить успешно решать научные задачи.

Речь не о научных задачах, а о любых практических задачах. Если удастся сделать систему, которая сможет успешно состязаться с человеком хотя бы в разговоре или игре в футбол - это уже будет достижением.

[Maslov]

Nxx в сообщении #252761 писал(а):

Если удастся сделать систему, которая сможет успешно состязаться с человеком хотя бы в разговоре или игре в футбол - это уже будет достижением.

Если компьютерная программа способна состязаться с человеком (или "сойти за человека") в разговоре так, что человек не в состоянии определить, что его собеседником является программа (а не другой человек), говорят, что программа прошла тест Тьюринга.
Пока до этого довольно далеко.И даже если такие программы будут созданы, существуют довольно серьезные возражения против того, чтобы проводить аналогии между их "интеллектом" и интеллектом человека (см., например, мысленный эксперимент "китайская комната").
В любом случае, подобные задачи решаются не путем моделирования биологической (клеточной) структуры мозга, а попытками понять и воспроизвести высокоуровневый процесс мышления. Мне кажется, что нет особой надежды на то, что как только мы создим структуру, сравнимую по сложности с мозгом, так сразу появится интеллект. В конце концов, головной мозг мыши содержит огромное количество нейронов, а решать дифференциальные уравнения мыши отказываются.

[Nxx]

Цитата:

В конце концов, головной мозг мыши содержит огромное количество нейронов, а решать дифференциальные уравнения мыши отказываются.

Вроде бы, мозг крысы пытались моделировать с помощью нейронных сетей. Насколько успешно - не знаю.

Цитата:

Пока до этого довольно далеко.И даже если такие программы будут созданы, существуют довольно серьезные возражения против того, чтобы проводить аналогии между их "интеллектом" и интеллектом человека (см., например, мысленный эксперимент "китайская комната").

В том эксперименте автомат, действующий по программе сравнивается с осознанно действующим человеком. Но ведь про нейронные сети нельзя сказать, что они действуют "по программе". В любом случае, речь шла не о душе и прочих философских вопросах, а о простой задаче: использовать принципы работы нервной системы животных для решения задач, плохо разрешимых другими способами.

[Maslov]

Nxx в сообщении #252799 писал(а):

Цитата:
В конце концов, головной мозг мыши содержит огромное количество нейронов, а решать дифференциальные уравнения мыши отказываются.

Вроде бы, мозг крысы пытались моделировать с помощью нейронных сетей.

Я говорю о том, что даже создание системы, сходной по структуре и уровню сложности с человеческим мозгом, еще не гарантирует, что эта штука будет решать задачи с той же эффективностью, что и человек -- каким-то образом еще придется объяснять ей, что от нее хотят, и уговаривать, что это действительно надо делать

Nxx в сообщении #252799 писал(а):

Но ведь про нейронные сети нельзя сказать, что они действуют "по программе".

Если мы говорим про ИНС, то сказать, что они действуют "по программе" можно и нужно; ну а если речь идет о каких-то других нейронных сетях, то давайте все-таки уточним, что Вы понимаете под нейронными сетями.

[Nxx]

Цитата:

Я говорю о том, что даже создание системы, сходной по структуре и уровню сложности с человеческим мозгом, еще не гарантирует, что эта штука будет решать задачи с той же эффективностью, что и человек -- каким-то образом еще придется объяснять ей, что от нее хотят, и уговаривать, что это действительно надо делать

Разве теория нейронных сетей не занимается проблемами обучения?

Цитата:

Если мы говорим про ИНС, то сказать, что они действуют "по программе" можно и нужно;

Вообще, работа нейронных сетей очень сильно отличается от "действия по программе".