Теория нейронных сетей

[Maslov]

Nxx в сообщении #252897 писал(а):

Разве теория нейронных сетей не занимается проблемами обучения?

Процесс "обучения" ИНС имеет очень мало общего с обучением человека. Например, в случае многослойного персептрона обучение НС заключается просто в подборе параметров сети (весов) таким образом, чтобы вполне конкретная задача аппроксимации решалась (в некотором смысле) наилучшим образом. Т.е., это чисто математическая задача, причем весьма простая. Обучение человека намного-намного сложнее.

Nxx в сообщении #252897 писал(а):

Вообще, работа нейронных сетей очень сильно отличается от "действия по программе".

Чем, если не секрет?
"Найти скалярное произведение вектора входных сигналов и вектора весов, преобразовать результат с помощью заданной функции и передать результат на выход" - чем это не действие по программе?

[PAV]

Nxx в сообщении #252897 писал(а):

Вообще, работа нейронных сетей очень сильно отличается от "действия по программе".

Все, что реализуется на современных компьютерах - это действия по программе, в самом обычном смысле слова. Включая и то, что якобы пытаются делать в той фирме, ссылка на которую была приведена. Искусственные нейронные сети - не исключение. Просто компьютеры так устроены.

[Nxx]

PAV в сообщении #252956 писал(а):

Nxx в сообщении #252897 писал(а):

Вообще, работа нейронных сетей очень сильно отличается от "действия по программе".

Все, что реализуется на современных компьютерах - это действия по программе, в самом обычном смысле слова. Включая и то, что якобы пытаются делать в той фирме, ссылка на которую была приведена. Искусственные нейронные сети - не исключение. Просто компьютеры так устроены.

Программа просто обслуживает работу нейронной сети. Но к самой метематической модели нейронной сети это не относится. Так можно сказать, что и человек действует по программе.

Цитата:

"Найти скалярное произведение вектора входных сигналов и вектора весов, преобразовать результат с помощью заданной функции и передать результат на выход" - чем это не действие по программе?

Тогда эмуляция нейронов была бы не нужна. Скалярное произведение можно находить и без нейронов.

[Maslov]

Nxx в сообщении #252970 писал(а):

Тогда эмуляция нейронов была бы не нужна. Скалярное произведение можно находить и без нейронов.

Вы знаете, возникает стойкое ощущение, что мы с Вами под искусственными нейронными сетями понимаем совершенно разные вещи. Опишите, пожалуйста, какой-нибудь пример математической модели, признаваемой Вами искусственной нейронной сетью.
Или таких до сих пор не создано?

[Xey]

Maslov в сообщении #252857 писал(а):

Если мы говорим про ИНС, то сказать, что они действуют "по программе" можно и нужно;

Nxx в сообщении #252897 писал(а):

Вообще, работа нейронных сетей очень сильно отличается от "действия по программе".

Хорошо бы сравнить эти противоположные мнения на примере с простым входным сигналом, например:

Xey в сообщении #256700 писал(а):

Сейчас сети применяют там, где обычно обходились МНК, и говорят, что это лучше. В частности для описанной выше задачки - нахождения параметров окружности по неравномерно распределенным точкам ( точки сыпятся почти хаотично и, чтобы вычислять их веса для МНК, надо помнить все данные, это громоздко).

Сеть не запоминая данных дает хороший результат. Это значит, что алгоритм, дающий хороший результат без учета весов, существует.

[Maslov]

Xey в сообщении #257651 писал(а):

Сейчас сети применяют там, где обычно обходились МНК, и говорят, что это лучше.

Классическое обучение многослойного персептрона - это и есть МНК; его суть в минимизации среднеквадратичной ошибки обучения в пространстве весов. Так что противопоставлять эти два подхода вряд ли корректно.

Xey в сообщении #256700 писал(а):

Сеть не запоминая данных дает хороший результат. Это значит, что алгоритм, дающий хороший результат без учета весов, существует.

Сеть не нуждается в запоминании данные потому, что в процессе обучения ей эти данные предъявляются в качестве обучающих снова и снова. Процесс выглядит примерно следующим образом (на примере многослойного персептрона с одним входом и одним выходом).
1. Формируем обучающий массив: $(x_i, y_i)$ ($x_i$ - независимая переменная, $y_i$ - "правильное" значение зависимой переменной).
2. Случайным образом инициализируем веса сети.
3. Для каждой точки обучающего массива устанавливаем значение входа сети, равным $x_i$, выхода - $y_i$ и запускаем процедуру обратного распространения ошибки; в результате веса сети корректируются в сторону уменьшения $(y_i - f(x_i))^2$.
4. Повторяем шаг 3 до достижения желаемого качества обучения (или какого-нибудь другого критерия останова).

Ну а что касается задачи аппроксимация точек дугой окружности, не могли бы Вы уточнить, как Вы представляете себе её решение с помощью ИНС?

[Peschansky]

Я думаю, несправедливо требовать от Maslov и PAV объяснений, почему современная теория нейронных сетей совершенно не пригодна для моделирования принципов работы реального мозга. Тем более что сами они (Maslov и PAV) не имеют никакого отношения к моделям, применяемым в теории нейронных сетей. Не они предложили эти модели.
Модели эти имеют мало общего с реальным мозгом, а потому сравнивать их с работой реального мозга, или, если вам угодно, с реальной нейросетью, просто некорректно.
Используемые в современной теории нейросетей модели скромны, а потому весьма скромны и результаты их использования. И лучше не будет. Математики давно открестились от работы нейрофизиологов. Видимо их раздражала необходимость перестраивать их замечательные модели. Нейрофизиология постоянно указывала на несоответствия и противоречия. Возражением математиков было утверждение, что для того, что бы летать, самолет не надо делать абсолютно похожим на птицу. Иными словами: «мы сами и без помощи природы сможем построить наилучшие принципы обработки информации».
Весьма сомнительно, что бы небольшая группа чванливых академических математиков нашла принципы обработки информации более эффективные, чем нашла природа за миллиарды лет эволюции.
Да они и сами это прекрасно понимают, потому и говорят, что мозг их не интересует. Они давно говорят о нейросетях лишь как о маленьком и скромном математическом инструменте. Классическая теория нейросетей никогда не даст Миру компьютер нового типа, построенный по принципам мозга.
За все время обсуждения не разу не прозвучало ни одного слова о явных ошибочных исходных принципах положенных в основу моделей математической теории нейросетей. А именно эти ошибочные предпосылки делают всю теорию тупиковой.

[PAV]

Peschansky в сообщении #257964 писал(а):

Весьма сомнительно, что бы небольшая группа чванливых академических математиков нашла принципы обработки информации более эффективные, чем нашла природа за миллиарды лет эволюции.

Выбирайте выражения. Вы пришли на научный форум с математическим уклоном, так что ведите себя соответствующим образом.

[grisania]

Peschansky в сообщении #257964 писал(а):

Да они и сами это прекрасно понимают, потому и говорят, что мозг их не интересует. Они давно говорят о нейросетях лишь как о маленьком и скромном математическом инструменте. Классическая теория нейросетей никогда не даст Миру компьютер нового типа, построенный по принципам мозга.
За все время обсуждения не разу не прозвучало ни одного слова о явных ошибочных исходных принципах положенных в основу моделей математической теории нейросетей. А именно эти ошибочные предпосылки делают всю теорию тупиковой.

Но почему так категорично. В любом случае человек решает задачу распознавания или классификации поступающей информации из внешнего мира. Например, он прекрасно понимает слова, который ему говорит собеседник. Также он понимает фонемы, присутствующие в словах.

[Maslov]

Peschansky в сообщении #257964 писал(а):

Математики давно открестились от работы нейрофизиологов. Видимо их раздражала необходимость перестраивать их замечательные модели. Нейрофизиология постоянно указывала на несоответствия и противоречия. Возражением математиков было утверждение, что для того, что бы летать, самолет не надо делать абсолютно похожим на птицу. Иными словами: «мы сами и без помощи природы сможем построить наилучшие принципы обработки информации».

Насколько я знаю, математики, предложившие модели ИНС, никогда не претендовали на построение модели человеческого мозга и на то, что ИНС этот мозг заменят. В крайнем случае, они говорили о некоторых аналогиях, не больше.

Peschansky в сообщении #257964 писал(а):

Весьма сомнительно, что бы небольшая группа чванливых академических математиков нашла принципы обработки информации более эффективные, чем нашла природа за миллиарды лет эволюции.

Всё зависит от того, о какой обработке информации Вы говорите. Компьютеры давно решают задачи, которые человеческому мозгу не под силу (так же, как подъемный кран поднимает грузы, которые человек поднять не может )

Peschansky в сообщении #257964 писал(а):

Они давно говорят о нейросетях лишь как о маленьком и скромном математическом инструменте. Классическая теория нейросетей никогда не даст Миру компьютер нового типа, построенный по принципам мозга.

Ещё раз - на это никто не предендует. Создан инструмент, пригодный для решения определённого класса задач, не больше (но и не меньше).

Peschansky в сообщении #257964 писал(а):

За все время обсуждения не разу не прозвучало ни одного слова о явных ошибочных исходных принципах положенных в основу моделей математической теории нейросетей. А именно эти ошибочные предпосылки делают всю теорию тупиковой.

Говорить об ошибках можно только в том случае, когда была поставлена цель, и этой цели не удалось добиться. В данном случае всё совсем не так - был создан целый класс моделей, с помощью которого можно решать весьма широкий класс задач. Где же тупик?
Вы сначала приписываете людям цели, которых у них не было, а потом обвиняете их в чванстве за то, что они этих целей не достигли.

[Peschansky]

Maslov в сообщении #257981 писал(а):

Peschansky в сообщении #257964 писал(а):

Математики давно открестились от работы нейрофизиологов. Видимо их раздражала необходимость перестраивать их замечательные модели. Нейрофизиология постоянно указывала на несоответствия и противоречия. Возражением математиков было утверждение, что для того, что бы летать, самолет не надо делать абсолютно похожим на птицу. Иными словами: «мы сами и без помощи природы сможем построить наилучшие принципы обработки информации».

Насколько я знаю, математики, предложившие модели ИНС, никогда не претендовали на построение модели человеческого мозга и на то, что ИНС этот мозг заменят. В крайнем случае, они говорили о некоторых аналогиях, не больше.

Справедливости ради хочу уточнить, что все основные принципы, используемые во всех современных моделях нейросетей, такие, как структура нейрона (дендриты, сома, синапсы), сумматор, активатор, веса, передача сигналов и т.д., т.е. все самые фундаментальные понятия теории нейросетей, предложены вовсе не математиками. Уолтер Питтс, Уоррен Мак-Каллок и Фрэнк Розенблатт были нейрофизиологами. Кроме того, целью своих разработок они ставили именно изучение принципов работы мозга, а не разработку частных мат. методов решения узкого круга задач. Они искали пути создания искусственного интеллекта. Это уже гораздо позже, когда подхваченные математиками и разработанные на основе этих первых нейрофизиологических идей, модели нейросетей не дали ожидаемых результатов, а математики отказались изучать работы нейрофизиологов, заговорили о том, что нас (математиков) вовсе не интересуют дела земные, т.е. принципы работы реального мозга, а идем мы своим путем. Путь этот предложили нейрофизиологи, но знаний их тогда не хватало.

Maslov в сообщении #257981 писал(а):

Peschansky в сообщении #257964 писал(а):

Весьма сомнительно, что бы небольшая группа чванливых академических математиков нашла принципы обработки информации более эффективные, чем нашла природа за миллиарды лет эволюции.

Всё зависит от того, о какой обработке информации Вы говорите. Компьютеры давно решают задачи, которые человеческому мозгу не под силу (так же, как подъемный кран поднимает грузы, которые человек поднять не может )

Например? Вы, наверное, имеете в виду какие-нибудь громоздкие вычисления? Я бы не стал утверждать, что мозг не в состоянии их проводить. Существует множество примеров людей с нарушениями (аутистов), способных производить вычисления с большими числами быстрее современных компьютеров. Способности эти есть у всех, но в силу биологической целесообразности они изолированы от нашего сознания. У аутистов же, в связи с мозговыми нарушениями, эти способности переходят на сознательный уровень. Я уж не говорю о Г. Каспарове, которого смогла обыграть только Супер-ЭВМ. Более того, как уже упоминал ранее AKalinin, "...доказано, что эта функция (про многослойный персептрон) является универсальным аппроксиматором. Т.е. может описать сколь угодно сложные многомерные явления". С чего вы решили, что мозг не является таким универсальным аппроксиматором? Так какой груз не в состоянии будет поднять такой кран?
Однако закон Мурра для компьютеров уже перестал действовать, компьютеры уже почти достигли своего физического предела, а гораздо более медленный мозг справляется с вычислениями на много порядков быстрее. Тут предел пока и не виден даже.

Maslov в сообщении #257981 писал(а):

Peschansky в сообщении #257964 писал(а):

Они давно говорят о нейросетях лишь как о маленьком и скромном математическом инструменте. Классическая теория нейросетей никогда не даст Миру компьютер нового типа, построенный по принципам мозга.

Ещё раз - на это никто не предендует. Создан инструмент, пригодный для решения определённого класса задач, не больше (но и не меньше).

От куда такие сведения (это про "на это никто не претендует")? Упомянутый ранее много раз проект "Blue Brain", как раз на то и претендует, хотя и не достиг пока результатов. Но они выбрали правильный путь - преобразование и построение математических нейро-моделей на основе нейрофизиологии.

Maslov в сообщении #257981 писал(а):

Peschansky в сообщении #257964 писал(а):

За все время обсуждения не разу не прозвучало ни одного слова о явных ошибочных исходных принципах положенных в основу моделей математической теории нейросетей. А именно эти ошибочные предпосылки делают всю теорию тупиковой.

Говорить об ошибках можно только в том случае, когда была поставлена цель, и этой цели не удалось добиться. В данном случае всё совсем не так - был создан целый класс моделей, с помощью которого можно решать весьма широкий класс задач. Где же тупик?
Вы сначала приписываете людям цели, которых у них не было, а потом обвиняете их в чванстве за то, что они этих целей не достигли.

Во-первых, хочу признать и извиниться за свой резкий тон, но меня возмущает пренебрежение другими областями науки среди ученых. Именно это, а не то, что не были достигнуты цели, я и назвал чванством. Ученых то и должно отличать от остальной массы, что они знают цену любому знанию. Тем более что, как уже давно известно, наиболее существенные результаты добываются именно на стыках совершенно различных дисциплин. Откуда же такое пренебрежение нейрофизиологией? Согласен, что тупика в современной теории нейросетей нет, если принять за ее основные цели уже более поздние цели. Если же взять за основу те цели, которые ставились отцами этой теории, то теория нейросетей переживает сейчас глубочайший кризис. Тот класс моделей, о котором вы говорите, является действительно потрясающим результатом работы нескольких десятилетий. Но все эти модели имеют такие существенные недостатки, которые не позволяют использовать основное и самое ценное их преимущество по сравнению с машиной Фон Неймана - реальную параллельность вычислений, причем, для любой функции! Обычный алгоритмический подход даже близко не способен на такое.

Может имеет смысл пересмотреть цели?

[Maslov]

Peschansky в сообщении #258080 писал(а):

Уолтер Питтс, Уоррен Мак-Каллок и Фрэнк Розенблатт были нейрофизиологами. Кроме того, целью своих разработок они ставили именно изучение принципов работы мозга, а не разработку частных мат. методов решения узкого круга задач. Они искали пути создания искусственного интеллекта.

Да я не спорю. Но согласитесь, пока нет никакой гарантии, что этот подход может в обозримом будущем привести к успеху. На сегодняшенм уровне развития техники просто невозможно создать искусственную систему, сравнимую по сложности с человеческим мозгом (замысловатым образом связанные между собой десятки миллиардов нейронов, каждый из которых качественно сложнее персептрона Розенблатта).

Peschansky в сообщении #258080 писал(а):

математики отказались изучать работы нейрофизиологов, заговорили о том, что нас (математиков) вовсе не интересуют дела земные, т.е. принципы работы реального мозга, а идем мы своим путем

Всё Вы злую волю какую-то ищете . Есть математики, которые вместе с физиологами работают над моделированием мозга; есть другие ученые, решающие проблему создания ИИ на более высоком уровне (без копирования структуры мозга); третьи разрабатывают методы решения прикладных задач на основе моделей, выросших из персертрона Розенблатта. Что тут плохого?
И напрасно Вы так упорно называете их всех математиками - проблема ИИ никогда не была математической задачей.

Peschansky в сообщении #258080 писал(а):

Вы, наверное, имеете в виду какие-нибудь громоздкие вычисления? Я бы не стал утверждать, что мозг не в состоянии их проводить.

Да конечно, в состоянии. Только не с нужной скоростью и не в нужных количествах. Даже если собрать вместе миллион аутистов, вряд ли они смогут промоделировать трехмерное распространение ударной волны.

Peschansky в сообщении #258080 писал(а):

Я уж не говорю о Г. Каспарове, которого смогла обыграть только Супер-ЭВМ.

Каспарова обыграла не ЭВМ, а люди (в том числе, и другие шахматисты), написавшие программу для игры в шахматы. Это принципиальный момент. А уж супер была эта ЭВМ или не супер, вообще без разницы. Эта же программа вполне может работать и на настольной машинке, только считать будет подольше.

Peschansky в сообщении #258080 писал(а):

С чего вы решили, что мозг не является таким универсальным аппроксиматором?

А с чего Вы решили, что является? Попробуйте с помощью мозга построить какую-нибудь простенькую аппроксимационную модель в пространстве десяти переменных.

Peschansky в сообщении #258080 писал(а):

Однако закон Мурра для компьютеров уже перестал действовать, компьютеры уже почти достигли своего физического предела, а гораздо более медленный мозг справляется с вычислениями на много порядков быстрее.

Простите, какие конкретно вычисления Вы имеете в виду? Ну а по поводу физического предела компьютеров, так создание параллельных вычислительных структур отодвигает этот предел в какое-то совсем далекое будущее.

Peschansky в сообщении #258080 писал(а):

Упомянутый ранее много раз проект "Blue Brain", как раз на то и претендует, хотя и не достиг пока результатов. Но они выбрали правильный путь - преобразование и построение математических нейро-моделей на основе нейрофизиологии.

Насколько этот путь правильный можно будет оценить только после того, как на этом пути будут достигнуты какие-то реальные успехи.

Peschansky в сообщении #258080 писал(а):

Откуда же такое пренебрежение нейрофизиологией?

Да откуда Вы взяли про это пренебрежение? Но не могут же все заниматься нейрофизиологией, кто-то должен и приземленные бытовые задачи решать.

Peschansky в сообщении #258080 писал(а):

Если же взять за основу те цели, которые ставились отцами этой теории, то теория нейросетей переживает сейчас глубочайший кризис.

Мы опять уткнулись в проблему терминологии. Сформулируйте, пожалуйста, что Вы понимаете под "теорией нейросетей".

Peschansky в сообщении #258080 писал(а):

Но все эти модели имеют такие существенные недостатки, которые не позволяют использовать основное и самое ценное их преимущество по сравнению с машиной Фон Неймана - реальную параллельность вычислений, причем, для любой функции! Обычный алгоритмический подход даже близко не способен на такое.

Большинство существующих моделей ИНС прекрасно приспособлены для того, чтобы использовать реальную параллельность. А противопоставления ИНС и алгоритмического подхода я, честно говоря, вообще не понимаю. Вы считаете, что "правильные" нейронные сети должны работать по неалгоритмическому принципу?

[Peschansky]

Maslov в сообщении #258115 писал(а):

Peschansky в сообщении #258080 писал(а):

Упомянутый ранее много раз проект "Blue Brain", как раз на то и претендует, хотя и не достиг пока результатов. Но они выбрали правильный путь - преобразование и построение математических нейро-моделей на основе нейрофизиологии.

Насколько этот путь правильный можно будет оценить только после того, как на этом пути будут достигнуты какие-то реальные успехи.

Maslov в сообщении #258115 писал(а):

...согласитесь, пока нет никакой гарантии, что этот подход может в обозримом будущем привести к успеху.

Ну конечно же нет никаких гарантий! Это же наука - попытка познать непознанное, как можно вообще что либо гарантировать на этом пути? Но и ожидать принципиально новых результатов копаясь в области уже известного невозможно. "Кто не рискует, тот не пьет шампанского"
Знаете, создается такое впечатление, что в последнее время ученые гонятся не за уровнем открытий, а за количеством публикаций, даже если они не имеют никакой принципиальной ценности. Мне как-то пришлось общаться в Финляндии с группой Кохонена. Они, как и следовало ожидать, работают исключительно с самоорганизующимися картами своего шефа. Так вот один пожилой профессор из этой группы жаловался: "Мы хотели модифицировать модель и использовать там нечеткую логику, а он (Кохонен) нам запретил ". Какого прорыва можно ожидать там?

Maslov в сообщении #258115 писал(а):

На сегодняшенм уровне развития техники просто невозможно создать искусственную систему, сравнимую по сложности с человеческим мозгом (замысловатым образом связанные между собой десятки миллиардов нейронов, каждый из которых качественно сложнее персептрона Розенблатта).

Я бы не стал утверждать "невозможно". Мне кажется, причина "невозможности" не в сегодняшнем уровень техники, а в отсутствии новых знаний, идей и моделей в теории нейросетей. Зачем говорить о сотнях миллиардов нейронов человеческого мозга? ИНС, построенная по классическим моделям всего из нескольких сот нейронов может обучаться часами. Я уж не говорю о прочих явных слабостях. Сеть из миллиардов нейронов в мозге обучается за долю секунды. Если создать модель, которая позволит обучать нейросети из тысяч (не миллиардов) нейронов так же быстро, это был бы новый грандиозный прорыв в теории нейросетей. Тут можно было бы снова и смело говорить об искусственном интеллекте и прочем "нереальном".

Maslov в сообщении #258115 писал(а):

Peschansky в сообщении #258080 писал(а):

Вы, наверное, имеете в виду какие-нибудь громоздкие вычисления? Я бы не стал утверждать, что мозг не в состоянии их проводить.

Да конечно, в состоянии. Только не с нужной скоростью и не в нужных количествах. Даже если собрать вместе миллион аутистов, вряд ли они смогут промоделировать трехмерное распространение ударной волны.

Maslov в сообщении #258115 писал(а):

Peschansky в сообщении #258080 писал(а):

С чего вы решили, что мозг не является таким универсальным аппроксиматором?

А с чего Вы решили, что является? Попробуйте с помощью мозга построить какую-нибудь простенькую аппроксимационную модель в пространстве десяти переменных.

У нас с вами действительно ощущается терминологическая недоговоренность. Когда я говорю о том, что может мозг, я не имею в виду того, что может человек. Вы меня понимаете? Уровень вычислений мозга лежит далеко от уровня сознания. Более того, речь идет вообще не о человеческом мозге, а о мозге, как инструменте вычислений. Давайте говорить о мозге кошечки. Вы согласны? Сама кошечка и пять на три умножить не сможет. Когда ее создавали (кошечку), она планировалась не как инструмент вычислений, а как объект восхищения
Когда кошечка охотится за мышкой, ее мозг воспринимает и одновременно анализирует миллионы зрительных, слуховых, обонятельных, осязательных и еще всяких разных импульсов и на основе этого принимает решение. Поправьте меня, если я не прав, но, по моему, тут очевидная совсем не простенькая аппроксимационная модель в пространстве миллионов переменных. Сам факт существования этой кошечки неоспоримо говорит о том, что есть некий неизвестный нам принцип построения и функционирования нейросети, который позволяет строить и мгновенно обучать нейросети такого размера. Конечно несчастные аутисты не смогут промоделировать трехмерное распространение ударной волны, но их мозг мог бы это сделать играючи, если бы был для этого обучен.
И еще кое что сразу проясню: когда я говорю об обучении, я вкладываю в этот термин тот же смысл, что и теория нейросетей, а не психология - обучен мозг, а не аутист.

Maslov в сообщении #258115 писал(а):

Peschansky в сообщении #258080 писал(а):

Однако закон Мурра для компьютеров уже перестал действовать, компьютеры уже почти достигли своего физического предела, а гораздо более медленный мозг справляется с вычислениями на много порядков быстрее.

Простите, какие конкретно вычисления Вы имеете в виду?

Если нейросеть способна в принципе моделировать любую функцию от любого числа переменных, то любые вычисления. Вы не согласны?

Maslov в сообщении #258115 писал(а):

Ну а по поводу физического предела компьютеров, так создание параллельных вычислительных структур отодвигает этот предел в какое-то совсем далекое будущее.

Наличие нескольких процессоров на компьютере еще не делает его параллельной вычислительной структурой. Необходима еще разработка параллельных алгоритмов для этих процессоров, что является совершенно не тривиальной задачей абсолютно для каждого случая. Стоимость разработки параллельных алгоритмов во много раз превышает стоимость разработки самих многопроцессорных компьютеров. Такие компьютеры известны уже лет тридцать, но ничего существенно не изменили. Не существует (кроме нейросети) универсального метода распараллелить вычисления любой функции. Если на компьютер с 1000 процессоров поставить Windows, он будет работать практически с той же скоростью, что и компьютер с двумя процессорами. Если у вас многоядерный компьютер, проведите тест загрузки ядер Мой iMac с двуядерным процессором показывает чаще всего 95% и 5%. Как куча процессоров может преодолеть физический барьер, если алгоритмы линейные?

Maslov в сообщении #258115 писал(а):

Мы опять уткнулись в проблему терминологии. Сформулируйте, пожалуйста, что Вы понимаете под "теорией нейросетей".

Теория нейросетей - раздел математики моделирующий вычислительные системы (искусственные нейронные сети), построенные по принципам схожим с принципами построения мозга и выполняющие функции, сходные с функциями мозга. Модели могут отличаться в деталях, и алгоритмах, но общим у них является наличие нейро-сетевой структуры на которой происходят параллельные вычислительные процессы.

Прошу прощения, если мое определение отличается от принятого академического. Я дал то определение, которое я вкладываю в термин "теория нейросетей". На мой взгляд, не стоит вносить в определение еще более конкретизирующих уточнений, т.к. это может сильно ограничить возможность исследований. По крайней мере, это определение прекрасно вмещает такое разнообразие нейросетевых парадигм, как персептроны, сети Хопфилда и Хэмминга, сети встречного распространения, двунаправленная ассоциативная память, теория адаптивного резонанса, когнитроны и неокогнитроны и т.д.

Maslov в сообщении #258115 писал(а):

Peschansky в сообщении #258080 писал(а):

Но все эти модели имеют такие существенные недостатки, которые не позволяют использовать основное и самое ценное их преимущество по сравнению с машиной Фон Неймана - реальную параллельность вычислений, причем, для любой функции! Обычный алгоритмический подход даже близко не способен на такое.

Большинство существующих моделей ИНС прекрасно приспособлены для того, чтобы использовать реальную параллельность.

Конечно же существующие модели ИНС прекрасно приспособлены для того, чтобы использовать реальную параллельность уже будучи обученными. Но сам процесс обучения происходит не параллельно, более того, еще и итерационно, а количество циклов зависит от размеров сети экспоненциально. О какой параллельности при обучении может идти речь? Если взять уже обученный нейрочип (для реальной, а не эмулированной параллельности), то вычисления он (нейрочип) будет производить потрясающе быстро и эффективно. Но сколько времени требуется для его обучения?
В моей практике был интересный случай: одна огромная Финская компания производящая бумагу для анализа показателей 40 тысяч датчиков каждого станка (длина одного станка - 1 км, а ширина около 20 м!) решила использовать нейросеть. Они обратились в "General Electric". Те разработали систему. Хотя анализ данных такая обученная сеть производила крайне эффективно и быстро, но обучалась часами. Для реалтайм режима требовалась скорость измеряемая секундами.

Maslov в сообщении #258115 писал(а):

А противопоставления ИНС и алгоритмического подхода я, честно говоря, вообще не понимаю. Вы считаете, что "правильные" нейронные сети должны работать по неалгоритмическому принципу?

Можно говорить, об алгоритмических вычислениях в нейросети только в случае цифровой ее реализации. Представьте реализацию нейросети на аналоговой схеме (которой, кстати, является мозг). Все вычисления будут представлять из себя параллельные аналогово преобразующиеся потоки. Более того, для различных вычислений такая сеть пропускает потоки с одной и той же структурой. На выходе мы получаем результат вычислений. О каких алгоритмах тут может идти речь?
Обычный алгоритмический подход к вычислениям требует разработки специализированных алгоритмов для каждого класса задач. Новый класс задач - новый алгоритм.
Один и тот же алгоритм преобразований в нейросети позволяет производить любые вычисления. Так что, да - нейросетевой и алгоритмический подходы не имеют ничего общего.

Я только еще хочу уточнить, что я не критикую теорию нейросетей, как науку, я говорю, что совершенно необходимо пересмотреть исходные постулаты этой науки в соответствии с фактами нейрофизиологии. Тогда можно будет разработать нейросетевую модель не уступающую в эффективности биологической.

[PAV]

Nxx в сообщении #252720 писал(а):

нейронные сети - это сети, построенные из элементов, работающих по принципам, математически схожим с принципами работы биологических нейронов.

Peschansky в сообщении #258195 писал(а):

Теория нейросетей - раздел математики моделирующий вычислительные системы (искусственные нейронные сети), построенные по принципам схожим с принципами построения мозга и выполняющие функции, сходные с функциями мозга.

Что-то вы с Nxx как под копирку пишете.

Peschansky в сообщении #258195 писал(а):

Знаете, создается такое впечатление, что в последнее время ученые гонятся не за уровнем открытий, а за количеством публикаций, даже если они не имеют никакой принципиальной ценности. Мне как-то пришлось общаться в Финляндии с группой Кохонена. Они, как и следовало ожидать, работают исключительно с самоорганизующимися картами своего шефа. Так вот один пожилой профессор из этой группы жаловался: "Мы хотели модифицировать модель и использовать там нечеткую логику, а он (Кохонен) нам запретил ". Какого прорыва можно ожидать там?

Знаете, что-то я Вам не очень верю. Никто не может запретить ученому заниматься какими-то исследованиями и публиковать свои результаты. Чай, не в СССР уже живем. Тем более, "пожилому профессору". Профессор - уже сам себе шеф и сам определяет направления исследований свои и своих студентов-ассистентов. Кроме того, ни один нормальный научный коллектив не станет искусственно ограничивать себя какими-то непонятными рамками, а автор разработки - запрещать развивать ее и тем самым давать шанс улучшить.

Peschansky в сообщении #258195 писал(а):

Сеть из миллиардов нейронов в мозге обучается за долю секунды.

Вот эту часть поподробнее распишите, пожалуйста. При решении какой задачи мозг обучается с такой скоростью и как это установлено. Я знаю, что говорить и читать люди учатся годами. Та же кошка, которая охотится за мышкой, тоже не сразу начала это делать: сначала были первые неуверенные шаги, затем - игры и возня с другими котятами и вообще всем, что движется, затем первые неудачные попытки... Итоговый успех возможен только после всего этого многочисленного обучения. К тому же, я могу привести много примеров ситуаций, в которых мозг животных не способен научиться даже простым, казалось бы, вещам.

Peschansky в сообщении #258195 писал(а):

Наличие нескольких процессоров на компьютере еще не делает его параллельной вычислительной структурой. Необходима еще разработка параллельных алгоритмов для этих процессоров, что является совершенно не тривиальной задачей абсолютно для каждого случая. Стоимость разработки параллельных алгоритмов во много раз превышает стоимость разработки самих многопроцессорных компьютеров. Такие компьютеры известны уже лет тридцать, но ничего существенно не изменили. Не существует (кроме нейросети) универсального метода распараллелить вычисления любой функции. Если на компьютер с 1000 процессоров поставить Windows, он будет работать практически с той же скоростью, что и компьютер с двумя процессорами. Если у вас многоядерный компьютер, проведите тест загрузки ядер Мой iMac с двуядерным процессором показывает чаще всего 95% и 5%. Как куча процессоров может преодолеть физический барьер, если алгоритмы линейные?

Это банальность, которую все понимают. Естественно, задача должна допускать эффективное распараллеливание и нужно это правильно реализовать.

Peschansky в сообщении #258195 писал(а):

Конечно же существующие модели ИНС прекрасно приспособлены для того, чтобы использовать реальную параллельность уже будучи обученными. Но сам процесс обучения происходит не параллельно, более того, еще и итерационно, а количество циклов зависит от размеров сети экспоненциально. О какой параллельности при обучении может идти речь?

А это неправда. Алгоритмы обучения как правило могут быть распараллелены даже в большей степени, чем алгоритмы работы. Тем, кто в этом разбирается, очевидно, почему это так.

Peschansky в сообщении #258195 писал(а):

В моей практике был интересный случай: одна огромная Финская компания производящая бумагу для анализа показателей 40 тысяч датчиков каждого станка (длина одного станка - 1 км, а ширина около 20 м!) решила использовать нейросеть. Они обратились в "General Electric". Те разработали систему. Хотя анализ данных такая обученная сеть производила крайне эффективно и быстро, но обучалась часами. Для реалтайм режима требовалась скорость измеряемая секундами.

Что же они живых людей не наняли тогда? Вообще непонятно - компании требовалось, чтобы обучение занимало доли секунды или работа системы? Опишите подробнее - сколько было входных переменных и сколько обучающего материала. А то что-то я Вам и здесь не очень верю.

Peschansky в сообщении #258195 писал(а):

Можно говорить, об алгоритмических вычислениях в нейросети только в случае цифровой ее реализации. Представьте реализацию нейросети на аналоговой схеме (которой, кстати, является мозг).

Аналоговые системы, описываемые математическими функциями, можно рассчитывать с помощью цифровых дискретных устройств с любой необходимой точностью.

Peschansky в сообщении #258195 писал(а):

Я только еще хочу уточнить, что я не критикую теорию нейросетей, как науку, я говорю, что совершенно необходимо пересмотреть исходные постулаты этой науки в соответствии с фактами нейрофизиологии.

Фактически Вы заявляете, что если ставить себе цель создать систему по принципам, по которым устроен мозг, то нужно изучать, как устроен мозг. Это банальность. Однако Вам уже объясняли, что такие цели мало кто преследует.

Вообще, когда приходит некто и заявляет, что в такой-то области происходит "глубочайший кризис", то это очень напоминает деятельность различных шарлатанов, которым важно убедить человека в том, что он, скажем, неизлечимо болен, или что его сглазили или еще что-то такое. Это самая главная его задача, если ее получится решить, тогда уже можно впаривать пустышки под видом чудодейственных лекарств, безделушки под видом волшебных амулетов и т.д.
Давайте конкретнее. Укажите, пожалуйста, какие именно "неверные исходные постулаты" тормозят развитие теории, и чем именно Вы считаете необходимым их заменить, желательно с обоснованием того, почему именно это должно работать. Также укажите, пожалуйста, пример знаний, полученных нейрофизиологами за последние, скажем, 5-10 лет, который можно применить для того, чтобы добиться каких-то конкретных успехов.

Короче, хочется услышать что-то конкретное, а не абстрактные общие слова о том, как все плохо и неправильно, потому что все занимаются не тем, чем нужно.

[Maslov]

PAV в сообщении #258524 писал(а):

Peschansky в сообщении #258195 писал(а):
Сеть из миллиардов нейронов в мозге обучается за долю секунды.

Вот эту часть поподробнее распишите, пожалуйста. При решении какой задачи мозг обучается с такой скоростью и как это установлено. Я знаю, что говорить и читать люди учатся годами. Та же кошка, которая охотится за мышкой, тоже не сразу начала это делать: сначала были первые неуверенные шаги, затем - игры и возня с другими котятами и вообще всем, что движется, затем первые неудачные попытки... Итоговый успех возможен только после всего этого многочисленного обучения. К тому же, я могу привести много примеров ситуаций, в которых мозг животных не способен научиться даже простым, казалось бы, вещам.

Peschansky, хотелось бы обратить внимание еще на один момент, касающийся мозга - из времени обучения нельзя выкидывать сотни миллионов лет эволюции, в течение которых из миллиардов вариантов выбирались и закреплялись в виде инстинктов те, которые наилучшим образом подходят для ловли мышей. В результате кошка уже рождается с этим умением, и ей остается только немного отточить его в процессе учебы. Попробуйте научить кошку каким-то действиям, не подкрепленным инстинктами, - результат будет куда более скромным.