Теория нейронных сетей

[PAV]

Еще в дополнение к сказанному: вот ссылка на мой старый пост, где я приводил примеры ситуаций, в которых мозг животных действует по программе и ничему не обучается. Добавлю еще один пример специально касающийся кошек. В них инстинктом заложена следующая программа поведения: если кто-то большой на них быстро бежит и угрожает им, то они сначала замирают, а затем бросаются наперерез. Это сбивает нападающего с толку; пока он затормозит и изменит направление, у кошки будет время убежать. Однако эта программа дает сбой в современных условиях с автомобилями, которые двигаются слишком быстро и не тормозят. Именно поэтому кошки так часто выскакивают на дорогу и гибнут под колесами. Что-то их мозг не торопится научиться правильному поведению в подобных условиях.

[Peschansky]

PAV в сообщении #258524 писал(а):

Nxx в сообщении #252720 писал(а):

нейронные сети - это сети, построенные из элементов, работающих по принципам, математически схожим с принципами работы биологических нейронов.

Peschansky в сообщении #258195 писал(а):

Теория нейросетей - раздел математики моделирующий вычислительные системы (искусственные нейронные сети), построенные по принципам схожим с принципами построения мозга и выполняющие функции, сходные с функциями мозга.

Что-то вы с Nxx как под копирку пишете.

Ну, во-первых, почему вас удивляет, что два человека могут независимо иметь общую точку зрения на какой-то вопрос?
А, во-вторых, странный у нас получается разговор: вы требуете дать определение, что бы можно было договориться об общих понятиях. Вам это определение предлагают, но оно вам не нравится, по видимому. Так предложите свое определение. По крайней мере, у нас не будет возможности обвинять друг друга в нелогичности.

PAV в сообщении #258524 писал(а):

Peschansky в сообщении #258195 писал(а):

Знаете, создается такое впечатление, что в последнее время ученые гонятся не за уровнем открытий, а за количеством публикаций, даже если они не имеют никакой принципиальной ценности. Мне как-то пришлось общаться в Финляндии с группой Кохонена. Они, как и следовало ожидать, работают исключительно с самоорганизующимися картами своего шефа. Так вот один пожилой профессор из этой группы жаловался: "Мы хотели модифицировать модель и использовать там нечеткую логику, а он (Кохонен) нам запретил ". Какого прорыва можно ожидать там?

Знаете, что-то я Вам не очень верю.

Ну-ну... По всей видимости, моей целью в этой беседе является произвести на вас впечатление. Для того и лгу!

PAV в сообщении #258524 писал(а):

Никто не может запретить ученому заниматься какими-то исследованиями и публиковать свои результаты. Чай, не в СССР уже живем. Тем более, "пожилому профессору". Профессор - уже сам себе шеф и сам определяет направления исследований свои и своих студентов-ассистентов. Кроме того, ни один нормальный научный коллектив не станет искусственно ограничивать себя какими-то непонятными рамками, а автор разработки - запрещать развивать ее и тем самым давать шанс улучшить.

Не знаю почему вы говорите такое? Да сейчас (в кап. Мире) заставить кого либо сменить тему проще простого - просто лишить финансирования. У меня друзья (генетики) бросали проекты за пол шага до получения результатов, т.к. прекращали финансирование.
Да и потом, некоторых и заставлять не надо. Некоторых бросает в дрожь сама необходимость пересматривать что либо. Синица в руках милее.

PAV в сообщении #258524 писал(а):

Peschansky в сообщении #258195 писал(а):

Сеть из миллиардов нейронов в мозге обучается за долю секунды.

Вот эту часть поподробнее распишите, пожалуйста. При решении какой задачи мозг обучается с такой скоростью и как это установлено. Я знаю, что говорить и читать люди учатся годами. Та же кошка, которая охотится за мышкой, тоже не сразу начала это делать: сначала были первые неуверенные шаги, затем - игры и возня с другими котятами и вообще всем, что движется, затем первые неудачные попытки... Итоговый успех возможен только после всего этого многочисленного обучения. К тому же, я могу привести много примеров ситуаций, в которых мозг животных не способен научиться даже простым, казалось бы, вещам.

PAV в сообщении #258524 писал(а):

Еще в дополнение к сказанному: вот ссылка на мой старый пост, где я приводил примеры ситуаций, в которых мозг животных действует по программе и ничему не обучается. Добавлю еще один пример специально касающийся кошек. В них инстинктом заложена следующая программа поведения: если кто-то большой на них быстро бежит и угрожает им, то они сначала замирают, а затем бросаются наперерез. Это сбивает нападающего с толку; пока он затормозит и изменит направление, у кошки будет время убежать. Однако эта программа дает сбой в современных условиях с автомобилями, которые двигаются слишком быстро и не тормозят. Именно поэтому кошки так часто выскакивают на дорогу и гибнут под колесами. Что-то их мозг не торопится научиться правильному поведению в подобных условиях.

Maslov в сообщении #258533 писал(а):

Peschansky, хотелось бы обратить внимание еще на один момент, касающийся мозга - из времени обучения нельзя выкидывать сотни миллионов лет эволюции, в течение которых из миллиардов вариантов выбирались и закреплялись в виде инстинктов те, которые наилучшим образом подходят для ловли мышей. В результате кошка уже рождается с этим умением, и ей остается только немного отточить его в процессе учебы. Попробуйте научить кошку каким-то действиям, не подкрепленным инстинктами, - результат будет куда более скромным.

Ну вот видите, даже то, что я пытаюсь оговаривать все с самого начала не очень-то помогает. Я же предлагал не говорить о человеке. Тут можно втянуться в долгую и бесполезную, я думаю, дискуссию. Скажу лишь, что ваши примеры некорректны. Обучение чтению и языку требует параллельного развития жизненного опыта, объясняющего смысл слов и выражений. Естественно, такое обучение требует многих лет. То же самое о вашем примере про котенка: умение охотиться - это не отдельная запоминаемая информация, а жизненный опыт.
Давайте говорить о мозге, а не о целом организме с его самыми сложными проявлениями.
Скажите, сколько времени требуется, вам например, что бы запомнить новое лицо? Всего лишь раз взглянуть. Вот это не жизненный опыт, а отдельный паттерн. Сколько времени потребуется котенку, что бы запомнить, что еж колется, если его ударить лапкой? Всего один раз ударить его лапкой. Ну или два, если котенок совсем глупый. Заметьте, а тут громадный объем очень сложной информации. Тут даже не отдельный паттерн, а целый их комплекс. Тем не менее на это требуется если и не доля секунды, то всего несколько секунд. А теперь попробуйте построить по классическим моделям теории нейросетей нейросеть размером не в миллиарды нейронов, а всего в несколько десятков тысяч и поставьте перед этой сетью задачу распознавания не классических изображений всего в несколько сот пикселей максимум, как это делают на классических моделях теории, и даже не то изображение, что снимают глаза, а какую нибудь картинку всего в несколько мегапикселей, да еще и с учетом цвета... Ну и, чтоб не возникало лишних вопросов, возьмем несколько разных таких изображений (несколько лиц). Да такая сеть и обучиться не сможет.
Что касается инстинктов, то это совсем не верный пример. Во-первых, это касается целой уже настроенной системы. Я же говорю о способности биологической нейросети к быстрому обучению, не смотря на объем нейросети и размеры информационных паттернов.
Если исключить довольно примитивных животных нервная система которых в основном инстинктивного типа, то способность мозга к быстрому запоминанию просто недостижима для классических нейросетей. Хорошо, опыты с тканью мозга являются аргументом? Тут не может быть речи об инстинктах. Опыты показывают почти мгновенное возникновение памяти в нейронах ткани при создании определенных условий.

PAV в сообщении #258524 писал(а):

Peschansky в сообщении #258195 писал(а):

Наличие нескольких процессоров на компьютере еще не делает его параллельной вычислительной структурой. Необходима еще разработка параллельных алгоритмов для этих процессоров...

Это банальность, которую все понимают. Естественно, задача должна допускать эффективное распараллеливание и нужно это правильно реализовать.

Я позволяю себе банальности лишь для того, что бы раз и на всегда исключить ложные заявления. В данном случае я говорил, что нейросеть является универсальной технологией параллельной обработки информации для широчайшего круга задач, в то время, как обычные многопроцессорные системы требуют разработки нетривиальных алгоритмов для каждой отдельной задачи, а значит этот подход нельзя считать универсальным и преодолевающим физические ограничения современных компьютеров. Но современные модели нейросетей не позволяют разработать альтернативный нейро-компьютер. Сразу уточню, что я имею тут в виду не современные нейрокомпьютеры, в которых микроскопическая нейросеть выполняет лишь функцию оптимизации потоков между обычными процессорами. Я говорю о компьютере, где вся архитектура построена на основе нейросетей. Такие компьютеры пока невозможны, хотя в природе работают даже у какой нибудь пиявки.

PAV в сообщении #258524 писал(а):

Peschansky в сообщении #258195 писал(а):

Конечно же существующие модели ИНС прекрасно приспособлены для того, чтобы использовать реальную параллельность уже будучи обученными. Но сам процесс обучения происходит не параллельно, более того, еще и итерационно, а количество циклов зависит от размеров сети экспоненциально. О какой параллельности при обучении может идти речь?

А это неправда. Алгоритмы обучения как правило могут быть распараллелены даже в большей степени, чем алгоритмы работы. Тем, кто в этом разбирается, очевидно, почему это так.

Правда? А почему же обученная сеть всего в несколько сот нейронов, которая распознает образы почти мгновенно, требует часов для обучения? Ваше заявление крайне интересно, т.к. время распознавания может возрастать в классических нейросетях линейно, в зависимости от размеров этих сетей, а вот время обучения возрастает при этом экспоненциально. О какой реальной параллельности при обучении вы говорите?

PAV в сообщении #258524 писал(а):

Peschansky в сообщении #258195 писал(а):

В моей практике был интересный случай: одна огромная Финская компания производящая бумагу для анализа показателей 40 тысяч датчиков каждого станка (длина одного станка - 1 км, а ширина около 20 м!) решила использовать нейросеть. Они обратились в "General Electric". Те разработали систему. Хотя анализ данных такая обученная сеть производила крайне эффективно и быстро, но обучалась часами. Для реалтайм режима требовалась скорость измеряемая секундами.

Что же они живых людей не наняли тогда? Вообще непонятно - компании требовалось, чтобы обучение занимало доли секунды или работа системы? Опишите подробнее - сколько было входных переменных и сколько обучающего материала. А то что-то я Вам и здесь не очень верю.

Нет, определенно я стараюсь произвести на вас впечатление!

В каком смысле не наняли живых людей? В "General Electric" работают пока живые люди. Или вы имеете в виду, что у станка должен был стоять человек, который в реалтайм режиме должен строить и оптимизировать нелинейные модели от десятков тысяч переменных?
Я уже писал, что входных переменных было столько же, сколько и датчиков - порядка сорока тысяч. Все эти датчики показывают совершенно разнородную по содержанию информацию с различных этапов производства бумаги. Тут и показатели древесины, исходных реактивов, температура, плотность, кислотность, упругость формируемой бумаги и тысячи других! Построить математическую модель для такого процесса не смог в Мире пока никто. Вот они и пытались использовать нейросеть. Проблема еще в том, что исходные условия довольно сильно и непредсказуемо меняются, в зависимости от использованного исходного сырья. Они хотели создать быстро самообучающуюся систему, которая могла бы быстро строить модель текущего процесса и на лету оптимизировать его. "General Electric" не справились. Думаете, вы бы справились?
Ах да! Если, конечно, я не лгу!

PAV в сообщении #258524 писал(а):

Peschansky в сообщении #258195 писал(а):

Можно говорить, об алгоритмических вычислениях в нейросети только в случае цифровой ее реализации. Представьте реализацию нейросети на аналоговой схеме (которой, кстати, является мозг).

Аналоговые системы, описываемые математическими функциями, можно рассчитывать с помощью цифровых дискретных устройств с любой необходимой точностью.

Конечно! Но сколько на это требуется машинного времени? Разве можно вообще сравнивать скорость цифровой и аналоговой обработки информации? Не забывайте, я как "различный шарлатан" говорю о кризисе! Меня волнует (ну, по крайней мере, я говорю так) скорость обработки информации, которую не может повысить обычный компьютер и которую не могут повысить классические нейросети в связи со своими ограничениями. Хотя мозг, как инструмент обработки информации, давным давно преодолел эти барьеры.

PAV в сообщении #258524 писал(а):

Peschansky в сообщении #258195 писал(а):

Я только еще хочу уточнить, что я не критикую теорию нейросетей, как науку, я говорю, что совершенно необходимо пересмотреть исходные постулаты этой науки в соответствии с фактами нейрофизиологии.

Фактически Вы заявляете, что если ставить себе цель создать систему по принципам, по которым устроен мозг, то нужно изучать, как устроен мозг. Это банальность. Однако Вам уже объясняли, что такие цели мало кто преследует.

А вы говорите: "ни один нормальный научный коллектив не станет искусственно ограничивать себя какими-то непонятными рамками". Ну вот кто же не дает специалистам по ИНС задаться вопросом, как же можно смоделировать нейросеть так, что бы работала, как в природе? Думаю, страх показаться "банальным" и пойти против авторитетов - лучший ограничитель.
Ну, по крайней мере, эти цели преследовали основатели теории нейросетей (см. выше), да и еще "Blue Brain" сегодня. Но последних финансирует IBM, а им глубоко наплевать на то, что о них думают авторитеты от академической науки (Слава капитализму!).

PAV в сообщении #258524 писал(а):

Давайте конкретнее. Укажите, пожалуйста, какие именно "неверные исходные постулаты" тормозят развитие теории, и чем именно Вы считаете необходимым их заменить, желательно с обоснованием того, почему именно это должно работать. Также укажите, пожалуйста, пример знаний, полученных нейрофизиологами за последние, скажем, 5-10 лет, который можно применить для того, чтобы добиться каких-то конкретных успехов.
Короче, хочется услышать что-то конкретное, а не абстрактные общие слова о том, как все плохо и неправильно, потому что все занимаются не тем, чем нужно.

Я ждал, когда будет задан конкретный вопрос

Во-первых, я говорю не об "ошибках в математической теории". Пока теория внутренне непротиворечива, никаких ошибок в ней нет. Современна теория нейросетей не имеет явных "ошибок". Другое дело, что выйти за рамки своих ограничений такая теория не позволит никогда. Если хотите, то современная теория нейросетей - это "Эвклидова геометрия", а теория о которой говорю я - "геометрия Лобачевского". Между ними нет противоречий, просто построены они на разных постулатах.

Во-вторых, на счет нейрофизиологических фактов, которые помогут построить принципиально новую модель.
Нейрофизиология накопила просто огромный материал на сегодняшний день, но им занимаются нейрофизиологи с их взглядами на мозг, а не специалисты по теории нейросетей, т.к., как мне "уже объясняли, такие цели мало кто преследует" (из специалистов по ИНС).
Вы думаете, я бы поднимал эти вопросы, если бы действительно знал, что именно из нейрофизиологии поможет?
Я просто хотел разъяснить тем на этом форуме, кто интересовался перспективностью нейросетей, что далеко не все тут исчерпано современной теорией и почему.

Список "ошибок", который я могу привести потребует большого места для обсуждения, поэтому я приведу лишь пару основных, на мой взгляд.

• Во-первых, это наличие "внешнего учителя" - некоего внешнего алгоритма, который производит настройку весов всех нейронов сети анализируя ошибки всей сети. В ткани мозга нет такого "учителя". Предвидя ряд ваших возражений сразу разъясню:
  
  1. Так называемые сети "без учителя", например самоорганизующиеся карты Кохонена.
  
  При близком рассмотрении эти сети таковыми (без учителя) не являются. Там все равно присутствует некий центральный алгоритм оптимизирующий веса в соответствии с определенными правилами. Нейроны с их весами продолжают выступать в пассивной роли обучаемых. Кроме того, требуется еще проиндексировать полученную систему кластеров, т.е. присвоить каждому из вариантов классификации его смысловой вариант. Кто делает это в ткани мозга?
  
  2. Это старое и "банальное" замечание.
  
  Конечно, замечание о "внешнем учителе" делалось уже давно, но никто до сих пор не взял его в расчет.
  
• Во-вторых, в классических моделях обратная связь реализована то же неестественно.
  
  В моделях без рекуррентных связей таких, как сети прямого распространения, например, роль обратной связи выполняет сам обучающий алгоритм, т.е. "внешний учитель", которого нет в ткани мозга.
  
  В рекуррентных нейросетях, таких например, как сеть Хопфилда, обратная связь реализована уже более естественно, но, к сожалению, для ткани мозга такая связь скорее исключение, чем правило, в рекуррентных же нейросетях это обязательный атрибут каждого нейрона. Кроме того, такая модель обратной связи значительно ограничивает возможности построения произвольных сетевых структур.
  
  Как можно надеяться на успех моделирования биоподобной нейросети, если не решен такой принципиальный вопрос, как обратная связь?

[Xey]

Peschansky в сообщении #258660 писал(а):

Скажите, сколько времени требуется, вам например, что бы запомнить новое лицо? Всего лишь раз взглянуть.

Пример ожидаемый и очень неудачный. Это жизненно важный вопрос, но уже с лицами незнакомой расы возможны проблемы. А уж кошки (или мышки) все на одно лицо.

[Peschansky]

Xey в сообщении #258683 писал(а):

Peschansky в сообщении #258660 писал(а):

Скажите, сколько времени требуется, вам например, что бы запомнить новое лицо? Всего лишь раз взглянуть.

Пример ожидаемый и очень неудачный. Это жизненно важный вопрос, но уже с лицами незнакомой расы возможны проблемы. А уж кошки (или мышки) все на одно лицо.

Какая разница? Вы хотите сказать, что просто ничего не способны тут же запомнить? Даже насекомые обладают памятью. О чем вы вообще тут говорите?
Важно то, что нейросеть (живая) огромного размера на самом деле запоминает информацию с такой скоростью, на которую даже близко не способны классические нейросети микроскопического размера. И это при том, что скорость работы мозга (его тактовая частота) - всего 1 kHz, а нейрочипы работают на окологигагерцовой скорости.

[Maslov]

Peschansky в сообщении #258660 писал(а):

Сколько времени потребуется котенку, что бы запомнить, что еж колется, если его ударить лапкой? Всего один раз ударить его лапкой. Ну или два, если котенок совсем глупый. Заметьте, а тут громадный объем очень сложной информации. Тут даже не отдельный паттерн, а целый их комплекс. Тем не менее на это требуется если и не доля секунды, то всего несколько секунд.

Это некорректный пример. Реакция на боль (так же, как способность к распознаванию особей своего вида) закреплена в ходе эволюции на уровне инстинкта, именно поэтому обучение распознаванию каждого нового источника боли и распознавание нового лица проходит довольно быстро. Т.е., это специфические способности, не связанные с общей проблемой распознавания.

Peschansky в сообщении #258660 писал(а):

А теперь попробуйте построить по классическим моделям теории нейросетей нейросеть размером не в миллиарды нейронов, а всего в несколько десятков тысяч и поставьте перед этой сетью задачу распознавания не классических изображений всего в несколько сот пикселей максимум, как это делают на классических моделях теории, и даже не то изображение, что снимают глаза, а какую нибудь картинку всего в несколько мегапикселей, да еще и с учетом цвета... Ну и, чтоб не возникало лишних вопросов, возьмем несколько разных таких изображений (несколько лиц). Да такая сеть и обучиться не сможет.

Человеческий организм и ИНС, построенная из нескольких десятков тысяч искусственных нейронов, отличаются по сложности минимум на 5 порядков (это если учитывать только количество элементов); их даже сравнивать некорректно - ну давайте посравниваем способности к обучению колонии дрожжей и человека, а потом сделаем из этого сравнения вывод о том, что дрожжи построены по неправильному принципу.

Peschansky в сообщении #258660 писал(а):

Я уже писал, что входных переменных было столько же, сколько и датчиков - порядка сорока тысяч. Все эти датчики показывают совершенно разнородную по содержанию информацию с различных этапов производства бумаги. Тут и показатели древесины, исходных реактивов, температура, плотность, кислотность, упругость формируемой бумаги и тысячи других! Построить математическую модель для такого процесса не смог в Мире пока никто. Вот они и пытались использовать нейросеть. Проблема еще в том, что исходные условия довольно сильно и непредсказуемо меняются, в зависимости от использованного исходного сырья. Они хотели создать быстро самообучающуюся систему, которая могла бы быстро строить модель текущего процесса и на лету оптимизировать его. "General Electric" не справились. Думаете, вы бы справились?

Честно говоря, я вообще не понял, к чему Вы привели этот пример. Ну хорошо, есть сложная система, которую не удалось автоматизировать каким-то ребятам из GE, ну и о чём это говорит? Люди, с их потрясающей способностью к обучению, насколько я понимаю, тоже особо не в состоянии анализировать показания всех этих десятков тысяч датчиков и управлять исполнительными механизмами.
А уж довод, что даже GE не справились - это вообще отдельная песня . Сразу перед мысленным взором встают тысячи лучших специалистов GE, бившихся над этой задачей и ничего не добившихся. Уточните, пожалуйста, сколько народа работало над этой задачей со стороны GE, и какова была стоимость контракта.
Просто есть некоторый личный опыт совместного участия в контрактах, например, с фирмой IBM: Вы будете удивлены, но там тоже есть специалисты с очень разной квалификацией.

Peschansky в сообщении #258660 писал(а):

Разве можно вообще сравнивать скорость цифровой и аналоговой обработки информации? Не забывайте, я как "различный шарлатан" говорю о кризисе! Меня волнует (ну, по крайней мере, я говорю так) скорость обработки информации, которую не может повысить обычный компьютер и которую не могут повысить классические нейросети в связи со своими ограничениями. Хотя мозг, как инструмент обработки информации, давным давно преодолел эти барьеры.

Согласен, есть достаточно большое количество задач, с которыми человек справляется существенно лучше, чем компьютер. Но хочется обратить Ваше внимание на то, что компьютер - это просто инструмент, и сам он ни с какими задачами не справляется. С задачами справляются люди, этот компьтер программирующие. И то, что пока не создано программ, способных при решении определенных задач конкурировать с человеком, говорит просто о недостаточности человеческого знания или о принципиальной неалгоритмизируемости каких-то процессов в сознании.
В то же время, с многими задачами компьютеры справляются гораздо лучше человека. Что бы Вы не говорили про уникальные способности аутистов к устному счёту, я не встречал данных о том, что они могут переплюнуть в этом отношении простенький программируемый калькулятор.

Peschansky в сообщении #258660 писал(а):

Во-первых, это наличие "внешнего учителя" - некоего внешнего алгоритма, который производит настройку весов всех нейронов сети анализируя ошибки всей сети. В ткани мозга нет такого "учителя".

Вы уверены? Нейрон - это отдельная маленькая клеточка, не имеющая информации о том, к какому результату привело её "срабатывание". Его дело - возбудиться (или не возбуждаться). В любом случае существует механизм, "поощряющий" нейроны, внесшие положительный вклад в общее дело, и "наказывающий" - внесшие отрицательный.
В частности, одна из нейрофизиологических теорий памяти и обучения говорит о том, что нейроны, чьё возбуждение привело к позитивному общему результату, получают в дальнейшем лучшее питание и таким образом поощряются.

-- Чт ноя 05, 2009 21:01:51 --

Peschansky в сообщении #258712 писал(а):

Важно то, что нейросеть (живая) огромного размера на самом деле запоминает информацию с такой скоростью, на которую даже близко не способны классические нейросети микроскопического размера.

Скорость запоминания у нейросети существенно больше, чем у человека. Обучение ИНС - это не задача запоминания, это задача классификации и построения аппроксимирующей модели. Если бы люди лучше понимали, каким образом они справляются с такими задачами, возможно они бы научились закладывать аналогичные алгоритмы в ИНС. Но они этого не понимают - вот в чём корень проблемы.

[Peschansky]

Maslov в сообщении #258716 писал(а):

Peschansky в сообщении #258660 писал(а):

Сколько времени потребуется котенку, что бы запомнить, что еж колется, если его ударить лапкой? Всего один раз ударить его лапкой. Ну или два, если котенок совсем глупый. Заметьте, а тут громадный объем очень сложной информации. Тут даже не отдельный паттерн, а целый их комплекс. Тем не менее на это требуется если и не доля секунды, то всего несколько секунд.

Это некорректный пример. Реакция на боль (так же, как способность к распознаванию особей своего вида) закреплена в ходе эволюции на уровне инстинкта, именно поэтому обучение распознаванию каждого нового источника боли и распознавание нового лица проходит довольно быстро. Т.е., это специфические способности, не связанные с общей проблемой распознавания.

Я не понимаю, о чем вы говорите, если честно. По вашему, мозг, как информационная машина, не способен к быстрому запоминанию? При чем тут реакция на боль? Этот несчастный котенок видит ежа и тут же связывает его вид (со всеми трудностями его распознавания) с этой болью и ЗАПОМИНАЕТ это. Или не запоминает? Вы хотите сказать, что не помните, что с вами произошло 3 минуты назад? Какую боль вы при этом испытывали, что бы запомнить все это?
Скажите пожалуйста, только четко, быстрая память, как явление существует? Сколько, по вашему, надо смотреть на предмет, что бы запомнить его форму?
Если честно, я перестаю понимать о чем дискуссия. Если вы станете отрицать очевидные факты, то продолжение беседы станет совершенно бессмысленным.

Maslov в сообщении #258716 писал(а):

Peschansky в сообщении #258660 писал(а):

А теперь попробуйте построить по классическим моделям теории нейросетей нейросеть размером не в миллиарды нейронов, а всего в несколько десятков тысяч и поставьте перед этой сетью задачу распознавания не классических изображений всего в несколько сот пикселей максимум, как это делают на классических моделях теории, и даже не то изображение, что снимают глаза, а какую нибудь картинку всего в несколько мегапикселей, да еще и с учетом цвета... Ну и, чтоб не возникало лишних вопросов, возьмем несколько разных таких изображений (несколько лиц). Да такая сеть и обучиться не сможет.

Человеческий организм и ИНС, построенная из нескольких десятков тысяч искусственных нейронов, отличаются по сложности минимум на 5 порядков (это если учитывать только количество элементов); их даже сравнивать некорректно - ну давайте посравниваем способности к обучению колонии дрожжей и человека, а потом сделаем из этого сравнения вывод о том, что дрожжи построены по неправильному принципу.

А что у дрожжей есть мозги? Послушайте, ну не надо брать целый мозг (разница будет, кстати, на 7 порядков), возьмите ткань мозга. Если взять маленький кусочек коры мозга крысы (всего один куб. мм) там будут сотни тысяч нейронов. Это уже не принципиально иной уровень? Разница всего в один порядок. Эту ткань очень легко заставить запоминать, причем, очень быстро запоминать. Уже строят своего рода киборги из машин управляемых таким кусочком кортекса крысы. Эта система легко обучается и начинает распознавать зрительные образы управляя движением тележки.
Пожалуйста, ответьте четко и точно, сколько времени потребуется какой нибудь классической нейросети построенной из нескольких сот тысяч нейронов для обучения распознаванию нескольким сотням образов с целью управления движением тележки.
Пожалуйста, не надо говорить о том, что для этого вполне сойдет ИНС гораздо меньшего размера. Это и так понятно. Сколько времени будет обучаться сеть из нескольких сот тысяч нейронов? Сколько времени потребуется любому итерационному алгоритму для подбора коэффициентов для всех связей такой сети? На всякий случай подскажу, что каждый нейрон образует порядка десяти тысяч связей.

Maslov в сообщении #258716 писал(а):

Peschansky в сообщении #258660 писал(а):

Я уже писал, что входных переменных было столько же, сколько и датчиков - порядка сорока тысяч. Все эти датчики показывают совершенно разнородную по содержанию информацию...

Честно говоря, я вообще не понял, к чему Вы привели этот пример. Ну хорошо, есть сложная система, которую не удалось автоматизировать каким-то ребятам из GE, ну и о чём это говорит? Люди, с их потрясающей способностью к обучению, насколько я понимаю, тоже особо не в состоянии анализировать показания всех этих десятков тысяч датчиков и управлять исполнительными механизмами.
А уж довод, что даже GE не справились - это вообще отдельная песня . Сразу перед мысленным взором встают тысячи лучших специалистов GE, бившихся над этой задачей и ничего не добившихся. Уточните, пожалуйста, сколько народа работало над этой задачей со стороны GE, и какова была стоимость контракта.
Просто есть некоторый личный опыт совместного участия в контрактах, например, с фирмой IBM: Вы будете удивлены, но там тоже есть специалисты с очень разной квалификацией.

Я привел пример с этой принципиально несложной для нейросети задачей для того, что бы продемонстрировать насколько импотентной оказывается классическая теория нейросетей для реальных, а не учебных (совсем маленьких) задач. Как только требуется увеличение количества нейронов на пару порядков, нейросеть становится настолько медленной в обучении, что просто не имеет никакой ценности для практики.

Maslov в сообщении #258716 писал(а):

Peschansky в сообщении #258660 писал(а):

Разве можно вообще сравнивать скорость цифровой и аналоговой обработки информации? Не забывайте, я как "различный шарлатан" говорю о кризисе! Меня волнует (ну, по крайней мере, я говорю так) скорость обработки информации, которую не может повысить обычный компьютер и которую не могут повысить классические нейросети в связи со своими ограничениями. Хотя мозг, как инструмент обработки информации, давным давно преодолел эти барьеры.

Согласен, есть достаточно большое количество задач, с которыми человек справляется существенно лучше, чем компьютер. Но хочется обратить Ваше внимание на то, что компьютер - это просто инструмент, и сам он ни с какими задачами не справляется. С задачами справляются люди, этот компьтер программирующие. И то, что пока не создано программ, способных при решении определенных задач конкурировать с человеком, говорит просто о недостаточности человеческого знания или о принципиальной неалгоритмизируемости каких-то процессов в сознании.
В то же время, с многими задачами компьютеры справляются гораздо лучше человека. Что бы Вы не говорили про уникальные способности аутистов к устному счёту, я не встречал данных о том, что они могут переплюнуть в этом отношении простенький программируемый калькулятор.

Я начинаю повторяться. Конечно компьютер делает многое лучше человека. Хотя бы потому, что природа не предусмотрела необходимость интегральных или еще каких-то вычислений для обезьяны. Но если бы мы могли построить искуственную сеть работающую по принципам живого мозга, а не по принципам современной теории нейросетей, то она производила бы любые вычисления лучше обычного компьютера уже потому, хотя бы, что делала бы это тысячами, а может и миллионами параллельных аналоговых потоков, а не линейным алгоритмом шаг за шагом преобразующим последовательно бит за битом.

Maslov в сообщении #258716 писал(а):

Peschansky в сообщении #258660 писал(а):

Во-первых, это наличие "внешнего учителя" - некоего внешнего алгоритма, который производит настройку весов всех нейронов сети анализируя ошибки всей сети. В ткани мозга нет такого "учителя".

Вы уверены? Нейрон - это отдельная маленькая клеточка, не имеющая информации о том, к какому результату привело её "срабатывание".

От куда вы это знаете? Вы же не знаете, что уже открыто в области нейрофизиологии. Более того, по словам PAV вы этого и знать не хотите. Вы делаете этот вывод, видимо, в связи с тем, что не видите явной обратной связи в таком нейроне. Конечно это так, если говорить о модели нейрона принятой в теории нейросетей. Вот вам один ложный постулат классической теории. Но в живой клетке, по всей видимости все обстоит иначе. Может, стоит поискать иную обратную связь?

Maslov в сообщении #258716 писал(а):

Его дело - возбудиться (или не возбуждаться). В любом случае существует механизм, "поощряющий" нейроны, внесшие положительный вклад в общее дело, и "наказывающий" - внесшие отрицательный.
В частности, одна из нейрофизиологических теорий памяти и обучения говорит о том, что нейроны, чьё возбуждение привело к позитивному общему результату, получают в дальнейшем лучшее питание и таким образом поощряются.

Очень может быть. На этом принципе построены некоторые обучающие алгоритмы классической теории. Но каков реальный механизм?
В ткани мозга, есть нейроны и клетки их обслуживающие (миелиновые, швамовские и пр.). Кто из них, по классической теории производит расчеты для наказаний-поощрений нейрона? Потом, как эти клетки, если это они, получают исчерпывающую информацию? По принципу "Бритвы Оккама", следует искать причину обучения каждого нейрона в нем самом, а не обращаться к эфемерным вспомогательным сущностям.

Maslov в сообщении #258716 писал(а):

Peschansky в сообщении #258712 писал(а):

Важно то, что нейросеть (живая) огромного размера на самом деле запоминает информацию с такой скоростью, на которую даже близко не способны классические нейросети микроскопического размера.

Скорость запоминания у нейросети существенно больше, чем у человека. Обучение ИНС - это не задача запоминания, это задача классификации и построения аппроксимирующей модели. Если бы люди лучше понимали, каким образом они справляются с такими задачами, возможно они бы научились закладывать аналогичные алгоритмы в ИНС. Но они этого не понимают - вот в чём корень проблемы.

Любая память на нейросети ведет только к классификации и в целом формирует некую модель. Тут нет разницы между ИНС и нейросетью живой. Что вы понимаете под запоминанием? Я сформулирую то, что сам вкладываю в это понятие:

Пусть мы имеем некую выборку пар входных и выходных образов. Под термином запоминание я понимаю обучение нейросети отдельной такой паре, т.е. создание ассоциативной связи для одной такой пары вход-выход.

Заметьте, я не говорю, что необходимо обучать нейросеть всей выборке сразу так, как этого требуют большинство моделей классической теории (еще одна очаровательная особенность классических ИНС). Вот вам еще одна ложная предпосылка классической теории. Живая ткань мозга может обучаться таким парам последовательно, а не разом и итерационно. Запомнил одну пару, поработал над другим спокойно, потом запомнил вторую пару (не прибегая при этом к первой), а первая при этом, представьте, не стерлась! Только теория адаптивного резонанса пытается решить эту проблему. Да и то, с такими явными недоработками, что применять и эту модель на практике невозможно.
Таким образом, время обучения живой ткани мозга зависит от количества таких пар образов линейно, а от размера самой сети не зависит вообще! На сколько я знаю, у всех моделей в теории нейросетей тут дело обстоит плачевно, а именно - зависимость экспоненциальная.
Поэтому я сам у вас хочу спросить, что именно нейросеть искуственная запоминает быстрее нейросети живой? Конечно, если взять сеть всего на несколько десятков нейронов... Ну а для кого-то необходимы десятки тысяч, а может и того мощнее. Что именно такая сеть будет запоминать быстрее биологической? Может, вы имели в виду время записи одного веса? Так это не запоминание.

[Maslov]

Peschansky в сообщении #258794 писал(а):

Я не понимаю, о чем вы говорите, если честно. По вашему, мозг, как информационная машина, не способен к быстрому запоминанию? При чем тут реакция на боль? Этот несчастный котенок видит ежа и тут же связывает его вид (со всеми трудностями его распознавания) с этой болью и ЗАПОМИНАЕТ это. Или не запоминает? Вы хотите сказать, что не помните, что с вами произошло 3 минуты назад? Какую боль вы при этом испытывали, что бы запомнить все это?
Скажите пожалуйста, только четко, быстрая память, как явление существует? Сколько, по вашему, надо смотреть на предмет, что бы запомнить его форму?

Да нет, я признаю и то, что быстрая память существует, и то, что котенку достаточно всего несколько раз уколоться, чтобы запомнить, что ежа трогать не надо, и другие очевидные вещи. Но вот с чем я не могу согласиться, так это с аналогией этих процессов с обучением НС. На мой взгляд, тут скорее можно говорить о следующем: в течение сотен миллионов лет в процессе эволюции живого мира была создана и обучена нейронная сеть (мозг котенка, человека и т.п.), умеющая решать достаточно широкий класс проблем, в частности, ассоциировать видимый образ объекта с болевым ощущением и строить дальнейшее поведение таким образом, чтобы этого болевого ощущения избегать.
Другими словами, те реакции, о которых Вы говорите, - это не обучение нейронной сети, а работа нейронной сети, уже обученной.

Peschansky в сообщении #258794 писал(а):

Если взять маленький кусочек коры мозга крысы (всего один куб. мм) там будут сотни тысяч нейронов. Это уже не принципиально иной уровень? Разница всего в один порядок. Эту ткань очень легко заставить запоминать, причем, очень быстро запоминать. Уже строят своего рода киборги из машин управляемых таким кусочком кортекса крысы. Эта система легко обучается и начинает распознавать зрительные образы управляя движением тележки.

Пожалуйста, дайте какие-нибудь ссылки на публикации, посвящееные этой тематике. (Тут нет никакой попытки Вас на чем-то поймать; я, честное слово, с большим интересом почитал бы что-нибудь на эту тему).

Peschansky в сообщении #258794 писал(а):

Пожалуйста, ответьте четко и точно, сколько времени потребуется какой нибудь классической нейросети построенной из нескольких сот тысяч нейронов для обучения распознаванию нескольким сотням образов с целью управления движением тележки.
Пожалуйста, не надо говорить о том, что для этого вполне сойдет ИНС гораздо меньшего размера. Это и так понятно. Сколько времени будет обучаться сеть из нескольких сот тысяч нейронов? Сколько времени потребуется любому итерационному алгоритму для подбора коэффициентов для всех связей такой сети? На всякий случай подскажу, что каждый нейрон образует порядка десяти тысяч связей.

Ну это очень простой вопрос По моему глубокому убеждению, нисколько. Потому что решить такую задачу на сегодняшнем уровне развития теории ИНС, знаний о функционировании мозга и развития вычислительной техники просто невозможно.

Peschansky в сообщении #258794 писал(а):

Я привел пример с этой принципиально несложной для нейросети задачей для того, что бы продемонстрировать насколько импотентной оказывается классическая теория нейросетей для реальных, а не учебных (совсем маленьких) задач. Как только требуется увеличение количества нейронов на пару порядков, нейросеть становится настолько медленной в обучении, что просто не имеет никакой ценности для практики.

Вы привели пример задачи, которую не может решить ни искусственная, ни естественная нейросеть. И что Вы этим доказали? Только то, что эта задача, возможно, вообще не для нейросети. Есть же, в конце концов, теория автоматического управления, теория идентификации объектов управления и т.п. Нельзя же все задачи решать с помощью одного инструмента.

Peschansky в сообщении #258794 писал(а):

Но если бы мы могли построить искуственную сеть работающую по принципам живого мозга, а не по принципам современной теории нейросетей, то она производила бы любые вычисления лучше обычного компьютера уже потому, хотя бы, что делала бы это тысячами, а может и миллионами параллельных аналоговых потоков, а не линейным алгоритмом шаг за шагом преобразующим последовательно бит за битом.

И все-таки, чем миллион параллельных аналоговых потоков лучше миллиона параллельных цифровых?

Peschansky в сообщении #258794 писал(а):

Maslov в сообщении #258716 писал(а):
Peschansky в сообщении #258660 писал(а):
Во-первых, это наличие "внешнего учителя" - некоего внешнего алгоритма, который производит настройку весов всех нейронов сети анализируя ошибки всей сети. В ткани мозга нет такого "учителя".
Вы уверены? Нейрон - это отдельная маленькая клеточка, не имеющая информации о том, к какому результату привело её "срабатывание".

От куда вы это знаете? Вы же не знаете, что уже открыто в области нейрофизиологии. Более того, по словам PAV вы этого и знать не хотите.

Пожалуйста, если Вас не затруднит, укажите точную цитату, в которой PAV утверждает, что я не хочу чего-то знать. Если у Вас сложилось впечатление, что я - тот самый "чванливый математик", который за всё в ответе, то уверяю Вас - это ошибочное мнение.

Цитата:

Вы делаете этот вывод, видимо, в связи с тем, что не видите явной обратной связи в таком нейроне. Конечно это так, если говорить о модели нейрона принятой в теории нейросетей. Вот вам один ложный постулат классической теории. Но в живой клетке, по всей видимости все обстоит иначе. Может, стоит поискать иную обратную связь?

Да, я не вижу такой обратной связи в одиночном живом нейроне. Если Вы такую связь видите, приведите, пожалуйста, хоть какие-нибудь доказательства.
Очень хочется наконец услышать что-нибудь конкретное.

Peschansky в сообщении #258794 писал(а):

Любая память на нейросети ведет только к классификации и в целом формирует некую модель. Тут нет разницы между ИНС и нейросетью живой. Что вы понимаете под запоминанием? Я сформулирую то, что сам вкладываю в это понятие:

Пусть мы имеем некую выборку пар входных и выходных образов. Под термином запоминание я понимаю обучение нейросети отдельной такой паре, т.е. создание ассоциативной связи для одной такой пары вход-выход.

Заметьте, я не говорю, что необходимо обучать нейросеть всей выборке сразу так, как этого требуют большинство моделей классической теории (еще одна очаровательная особенность классических ИНС). Вот вам еще одна ложная предпосылка классической теории. Живая ткань мозга может обучаться таким парам последовательно, а не разом и итерационно. Запомнил одну пару, поработал над другим спокойно, потом запомнил вторую пару (не прибегая при этом к первой), а первая при этом, представьте, не стерлась!

А зачем для решения такой задачи пользоваться нейросетью?
Или Вы считаете, что если в природе задача запоминания решается с помощью естественной НС, то мы обязательно должны применять для её решения искусственную? Или вообще все задачи, стоящие перед человечеством, надо решать исключительно с помощью ИНС?

Честно говоря, я не очень понимаю, в чём состоят Ваши претензии к теории ИНС. И уж совсем не понимаю причин, по которым Вы возлагаете на меня лично вину за текущее состояние дел в этой области.

Вы считаете, что в нейрокомпьютинге есть необходимось в дальнейших исследованиях? Так с этим никто не спорит. Вы готовы предложить новые нейросетевые парадигмы? Все будут только рады. Вы считаете, что при моделировании умственной деятельности большой вклад может внести нейрофизиология? Так это тоже общее место. Вы хотите предложить всем ученым, работающим в этой области, бросить все свои дела и переключиться на изучение работы живого мозга? Но даже на сегодняшнем уровне развития ИНС достаточно успешно используются при решении целого ряда задач -- эти задачи тоже нельзя бросить на произвол судьбы .

Выступления на тему "Генетика - продажная девка империализма" -- это, конечно, дело хорошее, но из конкретных предложений от Вас пока поступило только одно -- отказаться от обучения с учителем (правда, безо всякой конструктивной составляющей). Это все Ваши идеи?

[Xey]

Peschansky в сообщении #258794 писал(а):

Уже строят своего рода киборги из машин управляемых таким кусочком кортекса крысы. Эта система легко обучается и начинает распознавать зрительные образы управляя движением тележки.

Речь шла о замене в схеме управления тележкой нескольких полупроводниковых нейронов биологическими , к которым подсоединили провода.

[Maslov]

Xey в сообщении #258891 писал(а):

Речь шла о замене в схеме управления тележкой нескольких полупроводниковых нейронов биологическими , к которым подсоединили провода.

Спасибо, Xey.

Peschansky в сообщении #258794 писал(а):

Уже строят своего рода киборги из машин управляемых таким кусочком кортекса крысы. Эта система легко обучается и начинает распознавать зрительные образы управляя движением тележки.

Нашёл статью на эту тему в New Scientist: Rise of the rat-brained robots.
Как я понял, изучалась проводимость электрического импульса средой из нейронов мозга крысы. После того, как были найдены участки, проводящие импульс с высокой воспроизводимостью, на вход таких участков подавался сигнал с датчика "стена рядом", а выходной сигнал снимался на исполнительный механизм управления колесами.
Другими словами, это не нейроны "учились" управлять тележкой, а люди учились использовались структуры, спонтанно сформировавшиеся в нейронной среде, для передачи электрического импульса. С точки зрения исследования механизмов распространения импульса в мозге и процессов ассоциации одиночных нейронов в более сложные структуры результаты, конечно, интересные, но ни о каком обучении живых нейронов распознаванию зрительных образов речь не идёт. От того, что мы прозвонили многожильный кабель и выяснили соответствие концов, кабель этот ничему не научился и умнее не стал .

Есть там, правда, еще загадочная фраза

Цитата:

After the selected stimuli have been applied a few times, certain behaviours become embedded in the culture for some hours.

но подробностей на эту тему вообще никаких не приводится.

Ну а кроме этого, то, что публикует New Scientist, надо делить на два - это сугубо научно-популярное издание.

Уважаемый Peschansky, если говоря об использовании фрагмента мозга крысы для управления тележкой, Вы имели в виду какие-то другие эксперименты, приведите, пожалуйста, ссылки на соответсвующие публикации в научной прессе.

[Xey]

Peschansky в сообщении #258794 писал(а):

Скажите пожалуйста, только четко, быстрая память, как явление существует? Сколько, по вашему, надо смотреть на предмет, что бы запомнить его форму?

Даже пока мы смотрим, мы воспринимаем не то что видим. Видим край чашки в виде эллипса и говорим - чашка круглая.
Казалось бы проще нарисовать то что перед глазами, но история изобразительного искусства говорит обратное - сначала (на скалах, на иконах) рисовали схематично. И запоминать в виде усвоенной схемы проще.

А сколько надо смотреть на иероглиф (если ранее не приходилось иметь дело), чтобы его запомнить?

[Peschansky]

Maslov в сообщении #258828 писал(а):

...Если у Вас сложилось впечатление, что я - тот самый "чванливый математик", который за всё в ответе, то уверяю Вас - это ошибочное мнение...

Maslov в сообщении #258828 писал(а):

...И уж совсем не понимаю причин, по которым Вы возлагаете на меня лично вину за текущее состояние дел в этой области...

Это ужасная ошибка, если вы полагаете, что я говорил или даже думал что-то подобное о вас лично! По моему, я нигде даже не намекал на такое.
Я решил высказаться на этом форуме прочтя вопросы и высказывания некоторых участников. У меня сложилось впечатление негативного отношения к теории нейросетей, как к научной дисциплине в связи с ее ограниченностью, а одновременно нежеланием многих специалистов видеть между этой теорией и нейрофизиологией ничего общего. У людей, на мой взгляд, могло сложиться ложное впечатление из которого они сделали бы ложные заключения. Я лишь хотел показать, что теория эта, в нынешнем ее состоянии, совершенно не является показателем перспективности или неперспективности дальнейших исследований в области моделирования нейросетей и искусственного интеллекта.

Maslov в сообщении #258828 писал(а):

Peschansky в сообщении #258794 писал(а):

...Вы же не знаете, что уже открыто в области нейрофизиологии. Более того, по словам PAV вы этого и знать не хотите.

Пожалуйста, если Вас не затруднит, укажите точную цитату, в которой PAV утверждает, что я не хочу чего-то знать.

PAV в сообщении #258524 писал(а):

Фактически Вы заявляете, что если ставить себе цель создать систему по принципам, по которым устроен мозг, то нужно изучать, как устроен мозг. Это банальность. Однако Вам уже объясняли, что такие цели мало кто преследует.

Конечно, тут не указано лично ваше имя. Но, думаю, обобщение должно включать и вас, как представителя академической науки.
Хотя, возможно, предполагалось, что вы как раз и есть "мало кто".

Знаете что, если честно, я бы хотел обсуждать нейросети, а не подозрения и домыслы о личных намеках.

Maslov в сообщении #258828 писал(а):

...На мой взгляд, тут скорее можно говорить о следующем: в течение сотен миллионов лет в процессе эволюции живого мира была создана и обучена нейронная сеть (мозг котенка, человека и т.п.), умеющая решать достаточно широкий класс проблем, в частности, ассоциировать видимый образ объекта с болевым ощущением и строить дальнейшее поведение таким образом, чтобы этого болевого ощущения избегать.
Другими словами, те реакции, о которых Вы говорите, - это не обучение нейронной сети, а работа нейронной сети, уже обученной.

При рождении мозг действительно уже в довольно значительной степени обучен. Что само по себе является уже интересным парадоксом для генетики. Но утверждение, что все реакции - это не обучение нейронной сети, а работа уже обученной нейронной сети, заведомо ложное. При возникновении болевой реакции на ежа у котенка возникает довольно сложная система ассоциативных связей. С одной стороны он запоминает образ ежа. Ну не родился же он со знанием того, как выглядит именно еж. Конечно, процесс обработки визуальной информации, а именно сама способность увидеть ежа, обеспечивается тем, что зрительный центр мозга уже обучен. Но разложенное "по полочкам" изображение ежа еще необходимо запомнить, что бы в дальнейшем как раз и классифицировать его (распознать) увидев вновь. Таким образом, зрительная память предполагает два этапа: первичный анализ зрительной информации (на этом этапе работают обученные от рождения участки мозга), а затем формирование абстрактного образа в памяти (тут просто необходимо запоминать полученную, предварительно обработанную, информацию). В результате кот получает возможность распознавать конкретно ежа. По моему, это классический пример обучения нейросети, которая осуществляет в дальнейшем функции классификации. Тут пока и речи нет о факторах поощрения и наказания. Или вы хотите сказать, что мы просто не видим, т.к. не можем запомнить, нейтральных предметов, т.е. тех, что ни причиняют ни боли, ни удовольствия?
Возникновение ассоциативной связи между образом ежа и болью - это еще один тип памяти. В конце концов, котенок сперва не боялся ежа, следовательно этой информации от рождения в его мозге просто не было.

Мне кажется, я понимаю причину по крайней мере одного нашего с вами взаимонепонимания.
Предполагаю, что вы понимаете обучение нейросети, как многопараметрическую задачу нелинейной оптимизации. Я же смотрю на этот процесс с иного ракурса, хотя между моим взглядом и тем, что я предполагаю у вас нет противоречий.
Я понимаю обучение нейросети, как формирование системы ассоциативных связей между входными и выходными образами обучающей выборки. Если рассматривать обучение, исключительно, как многопараметрическую задачу нелинейной оптимизации, то при достижении оптимума, мы как раз и получим систему ассоциативных связей между входными и выходными образами. Правда, одновременно мы получим и аппроксимационную модель, но это - замечательный системный эффект обучения нейросетей. Так что нет разницы, в случае нейросетей, говорить о многопараметрической задаче нелинейной оптимизации или создании ассоциативных связей. Любая ассоциативная связь формируется в мозге, а там нет магнитных или иных носителей последовательной информации. Все сохраняется лишь в виде ассоциативных связей.

Maslov в сообщении #258828 писал(а):

Нашёл статью на эту тему в New Scientist: Rise of the rat-brained robots...
...Есть там, правда, еще загадочная фраза

Цитата:

After the selected stimuli have been applied a few times, certain behaviours become embedded in the culture for some hours.

но подробностей на эту тему вообще никаких не приводится.

Ну а кроме этого, то, что публикует New Scientist, надо делить на два - это сугубо научно-популярное издание.

Уважаемый Peschansky, если говоря об использовании фрагмента мозга крысы для управления тележкой, Вы имели в виду какие-то другие эксперименты, приведите, пожалуйста, ссылки на соответсвующие публикации в научной прессе.

Нет, все что я видел на эту тему касалось как раз этой работы. Не понимаю, чем Kevin Warwick не внушает вам доверия? Это ученый многими работами сформировавший свою репутацию. Или он лжет из злого умысла против теории ИНС?

Maslov в сообщении #258828 писал(а):

Peschansky в сообщении #258794 писал(а):

Пожалуйста, ответьте четко и точно, сколько времени потребуется какой нибудь классической нейросети построенной из нескольких сот тысяч нейронов для обучения распознаванию нескольким сотням образов с целью управления движением тележки...

Ну это очень простой вопрос По моему глубокому убеждению, нисколько. Потому что решить такую задачу на сегодняшнем уровне развития теории ИНС, знаний о функционировании мозга и развития вычислительной техники просто невозможно.

Вот именно это я и хотел сказать. За несколько десятилетий развития теории ИНС так и не получили ни одной идеи, как преодолеть экспоненциальный рост времени обучения в зависимости от размеров сети. А именно это и не позволяет формировать ИНС такого размера. Что касается технической базы, то тут препятствий нет. Вспомните хотя бы количество элементов используемых в современных процессорах. Так что 10 тыс. нейронов (объем одного neocortical column), например, реализовать на одном чипе можно было бы без особого труда.

Maslov в сообщении #258828 писал(а):

Peschansky в сообщении #258794 писал(а):

Я привел пример с этой принципиально несложной для нейросети задачей для того, что бы продемонстрировать насколько импотентной оказывается классическая теория нейросетей для реальных, а не учебных (совсем маленьких) задач. Как только требуется увеличение количества нейронов на пару порядков, нейросеть становится настолько медленной в обучении, что просто не имеет никакой ценности для практики.

Вы привели пример задачи, которую не может решить ни искусственная, ни естественная нейросеть. И что Вы этим доказали? Только то, что эта задача, возможно, вообще не для нейросети. Есть же, в конце концов, теория автоматического управления, теория идентификации объектов управления и т.п. Нельзя же все задачи решать с помощью одного инструмента.

Построение аппроксимационной модели на основе обучающей выборки с большим числом переменных и использование этой модели для прогнозирования, аппроксимации и управления - разве это не задача для нейросети? Как мне объяснили представители этой финской компании, другие математические методы не позволили им построить удовлетворительную модель при таком большом числе переменных и их специфических условиях.

Maslov в сообщении #258828 писал(а):

Peschansky в сообщении #258794 писал(а):

Но если бы мы могли построить искуственную сеть работающую по принципам живого мозга, а не по принципам современной теории нейросетей, то она производила бы любые вычисления лучше обычного компьютера уже потому, хотя бы, что делала бы это тысячами, а может и миллионами параллельных аналоговых потоков, а не линейным алгоритмом шаг за шагом преобразующим последовательно бит за битом.

И все-таки, чем миллион параллельных аналоговых потоков лучше миллиона параллельных цифровых?

Что вы имели в виду, когда говорили о миллионах параллельных цифровых потоков? Вы имели в виду цифровую реализацию нейросети, или многопроцессорную систему на миллионах процессоров? Если вы имели в виду многопроцессорную систему, то самые большие из таких систем включают максимум несколько десятков тысяч процессоров (Blue Gene, например), а стоят при этом просто астрономически. Да и обслуживание таких машин обходится в большую копеечку. Но самое главное - неразрешимой остается проблема разработки многопоточных алгоритмов, как я уже писал (хоть это и банально). Если же вы говорили о нейросетях, то современная теория ИНС просто исключает возможность создания сетей такого размера, что бы там проходили миллионы параллельных потоков и не важно цифровых или аналоговых. Хотя, если говорить о скорости, то аналоговый универсальный компьютер, построенный на основе нейросети, выглядит намного привлекательнее лично для меня.

Maslov в сообщении #258828 писал(а):

Peschansky в сообщении #258794 писал(а):

Вы делаете этот вывод, видимо, в связи с тем, что не видите явной обратной связи в таком нейроне. Конечно это так, если говорить о модели нейрона принятой в теории нейросетей. Вот вам один ложный постулат классической теории. Но в живой клетке, по всей видимости все обстоит иначе. Может, стоит поискать иную обратную связь?

Да, я не вижу такой обратной связи в одиночном живом нейроне. Если Вы такую связь видите, приведите, пожалуйста, хоть какие-нибудь доказательства.
Очень хочется наконец услышать что-нибудь конкретное.

Еще раз повторюсь, что целью моей было лишь показать недостаточную информационную основу современной теории ИНС. Конечно, это деструктивные заявления, т.к. взамен я ничего предложить пока не могу, но делал я это лишь для того, что бы убрать иллюзию завершенности современной теории. Люди спрашивали, как может помочь теория в изучении мозга или в ИИ, а им отвечали: никак. Это неправда. Если внести изменения в теорию, это может привести к значительному прорыву.
Касательно обратной связи могу сказать лишь, что в нейроне и вокруг него протекают тысячи различных процессов связанных с переносом, почему за сигнал приняли лишь протекающий по аксону в прямом направлении разряд? Потому, что это предложили еще в сороковых годах Мак-Каллок и Питтс. И с тех пор никто из математиков даже не предположил, что сигналы могут быть реализованы не только этим единственным процессом. Более того, если уж говорить об электрическом разряде, то возникает он не в соме, как о том говорит давно отошедшая от нейрофизиологии теория ИНС, а в самом аксоне и протекает не только в прямом направлении по аксону, но и в обратном по дендритам!!! Может стоит все же повнимательней обратить свой взор на природу?
На самом деле как раз этими исследованиями мы и занимаемся в Германии. Моя эмоциональность в этом обсуждении связана с тем, что абсолютно все представители классической теории ИНС реагируют на реальные и очевидные факты из нейрофизиологии одинаково - полным равнодушием. Ну, возможно, это для того, что бы мы сами могли чего либо добиться.

Maslov в сообщении #258828 писал(а):

Peschansky в сообщении #258794 писал(а):

...Живая ткань мозга может обучаться таким парам последовательно, а не разом и итерационно. Запомнил одну пару, поработал над другим спокойно, потом запомнил вторую пару (не прибегая при этом к первой), а первая при этом, представьте, не стерлась!

А зачем для решения такой задачи пользоваться нейросетью?
Или Вы считаете, что если в природе задача запоминания решается с помощью естественной НС, то мы обязательно должны применять для её решения искусственную? Или вообще все задачи, стоящие перед человечеством, надо решать исключительно с помощью ИНС?

Меня несколько удивляют ваши вопросы. Во-первых, что за странный вопрос обо "всех задачах, стоящих перед человечеством"? Я где-то говорил, что летать на Луну или перегонять нефть надо с помощью нейросети? Почему стоит использовать нейросеть для очень многих процессов связанных с обработкой информации я пояснить могу. Помимо тех задач, где преимущества от применения нейросети очевидны и вам из современной теории ИНС.

• Как новый тип процессора (я уже об этом говорил) это позволит проводить практически любые вычисления множеством параллельных потоков, что сразу на много порядков повысит скорость вычислений.
• Новый тип памяти -ассоциативная память. Американцы и японцы, например, уже лет тридцать бьются над ассоциативной памятью, в том числе на основе нейросети. Дело в том, что вся современная память имеет адресную природу. Какая нибудь планка всего на 2 Gb адресует более 17 миллиардов бит! Каждый из которых реализован и адресован физически. Так вот дефект всего в одном бите из этих 17 миллиардов приводит к тому, что планка памяти целиком отбраковывается. А теперь подсчитайте надежность такого производства. Брак там приближается к 100%. Хорошая память в таком производстве скорее исключение. Вот от куда складывается высокая себестоимость, а следовательно и стоимость такой памяти.
  Если же использовать нейросеть, как ассоциативную память, где информация не адресуется побитово, а вычисляется по ассоциативной нейросетевой связи, то надежность такой памяти становится почти абсолютной, а брак падает до 0%. Дело в том, что если выйдет из строя один нейрон, другие возьмут на себя его функции. Потоки будут просто обтекать стороной дефектный участок. Дефекты в нейронах будут приводить не к выходу всей схемы из строя, как это происходит сейчас, а лишь к уменьшению общего объема памяти. Как думаете, имеет смысл применять тут нейросети?
• Новый тип баз данных - хранение информации на основе нейросети позволяет создать базы данных абсолютно нового типа. Представьте базу неиндексированных данных. Единственный способ найти что либо в такой базе данных - это методично перебрать все записи одну за другой. А если этих записей огромное количество? На это потребуется огромное время. А теперь представьте, что данные эти записаны на нейросети в виде ассоциативных связей. Поиск нужной информации будет происходить не в виде перебора всех записей, а путем вычисления (распознавания) нужной информации всего за один шаг. Как думаете такое ускорение при работе с базами данных имеет смысл?

Я могу продолжать этот список очень долго. Скажу лишь, что создание модели сети не ограниченной размерами, как в современной теории ИНС, позволяет с огромной выгодой перестроить архитектуру почти всего компьютера.

Maslov в сообщении #258828 писал(а):

Вы считаете, что в нейрокомпьютинге есть необходимось в дальнейших исследованиях? Так с этим никто не спорит. Вы готовы предложить новые нейросетевые парадигмы? Все будут только рады. Вы считаете, что при моделировании умственной деятельности большой вклад может внести нейрофизиология? Так это тоже общее место. Вы хотите предложить всем ученым, работающим в этой области, бросить все свои дела и переключиться на изучение работы живого мозга? Но даже на сегодняшнем уровне развития ИНС достаточно успешно используются при решении целого ряда задач -- эти задачи тоже нельзя бросить на произвол судьбы .

Я повторюсь, что никому ничего не собирался предлагать. В беседу я вступил лишь для того, что бы прояснить ситуацию, на сколько я это понимаю, для тех, кто задавал вопросы. А на счет "все готовы и все рады", могу сказать, что тут вы не правы и зря делаете обобщения. Чаще всего мы слышим как раз: "Вам уже объясняли, что такие цели мало кто преследует".

Xey в сообщении #258959 писал(а):

Peschansky в сообщении #258794 писал(а):

Скажите пожалуйста, только четко, быстрая память, как явление существует? Сколько, по вашему, надо смотреть на предмет, что бы запомнить его форму?

Даже пока мы смотрим, мы воспринимаем не то что видим. Видим край чашки в виде эллипса и говорим - чашка круглая.
Казалось бы проще нарисовать то что перед глазами, но история изобразительного искусства говорит обратное - сначала (на скалах, на иконах) рисовали схематично. И запоминать в виде усвоенной схемы проще.

А сколько надо смотреть на иероглиф (если ранее не приходилось иметь дело), чтобы его запомнить?

И что, по вашему это означает, что мозг не способен ничего запоминать?

[Maslov]

Peschansky в сообщении #259088 писал(а):

Это ужасная ошибка, если вы полагаете, что я говорил или даже думал что-то подобное о вас лично! По моему, я нигде даже не намекал на такое.

Хорошо, будем считать, что ваше "вы этого и знать не хотите" носит собирательный характер Причина путаницы, наверное, состоит в том, что я, к сожалению, никак не могу отнести себя к представителям ни академической науки, ни науки вообще - моя основная деятельность связана с разработкой программного обеспечения; просто мне приходилось участвовать в проекта, связанных с использованием нейросетевых технологий (в "узком" смысле этого слова).

Цитата:

У людей, на мой взгляд, могло сложиться ложное впечатление из которого они сделали бы ложные заключения. Я лишь хотел показать, что теория эта, в нынешнем ее состоянии, совершенно не является показателем перспективности или неперспективности дальнейших исследований в области моделирования нейросетей и искусственного интеллекта.

Тут я с Вами абсолютно согласен. Но изначально в этой теме высказывалось мнение о том, что ИНС именно в их теперешнем состоянии ни на что не годны. Так вот с этим я не согласен совершенно.

Peschansky в сообщении #259088 писал(а):

Но утверждение, что все реакции - это не обучение нейронной сети, а работа уже обученной нейронной сети, заведомо ложное.

Про "все" я нигде не утверждал.

Peschansky в сообщении #259088 писал(а):

При возникновении болевой реакции на ежа у котенка возникает довольно сложная система ассоциативных связей. С одной стороны он запоминает образ ежа. Ну не родился же он со знанием того, как выглядит именно еж.

Нет он не родился со знанием того, как выглядит именно еж. Но у него есть врожденная способность ассоциировать источник боли с визуальным образом объекта и избегать этот объект в дальнейшем.

Peschansky в сообщении #259088 писал(а):

Тут пока и речи нет о факторах поощрения и наказания. Или вы хотите сказать, что мы просто не видим, т.к. не можем запомнить, нейтральных предметов, т.е. тех, что ни причиняют ни боли, ни удовольствия?

Боль - это и есть один из основных факторов наказания в живой природе; самый основной фактор - это гибель организма до того, как он произведет потомство.

Peschansky в сообщении #259088 писал(а):

Нет, все что я видел на эту тему касалось как раз этой работы. Не понимаю, чем Kevin Warwick не внушает вам доверия? Это ученый многими работами сформировавший свою репутацию. Или он лжет из злого умысла против теории ИНС?

Я не говорю о том, что он не внушает мне доверия. Я просто не вижу, где он говорит о том, что ему удалось встроить фрагмент мозга крысы в качестве системы распознавания визуальных образов в управление движением тележкой.
А доверия мне не внушают журналисты, пишущие на научные (как, впрочем, и на любые другие ) темы. Именно поэтому я спрашивал Вас о ссылке на научное издание, в котором изложены результаты этих экспериментов.

Peschansky в сообщении #259088 писал(а):

Построение аппроксимационной модели на основе обучающей выборки с большим числом переменных и использование этой модели для прогнозирования, аппроксимации и управления - разве это не задача для нейросети? Как мне объяснили представители этой финской компании, другие математические методы не позволили им построить удовлетворительную модель при таком большом числе переменных и их специфических условиях.

Я не знаю. То, что другие методы не позволили решить эту задачу, еще не означает что этот позволит.

Peschansky в сообщении #259088 писал(а):

На самом деле как раз этими исследованиями мы и занимаемся в Германии. Моя эмоциональность в этом обсуждении связана с тем, что абсолютно все представители классической теории ИНС реагируют на реальные и очевидные факты из нейрофизиологии одинаково - полным равнодушием.

Спасибо, теперь я понял Вашу эмоциональность (никакой иронии в моих словах нет). Мне просто кажется, Вы обратились не по адресу. Исследователи ИНС - это математики (или, скорее, специалисты по Computer Science), изучающие возможности применения определенного класса математических моделей для решения определенного класса задач. И скорее всего, их действительно не очень интересует, как работает мозг и насколько возможно построить нейронную сеть по биологическим принципам. И не надо их в этом обвинять: у них просто другие цели и задачи. Да, их модели выросли из отдаленной аналогии с живым нейроном, и в названии области, в которой они работают, есть слово "нейро", но на этом, как мне кажется, связь и заканчивается.
Кстати, а Вы не пробовали пообщаться с нейрофизиологами и попытаться увлечь их своими идеями?

Peschansky в сообщении #259088 писал(а):

Как новый тип процессора (я уже об этом говорил) это позволит проводить практически любые вычисления множеством параллельных потоков, что сразу на много порядков повысит скорость вычислений.

Как Вы себе представляете это "сразу"? Где-то есть опытный образец вычислительной установки (я имею в виду, в кремнии, а не в голове), построенной по такому принципу?

Peschansky в сообщении #259088 писал(а):

Дело в том, что вся современная память имеет адресную природу.

Это не так. Кэш-память в современном процессоре построена именно по ассоциативному принципу.

Peschansky в сообщении #259088 писал(а):

Какая нибудь планка всего на 2 Gb адресует более 17 миллиардов бит! Каждый из которых реализован и адресован физически. Так вот дефект всего в одном бите из этих 17 миллиардов приводит к тому, что планка памяти целиком отбраковывается. А теперь подсчитайте надежность такого производства. Брак там приближается к 100%.

Дайте, пожалуйста, ссылку. Я буду очень сильно удивлен, если окажется, что современные линии по производству оперативной памяти производят более 1% брака.

Peschansky в сообщении #259088 писал(а):

Если же использовать нейросеть, как ассоциативную память, где информация не адресуется побитово, а вычисляется по ассоциативной нейросетевой связи, то надежность такой памяти становится почти абсолютной, а брак падает до 0%. Дело в том, что если выйдет из строя один нейрон, другие возьмут на себя его функции. Потоки будут просто обтекать стороной дефектный участок. Дефекты в нейронах будут приводить не к выходу всей схемы из строя, как это происходит сейчас, а лишь к уменьшению общего объема памяти.

Ровно такая же схема используется и в современных компьютерах - при обнаружении сбойного участка памяти он выводится из использования и его функцию берут на себя другие участки.

Peschansky в сообщении #259088 писал(а):

Новый тип баз данных - хранение информации на основе нейросети позволяет создать базы данных абсолютно нового типа.

Есть какие-нибудь разработки на эту тему? Кроме этого, есть некоторые опасения, что БД, построенная по примеру мозга, и вспоминать будет, как мозг - то ли вспомнит, то ли нет; то ли то, что надо, то ли нет; то ли, когда надо, то ли нет .

Peschansky в сообщении #259088 писал(а):

И что, по вашему это означает, что мозг не способен ничего запоминать?

Да нет, это означает, что мозг способен запоминать только то, что он научен запоминать (в результате эволюции, как в случае с источником боли, или в результате длительного обучения конкретного экземпляра, как в случае с иероглифами).

[Nxx]

Цитата:

И это при том, что скорость работы мозга (его тактовая частота) - всего 1 kHz

Откуда эт известно? И что под "тактовой частотой" понимается?

[Peschansky]

Nxx в сообщении #270557 писал(а):

Цитата:

И это при том, что скорость работы мозга (его тактовая частота) - всего 1 kHz

Откуда это известно? И что под "тактовой частотой" понимается?

Это известно из нейрофизиологии (уже очень давно).
Под тактовой частотой тут понимается то же самое, что понимается в обычных компьютерах - частота импульсов в нейронах мозга, которые и осуществляют отдельные наименьшие шаги вычислений. Нейроны возбуждаются приблизительно 1000 раз в секунду (1 kHz). Более того, мозг работает удивительно синхронно, т.е. можно утверждать, что с такой частотой возбуждаются ансамбли нейронов всего мозга.

[Nxx]

Peschansky в сообщении #271286 писал(а):

Nxx в сообщении #270557 писал(а):

Цитата:

И это при том, что скорость работы мозга (его тактовая частота) - всего 1 kHz

Откуда это известно? И что под "тактовой частотой" понимается?

Это известно из нейрофизиологии (уже очень давно).
Под тактовой частотой тут понимается то же самое, что понимается в обычных компьютерах - частота импульсов в нейронах мозга, которые и осуществляют отдельные наименьшие шаги вычислений. Нейроны возбуждаются приблизительно 1000 раз в секунду (1 kHz). Более того, мозг работает удивительно синхронно, т.е. можно утверждать, что с такой частотой возбуждаются ансамбли нейронов всего мозга.

Как же тогда мозг воспринимает звук до 20 кГц?

И есть ли какое-то научное название у "тактовой частоты мозга", чтобы посмотреть в англоязычных источниках?