Мозг и нейронные сети

[arseniiv]

Emergency в сообщении #1461181 писал(а):

arseniiv в сообщении #1461173 писал(а):

ДНК тоже практически целиком одинакова, даже если взять не двух людей, а человека и например кошку — или мошку, и там можно ещё далеко растянуть, вроде даже две произвольные эукариотические клетки имеют большую часть одинаковой ДНК, но не помню сколько точно.

Тем не менее, анализ ДНК позволяет весьма точно определять отцовство/материнство или родственные отношения (не с мошками).

Иии?..

[Emergency]

arseniiv в сообщении #1461201 писал(а):

Иии?..

И все люди разные. Ну и мозги, естественно. Вспомните школу, неужели у вас не было тупых?

[arseniiv]

Emergency в сообщении #1461223 писал(а):

И все люди разные. Ну и мозги, естественно.

Разные, никто не отрицал. Но «все люди разные» — настолько же информативное высказывание как и «всё связано со всем».

Emergency в сообщении #1461223 писал(а):

Вспомните школу, неужели у вас не было тупых?

Как вы сами выше писали, быть способным и воплотить в реальность — две разницы, так что даже если я наобум выделю класс тупых одноклассников (на самом деле у меня уже недостаточно информации чтобы такое проделывать), это ещё ничего толком не скажет. Мало ли что человек хотел делать вместо принятия игры в школу, в голову ему не влезешь и за бытом как следует не проследишь.

[Emergency]

arseniiv в сообщении #1461245 писал(а):

Мало ли что человек хотел делать вместо принятия игры в школу, в голову ему не влезешь и за бытом как следует не проследишь.

Вы, конечно, правы. Кто-то хотел играть в футбол, кто-то воровать, кто-то просто болтаться на улице, кто-то замуж и рожать...
Но это доказывает только то, что люди разные, и мозги у них устроены по-разному.

[Утундрий]

Emergency в сообщении #1461250 писал(а):

это доказывает только то, что люди разные, и мозги у них устроены по-разному.

С этим тезисом уже неоднократно согласились, но продолжайте его высказывать и дальше. Вдруг найдутся несогласные и можно будет наконец поспорить?

[Beliak]

Mihaylo в сообщении #1461089 писал(а):

Любой метод машинного обучения (в т.ч. нейросети) всегда имеет очень эффективные обратные связи, даже если в его названии присутствуют слова "прямое распространение". А корректировка гиперпараметров (весов) - это что?

Вы не согласны с тем, что сети прямого распространения отличаются от рекуррентных сетей? Вот отличие — пункт первый и сразу второй.

Mihaylo в сообщении #1461089 писал(а):

Тут вам жизненно важно освоить новомодное понятие "программирование 2.0" - это когда не программист программирует, а машина сама себя программирует.
Что касаемо ограниченности алгоритма нейросетей, то это неправильное суждение. Ведь математически доказано, что какой-то детский трехслойный перцептрон может аппроксимировать любую непрерывную функцию. А что, если рассмотреть структуры с сотнями тысяч гиперпараметров? Я уверен, Вам хватит для любой задачи.

Что ответить человеку, который утверждает, что если котёл побольше поставить и дров побольше накидать, то паровоз с любой скоростью поедет? Очевидно, объяснить теорию относительности. То есть показать ситуацию в целом, выйти на новый уровень обобщений — где нет дров и паровозов, а есть зависимость пространственных и временных характеристик от скорости, «внутри» которых находятся сразу все возможные дрова, котлы и паровозы. Но если он вас не поймёт, то аргументов у вас не будет.

Потому что на уровне «дров и котлов» вам не поможет даже эксперимент, так как без теории любое наблюдение лишь частный случай, а показать «на практике», что сколько ни строй котлы, скорость света превысить не удастся, невозможно. То же и с искусственными нейронными сетями. На уровне которых никаких принципиальный препятствий для усложнения вроде бы не видно — всё можно представить просто временными техническими сложностями, а эксперимент — который покажет, что сколько мы ни стараемся, уровня человека достигнуть всё равно не получается — отнимет вечность.

Но, в отличие от «дров и котлов», с искусственными системами показать ситуацию «в целом» попроще. Если коротко, сложность всего, что мы создаём, ограничена нашими знаниями, то есть сложностью нашего интеллекта. Поэтому чтобы за этот предел выйти и стать сложнее нас, искусственные системы должны уметь усложняться сами, без нас. Мы усложняться сами можем, так как являемся диссипативными системами, и поэтому, например, смогли пройти путь от клетки к человеку и проходим его в каждом новом человеке. Особенность таких систем в том, что они способны усложняться без какого-либо специфического организующего воздействия извне, поэтому сложность диссипативных систем ничем, кроме возможностей природы, не ограничена. Но любые искусственные системы всегда так или иначе ограничены критериями, заданными человеком — от устройства до оценки результатов работы. Что это значит — см. выше.

Например, в нейронных сетях устройство не задано заранее в точности и потому, кажется, интеллект человека сложность сетей не ограничивает, так как их можно создавать наугад. Однако в противовес растёт сложность обучения и оценки решений сети, и эти критерии опять лежат «внутри» сложности интеллекта человека.

[Mihaylo]

Beliak в сообщении #1461305 писал(а):

Вы не согласны с тем, что сети прямого распространения отличаются от рекуррентных сетей?

Не согласен. На этих картинках не показывают и не комментируют наличие обратных связей - корректировки гиперпараметров (весов). Картинки неполные, для дилетантов сойдут.

Beliak в сообщении #1461305 писал(а):

Потому что на уровне «дров и котлов» вам не поможет даже эксперимент, так как без теории любое наблюдение лишь частный случай, а показать «на практике», что сколько ни строй котлы, скорость света превысить не удастся, невозможно. То же и с искусственными нейронными сетями. На уровне которых никаких принципиальный препятствий для усложнения вроде бы не видно — всё можно представить просто временными техническими сложностями, а эксперимент — который покажет, что сколько мы ни стараемся, уровня человека достигнуть всё равно не получается — отнимет вечность.

Что-то у вас человечек - пуп вселенной какой-то! Но это ж довольно ограниченное млекопитающее. Человек не обучается вечно и бесконечно, есть вполне ограниченные показатели скорости обучения и невысокий потенциал (существуют очень много задач, которые нерешаемы человеком). Откуда вообще такие антропоцентрические мысли???

Beliak в сообщении #1461305 писал(а):

Поэтому чтобы за этот предел выйти и стать сложнее нас, искусственные системы должны уметь усложняться сами, без нас.

Я не могу объяснить почему, но методы градиентной оптимизации в ИНС работают эффективнее, если структуру ИНС сделать изначально сложной нежели наращивать количество слоев и число нейронов в слоях. Возможно просто потому, что не придуманы хорошие алгоритмы наращивания ИНС. К тому же не совсем достоверно, что у биологических НС происходит постоянное наращивание и непонятно, насколько этот процесс важен в принципе.
А так подход простой: изначально обучаем ИНС со структурой конечной сложности. Конечная сложность структуры зависит от задачи и не является бесконечностью.
Современные ИНС глубокого обучения соревнуются между собой по числу слоев. Какой там рекорд?

Beliak в сообщении #1461305 писал(а):

Мы усложняться сами можем, так как являемся диссипативными системами, и поэтому, например, смогли пройти путь от клетки к человеку и проходим его в каждом новом человеке. Особенность таких систем в том, что они способны усложняться без какого-либо специфического организующего воздействия извне, поэтому сложность диссипативных систем ничем, кроме возможностей природы, не ограничена.

Не развешивайте ярлыки. Пока бездоказательно:
1. Что является диссипативными системами, а что не является ими.
2. Что свойство диссипативности важно для сабжа.

Beliak в сообщении #1461305 писал(а):

Но любые искусственные системы всегда так или иначе ограничены критериями, заданными человеком — от устройства до оценки результатов работы.

Это неправда.
Методы машинного обучения - программирование 2.0 - это самообучающиеся системы, то есть они неполностью создаются человеком. Это как выращивание ребенка, только вместо младенца - машина. Вот это действительно чудо! А человек - слабак, не может запрограммировать распознавание образов программами типа "если-то", нейронные сети ему подавай.

Beliak
Вы из философии? Почему бы вам не принять новую для себя, но правильную позицию? Отбросьте антропоцентрическое мировоззрение, оно неверно. Непонятно откуда оно берется, кажется это вырастает из самолюбия, самолюбования, самосозерцания. Чувства не дают нам принять правильную точку зрения.
С новым представлением можно строить новые философские направления.

-- 09.05.2020, 10:16 --

Давайте еще придем к такому консенсусу: мы сравниваем биологические и искусственные НС по принципиальным вопросам, а не по количественным характеристикам.
Есть довольно известное суждение: никто не собирается создавать ИНС по образу и подобию человека, это равнозначно тому, чтобы вместо самолета пытаться создать железную птицу с махающими крыльями и перьями.

[Emergency]

Beliak в сообщении #1461305 писал(а):

Мы усложняться сами можем, так как являемся диссипативными системами

Может быть я вас удивлю, но обычная электрическая лампочка или любая машина, тоже являются диссипативными системами.

Beliak в сообщении #1461305 писал(а):

сложность всего, что мы создаём, ограничена нашими знаниями, то есть сложностью нашего интеллекта. Поэтому чтобы за этот предел выйти и стать сложнее нас, искусственные системы должны уметь усложняться сами, без нас.

А кто вам сказал, что целью является сложность? До сих пор хватало функциональности. Например, простой экскаватор копает землю гораздо лучше сложного человека, а простой калькулятор гораздо лучше выполняет математические операции.

[Mihaylo]

Опережение машин будет происходить следующим образом: будет решаться все больше и больше задач, которые решаются человеком. Будет расти число этих решенных задач и качество этих решений.

Однако наверняка интересно, когда же произойдет некая сингулярность, когда можно будет сказать, что да, машины победили.

Ответ: мне кажется, что человек с обычными представлениями капитулирует в тот момент, когда одна машина будет решать ряд задач, свойственных человеку: распознавание образов, распознавание речи, синтез речи и самое главное - NLU (натуральное понимание языка). К сожалению NLU - это сложный путь копирования птицы, а не синтез принципиально чего-то нового (есть ведь более эффективные способы передачи информации). Победа машин будет не технической, а психологической. Вон некоторые уже сдались под натисками Яндекс Алисы и прочих голосовых помощников.

В этом смысле можно разделить дальнейшее техническое развитие ИНС в двух направлениях:
1. "Создание самолета" - превосходные характеристики при минимальных капитальных затратах. "Самолет" будет решать несколько другой круг задач, нежели те задачи, которые свойственны человеку.
2. "Копирование птицы" - сложный путь, но за него можно получать очень большие доходы, так как в мире имеется просто неисчерпаемый спрос на решение задач, свойственных человеку. В этом пути развития есть большая техническая проблема - необходимость повторения сенсомоторного опыта человека. То есть, чтобы машина действовала и мыслила почти как человек, требуется, чтобы у нее было два глаза, двое ушей, две ноги, две руки и пять пальцев на руках. Пальцы на руках имеют большое значение в сенсомоторном опыте. Если машина не попрыгает на батуте, ей нельзя будет объяснить, чем это отличается от стрельбы из лука. В интернете этой информации нет. Конец этого пути развития недостижим.

[Ende]

Дискуссия о потенциальной полезности человекоподобных роботов (включая огромных боевых) отделена.

[Emergency]

Mihaylo в сообщении #1461315 писал(а):

На этих картинках не показывают и не комментируют наличие обратных связей - корректировки гиперпараметров (весов).

Мне кажется, что нейронные сети так не работают. Обратная связь в сети из двоичных элементов переводит ее в режим генерации, а не корректировки параметров. Например, именно так задается сердечный ритм.

[Beliak]

Mihaylo в сообщении #1461315 писал(а):

Не согласен. На этих картинках не показывают и не комментируют наличие обратных связей - корректировки гиперпараметров (весов). Картинки неполные, для дилетантов сойдут.

Вы случайно не путаете обучение сети и обратный проход с архитектурой сети? Если первое само по себе не делает сеть динамической, то второе делает. Как следствие, возможности сети меняются. Нейронные сети. Полный курс. Глава 1.5 Обратная связь, глава 14.1 Введение и глава 15.1 Введение.

Mihaylo в сообщении #1461315 писал(а):

Что-то у вас человечек - пуп вселенной какой-то! Но это ж довольно ограниченное млекопитающее. Человек не обучается вечно и бесконечно, есть вполне ограниченные показатели скорости обучения и невысокий потенциал (существуют очень много задач, которые нерешаемы человеком). Откуда вообще такие антропоцентрические мысли???

Непосредственно о человеке речь и не идёт. Речь идёт о системах — одни могут усложняться без организующего воздействия извне, другие не могут. Поэтому первые могут существовать без вторых, а вторые без первых нет.

Mihaylo в сообщении #1461315 писал(а):

Я не могу объяснить почему, но методы градиентной оптимизации в ИНС работают эффективнее, если структуру ИНС сделать изначально сложной нежели наращивать количество слоев и число нейронов в слоях. Возможно просто потому, что не придуманы хорошие алгоритмы наращивания ИНС. К тому же не совсем достоверно, что у биологических НС происходит постоянное наращивание и непонятно, насколько этот процесс важен в принципе. А так подход простой: изначально обучаем ИНС со структурой конечной сложности. Конечная сложность структуры зависит от задачи и не является бесконечностью. Современные ИНС глубокого обучения соревнуются между собой по числу слоев. Какой там рекорд?

Не понял, что вы имели в виду. Сложность мозга, естественно, не бесконечна — хотя бы уже потому, что есть системы сложнее мозга, или один мозг, очевидно, может быть сложнее другого, следовательно, на любой мозг найдётся другой мозг, который сложнее него. Но вот если вы захотите сложность мозга оценить, то, думаю, у вас возникнут проблемы. Так как если мы в принципе не можем создать систему сложнее своего мозга, то сложность мозга — с той точки зрения, с которой мы оцениваем сложность каких-либо систем — по-видимому, должна быть бесконечной.

Mihaylo в сообщении #1461315 писал(а):

Не развешивайте ярлыки. Пока бездоказательно:
1. Что является диссипативными системами, а что не является ими.
2. Что свойство диссипативности важно для сабжа.

Работа диссипативных систем и их способность усложняться связана с интенсивным обменом со средой, как следствие, неравновесными состояниями, хаосом, флуктуациями и бифуркациями и в результате отличается высокой непредсказуемостью. Но непредсказуемость — это в целом именно то, чего в работе искусственных систем стараются избежать. В итоге, если интенсивный обмен со средой и тем самым непредсказуемость поведения есть необходимое условие организованного состояния диссипативных систем и их способности эволюционировать, то стремление к предсказуемости, наоборот, в той же степени ограничивает такие же возможности систем искусственных.

(Можно заметить, это именно то, о чём говорилось ранее, только «с другой стороны». Сложнее нас сможет стать только система, которая сможет усложняться без нас, то есть не будет зависеть от нас. Но это значит, и не будет нам понятна и потому в принципе не будет предсказуемой сколько-нибудь точно — так как предсказуемость, пусть даже не по факту, а в принципе, это потенциальная ограниченность нашими знаниями.)

И другой момент. Представьте снежный пласт на горном склоне. Весь пласт как целое находится в состоянии неравновесия. В результате бесконечно малое изменение условий может в какой-то момент привести к сходу снежной лавины. Иначе говоря, поведение системы изменится целостно — вниз сорвётся сразу весь пласт. Аналогично происходит эволюция диссипативных систем — усложняется сразу вся система как целое. Способны на это, например, часы, компьютеры или искусственные нейронные сети? Вот поэтому без нас искусственные системы развиваться не смогут.

Mihaylo в сообщении #1461315 писал(а):

Это неправда.
Методы машинного обучения - программирование 2.0 - это самообучающиеся системы, то есть они неполностью создаются человеком. Это как выращивание ребенка, только вместо младенца - машина. Вот это действительно чудо! А человек - слабак, не может запрограммировать распознавание образов программами типа "если-то", нейронные сети ему подавай.

Под «создаются не полностью» вы что имеете в виду? Что работа системы не задана заранее в точности? Тогда прочитайте последнюю фразу поста выше. Работа нейронных сетей тоже не задана заранее в точности, но ограничений на их сложность это не отменяет.

Если подробнее, то...

Сложность детерминированных алгоритмов прямо ограничена нашими знаниями — это, полагаю, понятно. Сложность недетерминированных вроде бы нет, так как в них есть составляющая угадывания, случая. Однако если есть угадывание, то в противовес возникает составляющая отбора. Потому что если вы в принципе не можете систему рассчитать и потому вынуждены создавать её наугад, то и оценить её работу можно только по её решениям — то есть «снаружи», а не точно понимая смысл всех этапов переработки данных в решение.

В результате, по мере усложнения систем, их возможных вариантов будет становиться всё больше, работа будет всё менее понятной, а важность решений, наоборот, всё выше. Однако если работа системы непонятна, то доверять такой системе без предварительной проверки её решений может быть опасно. В то же время «важные решения» — это и всё более далёкие стратегии, разумность которых быстро проверить невозможно даже в принципе. В результате получается, что как выработано решение — непонятно, адекватна ли система вообще — тоже, сколько-нибудь полноценная предварительная проверка предлагаемых системой решений невозможна.

Таким образом, чем ближе сложность систем будет приближаться к сложности интеллекта человека, тем быстрее к бесконечности будет расти время, требуемое на их каждое новое усложнение, в итоге не позволяя приблизиться к сложности интеллекта человека сколько-нибудь близко. Как видите, «неограниченные» возможности нейронных сетей вполне сочетаются с невозможностью достигнуть ими сложности интеллекта человека.

Mihaylo в сообщении #1461315 писал(а):

Давайте еще придем к такому консенсусу: мы сравниваем биологические и искусственные НС по принципиальным вопросам, а не по количественным характеристикам. Есть довольно известное суждение: никто не собирается создавать ИНС по образу и подобию человека, это равнозначно тому, чтобы вместо самолета пытаться создать железную птицу с махающими крыльями и перьями.

Вот мы как раз по принципиальным и сравнили.

Emergency в сообщении #1461317 писал(а):

Может быть я вас удивлю, но обычная электрическая лампочка или любая машина, тоже являются диссипативными системами.

Не удивите и действительно являются. Только вы, видимо, имеете в виду диссипативные системы, а я — диссипативные системы. Это разные вещи.

[Mihaylo]

Beliak в сообщении #1461487 писал(а):

Вы случайно не путаете обучение сети и обратный проход с архитектурой сети? Если первое само по себе не делает сеть динамической, то второе делает. Как следствие, возможности сети меняются.

Я ничего не путаю. Я смотрю на систему целостно, а не лишь на прямой проход. Какой смысл смотреть на одну лишь структуру нейросети? Это неполная картинка.
Рекуррентные сети решают другие задачи нежели какие-нибудь MLP, CNN. MLP, CNN работают с массивами фиксированных размеров, RNN - с непрерывными потоками данными. Сравнивать их нет смысла.
И все они являются динамическими (и даже адаптивными) с точки зрения теории управления, но не в узком смысле Хайкина.

Beliak в сообщении #1461487 писал(а):

Речь идёт о системах — одни могут усложняться без организующего воздействия извне, другие не могут.

Вы сейчас о каких-то инопланетянах говорите? Человек без родителей, без яслей, без школы, без университета не может усложняться. Маугли же выйдет. А про инопланетян рассуждать неинтересно.

Beliak в сообщении #1461487 писал(а):

Не понял, что вы имели в виду.

Все просто: технически проще обучать нейросеть со сложной структурой, нежели начинать с простой структуры и наращивать ее. В сложной структуре нейросети в начале ее обучения большинство связей как бы атрофированы, не выполняют свою работу качественно, но потихоньку каждый нейрон начинает находить свой функционал. Это равнозначно росту структуры, на мой взгляд, и может быть аргументом в споре. То есть [само]развивающаяся структура нейросети не есть самоцель, не есть панацея. Еще раз повторюсь: обычная нейросеть успешно решает задачи. Не надо поклоняться всяким там динамическим нейросетям и нейросетям с динамическими структурами.

Beliak в сообщении #1461487 писал(а):

непредсказуемость поведения есть необходимое условие организованного состояния диссипативных систем и их способности эволюционировать, то стремление к предсказуемости, наоборот, в той же степени ограничивает такие же возможности систем искусственных.

Обычное бытовое недоразумение. Нейросети решают задачи оптимизации с четко установленным функционалом качества (минимизация среднеквадратичной ошибки или логарифма числа ошибок) и "непредсказуемость алгоритма" - это бред какой-то, а не решение задачи. Более того, вы совершаете типичную ошибку в рассуждениях, выделяя непредсказуемость как важное свойство интеллекта. Напротив, это порок несовершенных биологических систем, которые, находясь даже далеко от положения Буриданова осла, принимают непредсказуемые решения.

Beliak в сообщении #1461487 писал(а):

(Можно заметить, это именно то, о чём говорилось ранее, только «с другой стороны». Сложнее нас сможет стать только система, которая сможет усложняться без нас, то есть не будет зависеть от нас. Но это значит, и не будет нам понятна и потому в принципе не будет предсказуемой сколько-нибудь точно — так как предсказуемость, пусть даже не по факту, а в принципе, это потенциальная ограниченность нашими знаниями.)

Вы сейчас сказали все про нейросети. ) В коде нейросети несколько десятков циклов for, а какие разнообразные задачи этот код решает! Но нейросети предсказуемы, так как решают поставленные задачи. Но как они решают задачи - это можно анализировать, но обычно на это не тратят силы, так как весь смысл нейросетей и состоит в том, чтобы избавить человека от поиска решения сложной задачи. Можно резюмировать, что процесс поиска решения задачи непредсказуем.

Beliak в сообщении #1461487 писал(а):

Работа нейронных сетей тоже не задана заранее в точности, но ограничений на их сложность это не отменяет.

Сложность должна соответствовать сложности задачи, а не сферическому коню в вакууме. Если будет возможность машине повторить сенсомоторный опыт человека, то следует создать структуру с миллионами гиперпараметров. Вот и все. И не надо там бесконечностей никаких.

Beliak в сообщении #1461487 писал(а):

Таким образом, чем ближе сложность систем будет приближаться к сложности интеллекта человека, тем быстрее к бесконечности будет расти время, требуемое на их каждое новое усложнение, в итоге не позволяя приблизиться к сложности интеллекта человека сколько-нибудь близко. Как видите, «неограниченные» возможности нейронных сетей вполне сочетаются с невозможностью достигнуть ими сложности интеллекта человека.

Не знаю, это какая-то чепуха из пазухи. Цель - достигнуть человеческой сложности - это не задача науки и техники, а просто философская мысль.

Целью же науки и техники является решение задач экономики. И я уже говорил о двух направлениях: 1. "Создание самолетов". 2. "Имитация птичьего полета". Так вот близкое к этой философской мысли - "имитация птичьего полета" сталкивается со сложностью повторения сенсомоторного опыта человека, а не с "недостаточностью" самоусложняемости нейросети и др.

[Mihaylo]

Mihaylo в сообщении #1461512 писал(а):

"имитация птичьего полета" сталкивается со сложностью повторения сенсомоторного опыта человека

Извините, уточню мысль. Есть два решения:
а) имитация птичьего полета (махолет),
б) повторение птичьего полета (искусственная птица).

Так вот, по аналогии:
а) Имитация человеческого мышления (результат - дешевая подделка вроде нынешних голосовых помощников и чат-ботов)
б) Повторение человеческого мышления (требуется повторение сенсомоторного опыта человека!)

[Beliak]

Mihaylo в сообщении #1461512 писал(а):

Я ничего не путаю. Я смотрю на систему целостно ... И все они являются динамическими (и даже адаптивными) с точки зрения теории управления, но не в узком смысле Хайкина.

Это меняет дело. Я-то смотрел в узком (и общепринятом) смысле Хайкина.

Mihaylo в сообщении #1461512 писал(а):

Вы сейчас о каких-то инопланетянах говорите? Человек без родителей, без яслей, без школы, без университета не может усложняться. Маугли же выйдет. А про инопланетян рассуждать неинтересно.

Обучение человека — это не специфическое организующее воздействие извне. Таким воздействием будет только направленное вмешательство в его мозг. Даже обучение ИНС нельзя в полной мере назвать направленным вмешательством, так как оно имеет составляющую угадывания, из-за чего обучение сетей тоже относится к недетерминированным алгоритмам.

Mihaylo в сообщении #1461512 писал(а):

Все просто: технически проще обучать нейросеть со сложной структурой, нежели начинать с простой структуры и наращивать ее. В сложной структуре нейросети в начале ее обучения большинство связей как бы атрофированы, не выполняют свою работу качественно, но потихоньку каждый нейрон начинает находить свой функционал. Это равнозначно росту структуры, на мой взгляд, и может быть аргументом в споре. То есть [само]развивающаяся структура нейросети не есть самоцель, не есть панацея. Еще раз повторюсь: обычная нейросеть успешно решает задачи. Не надо поклоняться всяким там динамическим нейросетям и нейросетям с динамическими структурами.

Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекуррентные сети являются динамическими, так как в силу обратных связей входы нейронов могут модифицироваться сигналами, циркулирующими внутри системы. Благодаря чему появляется возможность обрабатывать серии событий во времени или последовательные пространственные цепочки. Вот тут популярно о рекуррентных сетях, где они применяются и почему — Азбука ИИ: «Рекуррентные нейросети».

Mihaylo в сообщении #1461559 писал(а):

Обычное бытовое недоразумение. Нейросети решают задачи оптимизации с четко установленным функционалом качества (минимизация среднеквадратичной ошибки или логарифма числа ошибок) и "непредсказуемость алгоритма" - это бред какой-то, а не решение задачи. Более того, вы совершаете типичную ошибку в рассуждениях, выделяя непредсказуемость как важное свойство интеллекта. Напротив, это порок несовершенных биологических систем, которые, находясь даже далеко от положения Буриданова осла, принимают непредсказуемые решения.

Непредсказуемость — это у диссипативных систем, там она носит неустранимый характер, а про искусственные нейронные сети у меня написано только о «непонимании смысла всех этапов переработки данных в решение». Что же касается непредсказуемости естественного интеллекта как его «порока», то, во-первых, непредсказуемость означает не бессмысленность, а только ограниченность нашего знания (хотя и принципиального характера), а во-вторых, высокая непредсказуемость — это принципиальное свойство жизни (в некотором смысле «антропное» и имеющее следствия, выходящие далеко за рамки просто непредсказуемости), поэтому и «предсказуемый» естественный интеллект существовать в принципе не может.

Если система предсказуема, то есть её работа нам понятна, то ни нами, ни сложнее нас она стать не может, так как все её возможные состояния нам фактически уже известны, мы можем их при желании рассчитать, а значит, и сложность этой системы лежит целиком «внутри» сложности нашего интеллекта на уровне точных знаний, которые есть далеко не весь наш опыт — см. например парадокс Моравека. Следовательно система, которая сможет стать нами, предсказуемой быть не может, принципы её работы предсказуемость допускать не должны. Поэтому мы диссипативные системы и мы непредсказуемые.

Mihaylo в сообщении #1461512 писал(а):

Сложность должна соответствовать сложности задачи, а не сферическому коню в вакууме. Если будет возможность машине повторить сенсомоторный опыт человека, то следует создать структуру с миллионами гиперпараметров. Вот и все. И не надо там бесконечностей никаких.

Вы же сами завели речь о превосходстве ИНС над естественным интеллектом. Вот вам и ответ: только на уровне частных задач человека, причём это касается любых искусственных систем. И рассуждать о возможностях искусственных систем в отрыве от человека — это как раз и есть рассматривание сферического коня в вакууме, потому что без знаний человека искусственных систем нет.