Так Game Over или нет?

[MoonWatcher]

Geen
ИМХО Boston Dynamics уже выпустила бы такого андроида, если могла. Слишком сложная моторика - тут ведь не одной клешней надо управлять, а всем корпусом.

[Webpack]

Мои утверждения подтвердились свежей научной статьей. Итак, учёные доказали, что мозг учится по алгоритму обратного распространения ошибки. Результат опубликован в журнале Nature Commnications. По тому же алгоритму учится GPT. Разница только в количестве нейронов. В общем и целом, алгоритм мозга это алгоритм GPT. GPT-4 по количеству нейронов догоняет мозг, а GPT-5 скорей всего перегонит. ИИ человеческого уровня GPT-4 мы имеем. Меньшее число нейронов GPT-4 компенсируется большей скоростью счёта.

GPT-5 будет сверх-ИИ с бОльшим числом нейронов и большей скоростью счёта чем мозг человека.

[mihaild]

Webpack в сообщении #1604628 писал(а):

Итак, учёные доказали, что мозг учится по алгоритму обратного распространения ошибки. Результат опубликован в журнале Nature Commnications.

Вообще-то в этой статье утверждается буквально отрицание этого.

Цитата:

Back-propagation is central in many current deep learning methods, but biologically implausible.

Webpack в сообщении #1604628 писал(а):

По тому же алгоритму учится GPT

А также почти любая другая нейронка. Так что с тем же успехом можно заявить, что "в общем и целом, алгоритм мозга это word2vec". Благо word2vec с тем же числом параметров, что у GPT4, можно обучить на калькуляторе.

Webpack в сообщении #1604628 писал(а):

GPT-5 будет сверх-ИИ с бОльшим числом нейронов

Всё ещё жду ссылок на хоть какие-то авторитетные источники про гипотетическую GPT5.

Настолько наврать почти в каждом предложении надо умудриться. Вы специально?

[Dedekind]

mihaild в сообщении #1604631 писал(а):

Всё ещё жду ссылок на хоть какие-то авторитетные источники про гипотетическую GPT5.

Да и вот это

Webpack в сообщении #1604628 писал(а):

ИИ человеческого уровня GPT-4 мы имеем

неплохо бы обосновать.

[mihaild]

Безусловно, это я как-то просмотрел. Да и источник про количество нейронов у GPT4 мне интересен.

В человеческом мозгу примерно $2^{36}$ нейронов и $2^{50}$ синапсов (которые в каком-то очень странном смысле можно назвать соответствующими параметрам) - https://arxiv.org/abs/1906.01703. В самой большой из Llama 2 (единственная из современных LLM, про которые я нашел открытую информацию) $2^{36}$ параметров.

[Ende]

Webpack
Ответьте, пожалуйста, на следующие вопросы:
1. Как Ваше утверждение

Webpack в сообщении #1604628 писал(а):

Итак, учёные доказали, что мозг учится по алгоритму обратного распространения ошибки. Результат опубликован в журнале Nature Commnications.

уживается с цитатой из статьи, на которую Вы ссылаетесь?

mihaild в сообщении #1604631 писал(а):

Back-propagation is central in many current deep learning methods, but biologically implausible.

2.

mihaild в сообщении #1604631 писал(а):

Всё ещё жду ссылок на хоть какие-то авторитетные источники про гипотетическую GPT5.

Приведите такие источники или прекратите выдумывать то, чего не знаете.
3.

mihaild в сообщении #1604638 писал(а):

Да и источник про количество нейронов у GPT4 мне интересен.

Приведите такой источник.

До появления ответов на эти вопросы воздержитесь от других сообщений на форуме.

[Webpack]

Ende

Я бы перевел эту фразу так: раньше биологи сомневались, что мозг использует метод обратного распространения ошибки, центральный в машинном обучении. Это введение, постановка научной проблемы.

В основном тексте статьи ученые доказывают, что зря в этом биологи сомневались, описывают эксперимент, подтверждающий, что мозг использует метод обратного распространения ошибки.

-- 09.08.2023, 23:41 --

Цитата:

Из скольки параметров состоит архитектура модели GPT-4 официально пока неизвестно, но эксперты оценивают этот показатель от 300 миллиардов до нескольких десятков триллионов параметров, что уже становится примерно сопоставимо с количеством нейронов в человеческом мозге (около 100 трлн).

https://vc.ru/future/637856-bratskiy-po ... ovoy-gpt-4

-- 09.08.2023, 23:43 --

Цитата:

По прогнозам размер сети GPT 5.0 составит около 100 триллионов параметров, что теоретически выше точки самоосознания ИИ

https://dtf.ru/u/17216-dmitriy-titov/17 ... znaniya-ii

[MoonWatcher]

mihaild в сообщении #1604638 писал(а):

Безусловно, это я как-то просмотрел. Да и источник про количество нейронов у GPT4 мне интересен.

В человеческом мозгу примерно $2^{36}$ нейронов и $2^{50}$ синапсов (которые в каком-то очень странном смысле можно назвать соответствующими параметрам) - https://arxiv.org/abs/1906.01703. В самой большой из Llama 2 (единственная из современных LLM, про которые я нашел открытую информацию) $2^{36}$ параметров.

Аналогом биологического нейрона скорее является отдельно взятая ИНС. Из расчета хотя бы 1000 искусственных нейронов такое буквальное сравнение увеличивает требования к ИНС размером Llama 2 еще на три порядка.

Но скорее всего такое сравнение в принципе некорректно - большие языковые модели не тянут на аналог мозга. Какая-то его часть возможно действительно задействует статистические закономерности в текстах и предсказывает следующее слово (что тоже требует доказательств), но этим когнитивные функции мозга не ограничиваются. В этом смысле большие языковые модели могут как превзойти человеческий интеллект с меньшим количеством параметров, так и уступать ему с бо́льшим количеством параметров.

-- 10.08.2023, 00:00 --

Webpack в сообщении #1604650 писал(а):

По прогнозам размер сети GPT 5.0 составит около 100 триллионов параметров, что теоретически выше точки самоосознания ИИ

[mihaild]

Webpack в сообщении #1604650 писал(а):

Я бы перевел эту фразу так: раньше биологи сомневались, что мозг использует метод обратного распространения ошибки, центральный в машинном обучении. Это введение, постановка научной проблемы

А теперь спросите у GPT4, как эта фраза переводится на самом деле:) В частности, там нет прошедшего времени. Более того, авторы в том же абзаце говорят о теоретической возможности замены классического back propagation на методы, похожие на использующиеся в биологических системах

Цитата:

Such a biomimetic artificial intelligence—that implements the self-organising mechanisms of neuronal networks—could offer an alternative to conventional learning algorithms such as back-propagation

Блоги vc.ru и dtf.ru авторитетными источниками не являются, даже если они ссылаются на анонимных экспертов.

MoonWatcher в сообщении #1604653 писал(а):

Аналогом биологического нейрона скорее является отдельно взятая ИНС

Это спорный вопрос. Насколько я понимаю (тут могу врать), нейрон всё же выдает одно значение, которое описывается диффуром от времени и суммы входящих значений. Это больше похоже на ячейку памяти, чем на отдельную сеть.
Кстати в искусственных нейронных сетях количество нейронов не считают (оно неинтересно и ни на что не влияет), считают количество весов (которе примерно квадрат по числу нейронов, с сильно зависящей от архитектуры константой).

MoonWatcher в сообщении #1604653 писал(а):

Но скорее всего такое сравнение в принципе некорректно - большие языковые модели не тянут на аналог мозга

Это так. Просто какая-то грубая прикидка объема вычислений (тогда кстати надо выдать нейронкам еще 10-15 двоичных порядков - сложение входов происходит за время порядка долей микросекунды, а у нейрона время реации порядка милисекунд).

[MoonWatcher]

mihaild в сообщении #1604659 писал(а):

Это спорный вопрос. Насколько я понимаю (тут могу врать), нейрон всё же выдает одно значение, которое описывается диффуром от времени и суммы входящих значений. Это больше похоже на ячейку памяти, чем на отдельную сеть.

Собственно отсюда:
В коре вашего мозга 17 млрд компьютеров
Насколько сложным с вычислительной точки зрения является один нейрон?

Цитата:

Дэвид Бениагуев, Идан Сегев и Майкл Лондон из Еврейского университета в Иерусалиме обучили искусственную глубокую нейронную сеть, имитирующую вычисления имитируемого биологического нейрона. Они показали, что глубокая нейронная сеть требует от пяти до восьми слоев взаимосвязанных “нейронов”, чтобы представлять сложность одного биологического нейрона.

[ozheredov]

MoonWatcher в сообщении #1604661 писал(а):

Они показали, что

это за искусственные нейроны (в смысле, это обыкновенный сумматор с функцией активации типа сигмы или relu?) и какой должна быть топология связей? Т.е. один бионейрон это просто пятислойный персептрон, или нечто с обратными связями, и т.п.?

[MoonWatcher]

mihaild в сообщении #1604659 писал(а):

Кстати в искусственных нейронных сетях количество нейронов не считают (оно неинтересно и ни на что не влияет), считают количество весов (которе примерно квадрат по числу нейронов, с сильно зависящей от архитектуры константой).

Т.е.: кол-во весов ≈ кол-во нейронов в квадрате?

Насколько я понимаю, веса - это связи между нейронами. Веса и параметры - одно и то же, кстати?

-- 10.08.2023, 01:15 --

ozheredov
Не в курсе подробностей.

-- 10.08.2023, 01:27 --

Помнится биолог Савельев в какой-то своей лекции тоже утверждал, что биологический нейрон - это целый компьютер. Правда, он при этом вообразил, что IT-компании ничего в этом не понимают и создают какой-то неправильный ИИ... При том, что Демис Хассабис, основатель и глава DeepMind:

Цитата:

получил докторскую степень в области когнитивной нейробиологии в Университетском колледже Лондона, в своей работе он для новых алгоритмов ИИ черпал вдохновение в человеческом мозге. Работая в области исследования механизмов работы памяти и амнезии, был соавтором нескольких важных научных статей, опубликованных в таких авторитетных научных журналах как Nature, Science, Neuron и PNAS.

[mihaild]

Цитата:

Они показали, что глубокая нейронная сеть требует от пяти до восьми слоев взаимосвязанных “нейронов”, чтобы представлять сложность одного биологического нейрона

На самом деле не совсем это они показали. Они показали, что при их подходе наилучшую точность получили при 4 слоях. Это свойство подхода - теорема Цыбенко говорит, что на двух слоях уже можно получить любую точность.
Ну и это вопрос эмуляции, на учитывающий, какая часть свойств нейрона реально нужна. Если пытаться аналогичным образом выражать ReLU через сигмоид или наоборот - то тоже получится что они оба довольно сложные.

MoonWatcher в сообщении #1604665 писал(а):

Т.е.: кол-во весов ≈ кол-во нейронов в квадрате?

Деленное на число слоев (для простейшей полносвязной архитектуры; для неполносвязной еще меньше).

MoonWatcher в сообщении #1604665 писал(а):

Веса и параметры - одно и то же, кстати?

Да.

[Dedekind]

mihaild в сообщении #1604669 писал(а):

Деленное на число слоев

А не умноженное?

[mihaild]

Dedekind в сообщении #1604681 писал(а):

А не умноженное?

Нет.
У нас $n$ слоев по $k$ нейронов. Тогда всего нейронов $nk$, переходов между слоями $n - 1$, каждый по $k^2$ параметров. Т.е. квадрат числа нейронов $n^2k^2$, а число параметров $(n - 1) k^2$.