2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 4, 5, 6, 7, 8, 9, 10 ... 17  След.
 
 Re: Так Game Over или нет?
Сообщение06.08.2023, 00:24 
Аватара пользователя


17/10/22
358
Geen
ИМХО Boston Dynamics уже выпустила бы такого андроида, если могла. Слишком сложная моторика - тут ведь не одной клешней надо управлять, а всем корпусом.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение09.08.2023, 21:29 


15/06/23

69
Мои утверждения подтвердились свежей научной статьей. Итак, учёные доказали, что мозг учится по алгоритму обратного распространения ошибки. Результат опубликован в журнале Nature Commnications. По тому же алгоритму учится GPT. Разница только в количестве нейронов. В общем и целом, алгоритм мозга это алгоритм GPT. GPT-4 по количеству нейронов догоняет мозг, а GPT-5 скорей всего перегонит. ИИ человеческого уровня GPT-4 мы имеем. Меньшее число нейронов GPT-4 компенсируется большей скоростью счёта.

GPT-5 будет сверх-ИИ с бОльшим числом нейронов и большей скоростью счёта чем мозг человека.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение09.08.2023, 21:45 
Заслуженный участник
Аватара пользователя


16/07/14
9084
Цюрих
Webpack в сообщении #1604628 писал(а):
Итак, учёные доказали, что мозг учится по алгоритму обратного распространения ошибки. Результат опубликован в журнале Nature Commnications.
Вообще-то в этой статье утверждается буквально отрицание этого.
Цитата:
Back-propagation is central in many current deep learning methods, but biologically implausible.
Webpack в сообщении #1604628 писал(а):
По тому же алгоритму учится GPT
А также почти любая другая нейронка. Так что с тем же успехом можно заявить, что "в общем и целом, алгоритм мозга это word2vec". Благо word2vec с тем же числом параметров, что у GPT4, можно обучить на калькуляторе.
Webpack в сообщении #1604628 писал(а):
GPT-5 будет сверх-ИИ с бОльшим числом нейронов
Всё ещё жду ссылок на хоть какие-то авторитетные источники про гипотетическую GPT5.

Настолько наврать почти в каждом предложении надо умудриться. Вы специально?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение09.08.2023, 21:49 
Заслуженный участник


23/05/19
1147
mihaild в сообщении #1604631 писал(а):
Всё ещё жду ссылок на хоть какие-то авторитетные источники про гипотетическую GPT5.

Да и вот это
Webpack в сообщении #1604628 писал(а):
ИИ человеческого уровня GPT-4 мы имеем
неплохо бы обосновать.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение09.08.2023, 22:03 
Заслуженный участник
Аватара пользователя


16/07/14
9084
Цюрих
Безусловно, это я как-то просмотрел. Да и источник про количество нейронов у GPT4 мне интересен.

В человеческом мозгу примерно $2^{36}$ нейронов и $2^{50}$ синапсов (которые в каком-то очень странном смысле можно назвать соответствующими параметрам) - https://arxiv.org/abs/1906.01703. В самой большой из Llama 2 (единственная из современных LLM, про которые я нашел открытую информацию) $2^{36}$ параметров.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение09.08.2023, 22:26 
Админ форума


02/02/19
2467
Webpack
Ответьте, пожалуйста, на следующие вопросы:
1. Как Ваше утверждение
Webpack в сообщении #1604628 писал(а):
Итак, учёные доказали, что мозг учится по алгоритму обратного распространения ошибки. Результат опубликован в журнале Nature Commnications.
уживается с цитатой из статьи, на которую Вы ссылаетесь?
mihaild в сообщении #1604631 писал(а):
Back-propagation is central in many current deep learning methods, but biologically implausible.
2.
mihaild в сообщении #1604631 писал(а):
Всё ещё жду ссылок на хоть какие-то авторитетные источники про гипотетическую GPT5.
Приведите такие источники или прекратите выдумывать то, чего не знаете.
3.
mihaild в сообщении #1604638 писал(а):
Да и источник про количество нейронов у GPT4 мне интересен.
Приведите такой источник.
 !  До появления ответов на эти вопросы воздержитесь от других сообщений на форуме.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение09.08.2023, 23:38 


15/06/23

69
Ende

Я бы перевел эту фразу так: раньше биологи сомневались, что мозг использует метод обратного распространения ошибки, центральный в машинном обучении. Это введение, постановка научной проблемы.

В основном тексте статьи ученые доказывают, что зря в этом биологи сомневались, описывают эксперимент, подтверждающий, что мозг использует метод обратного распространения ошибки.

-- 09.08.2023, 23:41 --

Цитата:
Из скольки параметров состоит архитектура модели GPT-4 официально пока неизвестно, но эксперты оценивают этот показатель от 300 миллиардов до нескольких десятков триллионов параметров, что уже становится примерно сопоставимо с количеством нейронов в человеческом мозге (около 100 трлн).

https://vc.ru/future/637856-bratskiy-po ... ovoy-gpt-4

-- 09.08.2023, 23:43 --

Цитата:
По прогнозам размер сети GPT 5.0 составит около 100 триллионов параметров, что теоретически выше точки самоосознания ИИ

https://dtf.ru/u/17216-dmitriy-titov/17 ... znaniya-ii

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение09.08.2023, 23:59 
Аватара пользователя


17/10/22
358
mihaild в сообщении #1604638 писал(а):
Безусловно, это я как-то просмотрел. Да и источник про количество нейронов у GPT4 мне интересен.

В человеческом мозгу примерно $2^{36}$ нейронов и $2^{50}$ синапсов (которые в каком-то очень странном смысле можно назвать соответствующими параметрам) - https://arxiv.org/abs/1906.01703. В самой большой из Llama 2 (единственная из современных LLM, про которые я нашел открытую информацию) $2^{36}$ параметров.

Аналогом биологического нейрона скорее является отдельно взятая ИНС. Из расчета хотя бы 1000 искусственных нейронов такое буквальное сравнение увеличивает требования к ИНС размером Llama 2 еще на три порядка.

Но скорее всего такое сравнение в принципе некорректно - большие языковые модели не тянут на аналог мозга. Какая-то его часть возможно действительно задействует статистические закономерности в текстах и предсказывает следующее слово (что тоже требует доказательств), но этим когнитивные функции мозга не ограничиваются. В этом смысле большие языковые модели могут как превзойти человеческий интеллект с меньшим количеством параметров, так и уступать ему с бо́льшим количеством параметров.

-- 10.08.2023, 00:00 --

Webpack в сообщении #1604650 писал(а):
По прогнозам размер сети GPT 5.0 составит около 100 триллионов параметров, что теоретически выше точки самоосознания ИИ

:facepalm:

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение10.08.2023, 00:45 
Заслуженный участник
Аватара пользователя


16/07/14
9084
Цюрих
Webpack в сообщении #1604650 писал(а):
Я бы перевел эту фразу так: раньше биологи сомневались, что мозг использует метод обратного распространения ошибки, центральный в машинном обучении. Это введение, постановка научной проблемы
А теперь спросите у GPT4, как эта фраза переводится на самом деле:) В частности, там нет прошедшего времени. Более того, авторы в том же абзаце говорят о теоретической возможности замены классического back propagation на методы, похожие на использующиеся в биологических системах
Цитата:
Such a biomimetic artificial intelligence—that implements the self-organising mechanisms of neuronal networks—could offer an alternative to conventional learning algorithms such as back-propagation
Блоги vc.ru и dtf.ru авторитетными источниками не являются, даже если они ссылаются на анонимных экспертов.

MoonWatcher в сообщении #1604653 писал(а):
Аналогом биологического нейрона скорее является отдельно взятая ИНС
Это спорный вопрос. Насколько я понимаю (тут могу врать), нейрон всё же выдает одно значение, которое описывается диффуром от времени и суммы входящих значений. Это больше похоже на ячейку памяти, чем на отдельную сеть.
Кстати в искусственных нейронных сетях количество нейронов не считают (оно неинтересно и ни на что не влияет), считают количество весов (которе примерно квадрат по числу нейронов, с сильно зависящей от архитектуры константой).
MoonWatcher в сообщении #1604653 писал(а):
Но скорее всего такое сравнение в принципе некорректно - большие языковые модели не тянут на аналог мозга
Это так. Просто какая-то грубая прикидка объема вычислений (тогда кстати надо выдать нейронкам еще 10-15 двоичных порядков - сложение входов происходит за время порядка долей микросекунды, а у нейрона время реации порядка милисекунд).

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение10.08.2023, 01:01 
Аватара пользователя


17/10/22
358
mihaild в сообщении #1604659 писал(а):
Это спорный вопрос. Насколько я понимаю (тут могу врать), нейрон всё же выдает одно значение, которое описывается диффуром от времени и суммы входящих значений. Это больше похоже на ячейку памяти, чем на отдельную сеть.

Собственно отсюда:
В коре вашего мозга 17 млрд компьютеров
Насколько сложным с вычислительной точки зрения является один нейрон?
Цитата:
Дэвид Бениагуев, Идан Сегев и Майкл Лондон из Еврейского университета в Иерусалиме обучили искусственную глубокую нейронную сеть, имитирующую вычисления имитируемого биологического нейрона. Они показали, что глубокая нейронная сеть требует от пяти до восьми слоев взаимосвязанных “нейронов”, чтобы представлять сложность одного биологического нейрона.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение10.08.2023, 01:10 


10/03/16
4444
Aeroport
MoonWatcher в сообщении #1604661 писал(а):
Они показали, что


это за искусственные нейроны (в смысле, это обыкновенный сумматор с функцией активации типа сигмы или relu?) и какой должна быть топология связей? Т.е. один бионейрон это просто пятислойный персептрон, или нечто с обратными связями, и т.п.?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение10.08.2023, 01:13 
Аватара пользователя


17/10/22
358
mihaild в сообщении #1604659 писал(а):
Кстати в искусственных нейронных сетях количество нейронов не считают (оно неинтересно и ни на что не влияет), считают количество весов (которе примерно квадрат по числу нейронов, с сильно зависящей от архитектуры константой).

Т.е.: кол-во весов ≈ кол-во нейронов в квадрате?

Насколько я понимаю, веса - это связи между нейронами. Веса и параметры - одно и то же, кстати?

-- 10.08.2023, 01:15 --

ozheredov
Не в курсе подробностей.

-- 10.08.2023, 01:27 --

Помнится биолог Савельев в какой-то своей лекции тоже утверждал, что биологический нейрон - это целый компьютер. Правда, он при этом вообразил, что IT-компании ничего в этом не понимают и создают какой-то неправильный ИИ... При том, что Демис Хассабис, основатель и глава DeepMind:
Цитата:
получил докторскую степень в области когнитивной нейробиологии в Университетском колледже Лондона, в своей работе он для новых алгоритмов ИИ черпал вдохновение в человеческом мозге. Работая в области исследования механизмов работы памяти и амнезии, был соавтором нескольких важных научных статей, опубликованных в таких авторитетных научных журналах как Nature, Science, Neuron и PNAS.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение10.08.2023, 01:33 
Заслуженный участник
Аватара пользователя


16/07/14
9084
Цюрих
Цитата:
Они показали, что глубокая нейронная сеть требует от пяти до восьми слоев взаимосвязанных “нейронов”, чтобы представлять сложность одного биологического нейрона
На самом деле не совсем это они показали. Они показали, что при их подходе наилучшую точность получили при 4 слоях. Это свойство подхода - теорема Цыбенко говорит, что на двух слоях уже можно получить любую точность.
Ну и это вопрос эмуляции, на учитывающий, какая часть свойств нейрона реально нужна. Если пытаться аналогичным образом выражать ReLU через сигмоид или наоборот - то тоже получится что они оба довольно сложные.
MoonWatcher в сообщении #1604665 писал(а):
Т.е.: кол-во весов ≈ кол-во нейронов в квадрате?
Деленное на число слоев (для простейшей полносвязной архитектуры; для неполносвязной еще меньше).
MoonWatcher в сообщении #1604665 писал(а):
Веса и параметры - одно и то же, кстати?
Да.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение10.08.2023, 09:22 
Заслуженный участник


23/05/19
1147
mihaild в сообщении #1604669 писал(а):
Деленное на число слоев

А не умноженное?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение10.08.2023, 11:24 
Заслуженный участник
Аватара пользователя


16/07/14
9084
Цюрих
Dedekind в сообщении #1604681 писал(а):
А не умноженное?
Нет.
У нас $n$ слоев по $k$ нейронов. Тогда всего нейронов $nk$, переходов между слоями $n - 1$, каждый по $k^2$ параметров. Т.е. квадрат числа нейронов $n^2k^2$, а число параметров $(n - 1) k^2$.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 249 ]  На страницу Пред.  1 ... 4, 5, 6, 7, 8, 9, 10 ... 17  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group