Так Game Over или нет?

[Dedekind]

mihaild
А, я вначале подумал, что Вы про квадрат числа нейронов в одном слое. А если про квадрат всех, то да, так и есть, прошу прощения.

[Mihaylo]

Алгоритм обратного распространения ошибки слишком сложен для самореализации в природе. Надо понимать, что природный алгоритм попримитивнее. И то, что там один биологический нейрон равен восьми искусственным, это не является поводом для насмешки над искусственными нейронными сетями. Напротив, их реализация высокоэффективна. Искусственные нейроны очень просты и быстро вычисляются в несколькоядерных системах. Это наоборот круто!

[MoonWatcher]

Mihaylo
С точки зрения энергопотребления ИНС вчистую сливают биологическим нейросетям.

[Mihaylo]

MoonWatcher
Так нет же. Вы смотрите ватты, а надо сравнивать джоули.
У меня нейросетка научилась распознавать 10 классов рукописных цифр MNIST за 15 минут. Блок питания 300 Вт. Потребление 75 Вт-ч.
Что там насчёт головушки человека?)

Цитата:

Распространены оценки, что мозг съедает от 200 до 1000 Ккал (стрессовые ситуации), то есть от 20%-40% энергии, что дает оценку средней мощности 30 Вт.
Мозг — крайне эффективная система. Да современные ноутбуки производят операции гораздо лучше нас и средняя мощность находится около 30 Вт, а телефоны вообще 0.5-1 Вт.

Нужно 30 Вт умножить на количество часов для освоения задачи с нуля. Это сложно. Но это будет долго, явно не 15 минут...
Но признаю, так сравнивать некорректно.

[Geen]

Mihaylo в сообщении #1605104 писал(а):

Но это будет долго, явно не 15 минут...

Неужели 150?...

[mihaild]

Mihaylo в сообщении #1605051 писал(а):

Алгоритм обратного распространения ошибки слишком сложен для самореализации в природе. Надо понимать, что природный алгоритм попримитивнее

Это неизвестно, и даже непонятно, как сравнивать.

Mihaylo в сообщении #1605051 писал(а):

Искусственные нейроны очень просты и быстро вычисляются в несколькоядерных системах

Вот степень параллелизма, по всей видимости, у биологических систем сильно больше. И еще они умеют проводить вычисления, задействуя только небольшую часть сети.

Обучение GPT3 съело 1287 мегаватт-часов (https://arxiv.org/abs/2104.10350). Если взять оценку мощности мозга 30 Вт (не проверял), это чуть меньше 5000 лет работы мозга.

[Mihaylo]

Geen в сообщении #1605105 писал(а):

Неужели 150?...

Может быть 15000?

mihaild в сообщении #1605106 писал(а):

чуть меньше 5000 лет работы мозга

Ну GPT-3 не помню, но GPT-3.5 вроде гораздо образованнее среднего человека. На 400 лет тянет.) Так что вроде плюс/минус где-то около того. Ну мы ж понимаем, что порядки совпадают.

[mihaild]

Mihaylo в сообщении #1605108 писал(а):

GPT-3.5 вроде гораздо образованнее среднего человека

Как считать. Словарь "знает" гораздо больше слов, чем большинство людей, и энергии вообще не потребляет:)

[Mihaylo]

А человек не словарь?)

[ozheredov]

Mihaylo в сообщении #1605141 писал(а):

А человек не словарь?)

Каким по-вашему функционалом должен быть наделён объект, чтобы он был точно не словарь? Можете привести примеры (хотя бы из аниме)?

[Mihaylo]

Веса нейросети (живой или мертвой) - это нечто в памяти, словарь. И вот интересный энтот словарь... Он способен выдавать ответы, даже если они туда не записывались.
При чем неважно: мертвая нейросетка или живая. И GPT любой версии туда же.

Вроде все это словари, да нет.

Но в любом случае: если любой, даже чудесатый словарь не знает про Пушкина, то там ничего и не образуется в ответе. Даже в человеческой мозгушке.

Нельзя по фамилиям известных поэтов вычислить "Пушкин", однако можно предположить, сколько лет он прожил. В общем записи в "словаре" бывают разные, свойства и природа данных хитрая...

[ozheredov]

Mihaylo в сообщении #1605295 писал(а):

Веса нейросети (живой или мертвой) - это нечто в памяти, словарь.

Вдруг например я стукнулся фейсом об тейбл, отчего геометрические параметры фейса изменились (запомнили тейбл). Таким образом, фейс - это словарь. И тейбл тоже словарь, поскольку на нем остался отпечаток фейса. Все в мире словарь, кроме пчел, а пчелы тоже словарь, если подумать.

Объекты классифицируются по своим интерфейсам, а не по общности деталей внутреннего устройства. У словаря, искусственной нейросети и человека интерфейсы немного различаются.

[Mihaylo]

ozheredov в сообщении #1605356 писал(а):

И тейбл тоже словарь, поскольку на нем остался отпечаток фейса. Все в мире словарь, кроме пчел, а пчелы тоже словарь, если подумать.

Должен быть алгоритм, действие, функция, которая по ключу восстанавливает значение (key -> value, X -> Y), а иначе какой это словарь?

Другое дело, может ли словарь интерполировать/экстраполировать/и даже аппроксимировать.

[ozheredov]

Mihaylo в сообщении #1605376 писал(а):

Другое дело

Вот-вот! А человек может интерполировать/экстраполировать/и даже, закрывшись в ванной - аппроксимировать. Поэтому он и не словарь.

[Mihaylo]

Mihaylo в сообщении #1605295 писал(а):

Но в любом случае: если любой, даже чудесатый словарь не знает про Пушкина, то там ничего и не образуется в ответе. Даже в человеческой мозгушке.

-- 16.08.2023, 00:19 --

Что делать, что делать... Люди не понимают, что они ходячие словари, словари хоть и чудесатые, но они не терпят себя чувствовать таковыми, они же божественные создания - каково быть словарём X -> Y, это же стремно.

Простите меня, но ваши теории антропогенны.)))))))))))))))))))))))))))))))

-- 16.08.2023, 00:25 --

У меня друг работает в автосервисе. Я его попросил сочинить текст на тему "ленинизм в нашу эпоху". Он меня послал нахрен.
А вы сможете написать эссе?

-- 16.08.2023, 00:30 --

Однако я попросил друга определить неисправность автомобиля по звуку и видео (переслал по вотсаппу). И он сделал это, как два пальца об асфальт!

То же самое видео я послал своему другу музыканту, тот не справился, сказал, что "это не его". Зато написал эссе. Слабенько, но все же.

Отсюда вывод: люди - это словари, что в них вписали, то и выдают.