О возможности создания сверхчеловеческого ИИ

[Mihaylo]

Ende
Выделено из темы «Прогнозы экспертов относительно ИИ»

Никто из философов не задавался таким вопросом: "Почему на входе интеллекта мало информации, а на выходе много?". Это противоречит закону сохранения информации...
Науке ответ известен (я, по крайней мере, отражаю это), но в научно-популярном варианте разъяснений нет. В научно-популярном варианте есть только дебильное "AGI/ASI" и "трансцендентное" превосходство человека. Антропоцентризм прям валит из всех труб. По факту нужно научиться признавать себя неспособным во многих областях деятельности. Именно собирательный образ человека мешает адекватному восприятию реальности. Извините, но все знания физики и математики изобрел не один [собирательный] человек, а целая цивилизация на протяжении веков. От человека нельзя добиться правильно выключатель в ванной подключить, а почему-то искусственный интеллект за пол-доллара должен написать научный трактат.

-- 16.05.2025, 20:33 --

Поскольку тема называется "Прогнозы экспертов относительно ИИ", позвольте мне выразиться в качестве эксперта, дабы не попасть в оффтоп. Как вы знаете, я там немного ML-исследования провожу...

Итак:

1. Интеллект ограничен. Искусственный и естественный интеллект ограничен. Они немного разные и одновременно похожие, но оба имеют серьёзные ограничения на пути к ASI. Супер-интеллект ASI - это лишь гипотеза, его не существует и не может существовать.

2. AGI - это решение проблемы повторения сенсомоторного опыта человека. Это серьёзная проблема. Это следствие ограничения интеллекта (любого). Чтобы решить какую-то задачу, нужно обучить интеллект этой задаче. Если обучения нет, то и не будет решения. Это закон интеллекта. Сейчас у многих заиграет сердечко, но это правда! Пока Исаак Ньютон не ознакомился с результатами Кеплера и прочих математиков и философов, он не мог вывести свои законы. Обучение играет свою роль.

3. Есть такие алгоритмы обучения без учителя (обучение с подкреплением, например), но они плохо работают. Они неэффективны.

-- 16.05.2025, 20:47 --

Я наверное должен дать свой прогноз.

Существенными факторами является:
1. Дешевизна принятия решений ИИ по сравнению с человеком при удовлетворительном или более высоком качестве.
2. ИИ может побороться с гипотетическим "собирательным человеком". "Собирательного человека" не существует, а своего рода "собирательный ИИ" - это абсолютная реальность!
3. ИИ не устаёт. Ему можно загрузить большой объём рутинной высокоинтеллектуальной работы. Люди такое не любят, избегают.

Никакого ASI не будет, AGI будут пытаться достичь, но будет непонятно, где правда. Некоторые зазнавшиеся лентяи (люди) станут работать ручками вместо мозгов.

[Mihaylo]

Mihaylo в сообщении #1686065 писал(а):

2. ИИ может побороться с гипотетическим "собирательным человеком". "Собирательного человека" не существует, а своего рода "собирательный ИИ" - это абсолютная реальность!
3. ИИ не устаёт. Ему можно загрузить большой объём рутинной высокоинтеллектуальной работы. Люди такое не любят, избегают.

Именно эти два пункта могут позволить посчитать ИИ прообразом недостижимого ASI. Это будет круто, но не беспредельно.

-- 16.05.2025, 21:29 --

Где-то я читал интересную мысль, что у работников умственного труда отберут работники, которые научатся работать с ИИ. Если условный программист не пожелает работать с ИИ и будет набивать себе цену, то его заменят на пользователя ИИ. Уточню: вот я, например, не особо разбираюсь, как обеспечить потокобезопасный код на двухъядерном процессоре. Я что-то в этом понимаю, но как бы туплю, уровень джун. И как оказалось, с помощью ИИ эту проблему можно решить запросто!

[mihaild]

Mihaylo в сообщении #1686065 писал(а):

Супер-интеллект ASI - это лишь гипотеза, его не существует и не может существовать

ASI - это интеллект, превосходящий человеческий. Если люди в любой t2t задачи превосходят шимпанзе, и бывают пары людей, такие что один превосходит другого почти в любой t2t задаче, то совершенно непонятно, почему не может существовать системы, сильно превосходящей любого человека в t2t задаче.

Mihaylo в сообщении #1686065 писал(а):

AGI - это решение проблемы повторения сенсомоторного опыта человека.

[citation needed]

Mihaylo в сообщении #1686068 писал(а):

Это будет круто, но не беспредельно

Ошибка безвредной сверхновой. Заявления об "ограниченности" без указания конкретных нетривиальных границ смысла не имеют.
Любую задачу по математике, которую я могу понять за полчаса и решить за год, Тао может решить за 10 секунд. Может ли существовать система, которая за 10 секунд решает любую задачу, которую Тао может решить за 100 лет?

Mihaylo в сообщении #1686068 писал(а):

Я что-то в этом понимаю, но как бы туплю, уровень джун. И как оказалось, с помощью ИИ эту проблему можно решить запросто!

Ага, а еще можно 1000 символов в минуту набирать. В нетривиальном коде, где нужно много думать о граничных случаях, текущие LLM очень веселые баги сажают.

High-trade в сообщении #1686070 писал(а):

https://en.m.wikipedia.org/wiki/Pi - варианты понимания числа PI

Это не "варианты понимания", это эквивалентные определения.

[Mihaylo]

mihaild в сообщении #1686088 писал(а):

Заявления об "ограниченности" без указания конкретных нетривиальных границ смысла не имеют.
Любую задачу по математике, которую я могу понять за полчаса и решить за год, Тао может решить за 10 секунд. Может ли существовать система, которая за 10 секунд решает любую задачу, которую Тао может решить за 100 лет?

Нужно измерять не время (скорость вычислений), а процент успешно выполненных задач. Конечно, блуждание на задаче в течение N часов повышает шанс нахождения правильного ответа, да. И одновременно свидетельствует о способности искать решение и об упёртости... Reinforcement learning неэффективен, это известно.

[mihaild]

Mihaylo в сообщении #1686119 писал(а):

Нужно измерять не время (скорость вычислений), а процент успешно выполненных задач.

При условии что время остается адекватным. Поиск доказательства перебором всех строк успешно решает очень многое, но слишком долго.

[Ghost_of_past]

Mihaylo в сообщении #1686065 писал(а):

Никто из философов не задавался таким вопросом: "Почему на входе интеллекта мало информации, а на выходе много?".

Это Вы проверили всех философов? И почему вообще надо задаваться таким вопросом?

Mihaylo в сообщении #1686065 писал(а):

Это противоречит закону сохранения информации...

Какому закону, простите?

Mihaylo в сообщении #1686065 писал(а):

Науке ответ известен (я, по крайней мере, отражаю это)

Можно ссылочку на научные статьи и монографии, где содержится и точная формулировка вопроса, и ответ на него?

Mihaylo в сообщении #1686065 писал(а):

Супер-интеллект ASI - это лишь гипотеза, его не существует и не может существовать

Так опубликуйте соответствующие доказательства в рецензируемом научном журнале по тематике ИИ. В чем проблема-то?

Mihaylo в сообщении #1686065 писал(а):

1. Дешевизна принятия решений ИИ по сравнению с человеком при удовлетворительном или более высоком качестве.

И заодно перечень доказательств, что принятие решения ИИ будет дешевле во всех случаях, чем у человека.

Mihaylo в сообщении #1686065 писал(а):

"Собирательного человека" не существует, а своего рода "собирательный ИИ" - это абсолютная реальность!

Доказательств этого тезиса тоже не наблюдается в теме.

Mihaylo в сообщении #1686065 писал(а):

Некоторые зазнавшиеся лентяи (люди) станут работать ручками вместо мозгов.

Вы про кого именно сейчас? Потому что миллиарды людей и так работают по всей планете.

[Anton_Peplov]

Mihaylo в сообщении #1686065 писал(а):

Это противоречит закону сохранения информации

Это что еще за закон? Он эмпирический или эта теорема? Как он в точности формулируется, какое определение информации используется? В каких системах сохраняется информация?

[High-trade]

Здесь нельзя писать сложно

[Ende]

High-trade
Недельный бан за продолжающуюся генерацию бессодержательных сообщений после предупреждения модератора.

[Mihaylo]

Anton_Peplov в сообщении #1686149 писал(а):

Это что еще за закон?

Это довольно известная штука, но скорее забавное утверждение, нежели нечто научное по сравнению с другими законами сохранения.

Итак, закон сохранения информации. Если в замкнутую систему не поступает информация, то количество информации в этой системе не может увеличиваться. (Может наверное только уменьшаться, если предположить, что существуют какие-то процессы деградации памяти.)

Следствие 1 (Закон интеллекта, моя формулировка). Без обучения новые интеллектуальные способности не появляются.

Почему так важно это знать? 90% людей думают, что возможно существование усилителей мозга - это нечто такое, что без затрат на обучение, просто изменением внутренней структуры, без получения новой информации позволяет получить способность решать новые задачи.

-- 18.05.2025, 08:49 --

При этом я уверен, что закон сохранения информации, строго говоря, может нарушаться. Например, в замкнутой системе может быть информация о законах Кеплера, траекториях некоторых планет, но не быть законов Ньютона... Но они могут появиться путём какой-то интеллектуальной переработки...

Конечно, можно придумать некоторые правила, как считать количество информации, чтобы закон сохранения информации был строгим.

Но, мне кажется, просто этим нарушением закона можно пренебречь в силу того, что алгоритмы обучения с подкреплением, которые извлекают новую информацию из старой, неэффективны, дают мало информации в единицу времени.

-- 18.05.2025, 09:07 --

Ну и теперь ответ на важный вопрос: "С чего вдруг у интеллекта есть ограничение в росте до ASI и ещё до какого-то предела?"

mihaild в сообщении #1686088 писал(а):

Заявления об "ограниченности" без указания конкретных нетривиальных границ смысла не имеют.

Мы не можем бесконечно обучать LLM. Мы дали ей все книги вселенной, весь интернет, все чаты и форумы... Мы не можем вводить новую информацию в систему.

Если вы всё же ожидаете некий усилитель интеллекта, который прорвёт, то его надо ждать только от неэффективного обучения с подкреплением (RL).

[Anton_Peplov]

Mihaylo в сообщении #1686202 писал(а):

Это довольно известная штука

Раз она такая известная, где о ней почитать?

Mihaylo в сообщении #1686202 писал(а):

Итак, закон сохранения информации. Если в замкнутую систему не поступает информация, то количество информации в этой системе не может увеличиваться. (Может наверное только уменьшаться, если предположить, что существуют какие-то процессы деградации памяти.)

Какое определение информации используется? Какое определение замкнутой системы? Если система замкнута, может ли вообще в нее поступать информация?

Пусть в замкнутой системе есть резистор с тепловым шумом и устройство памяти, записывающее этот тепловой шум. Увеличивается ли количество информации в системе по мере заполнения памяти?

Солнечная система не замкнута в том смысле, что ее покидает солнечный свет и солнечный ветер. Давайте пренебрежем поступлением излучений в Солнечную систему извне. Применим ли к Солнечной системе закон сохранения информации? Увеличивается ли количество информации в Солнечной системе в связи с деятельностью человека?

[Ghost_of_past]

Mihaylo в сообщении #1686202 писал(а):

Если в замкнутую систему не поступает информация

Давно у Вас психика и ее компонентные функции, вроде интеллекта, стали информационно замкнутой системой? Давайте начнем с базы, т.е. с определений. Что такое информация, что такое замкнутая система, как соотносятся с замкнутой системой психические процессы и их семантическое содержание.

Mihaylo в сообщении #1686202 писал(а):

что возможно существование усилителей мозга

В смысле некоторых психических функций? Так они и возможны, просто последствия их употребления могут быть страшными - это, например, некоторые наркотики.

Mihaylo в сообщении #1686202 писал(а):

закон сохранения информации, строго говоря, может нарушаться.

Тогда в чем тут закон?

Mihaylo в сообщении #1686202 писал(а):

Мы не можем бесконечно обучать LLM

А что, самообучение уже невозможно? То, о чем Вы пытаетесь сказать - это, как мне кажется, как раз то, о чем говорил я недавно на форуме: что LLM воспроизводят лишь компоненты естественного интеллекта человека и других и животных, поэтому это все еще не сильный ИИ.

[Anton_Peplov]

Mihaylo в сообщении #1686202 писал(а):

Почему так важно это знать? 90% людей думают, что возможно существование усилителей мозга - это нечто такое, что без затрат на обучение, просто изменением внутренней структуры, без получения новой информации позволяет получить способность решать новые задачи.

С помощью ручки и бумаги я могу решать задачи, которые не могу решать без них. С помощью калькулятора - еще больший круг задач.

[mihaild]

Mihaylo в сообщении #1686202 писал(а):

90% людей думают, что возможно существование усилителей мозга - это нечто такое, что без затрат на обучение, просто изменением внутренней структуры, без получения новой информации позволяет получить способность решать новые задачи

Mihaylo в сообщении #1686202 писал(а):

Мы не можем бесконечно обучать LLM.

Т.е. архитектура сети неважна?
А если важна, то почему не может быть системы, которая из написанных текстов и записей видео извлечет информации сильно больше, чем люди? Вроде бы у древних греков было достаточно астрономических наблюдений чтобы вывести законы Кеплера. А у Ньютона вообще новых данных по сравнению с Кеплером не было. Но ЗВТ вывел только Ньютон, а не Птолемей и не Кеплер.

[zykov]

Mihaylo в сообщении #1686119 писал(а):

Любую задачу по математике, которую я могу понять за полчаса и решить за год, Тао может решить за 10 секунд. Может ли существовать система, которая за 10 секунд решает любую задачу, которую Тао может решить за 100 лет?

Сомнительно, что уровень интеллекта определяется быстродействием.
Быстродействие - это техническая характеристика.
Можно просто увеличить затраты энергии (и отвода тепла) и получить более высокое быстродействие.
А если есть возможность распараллеливания вычислений, то повысить быстродействие ещё проще - увеличь размер системы.