Социальные и прочие последствия от появления AGI и ASI

[mihaild]

Klein в сообщении #1728672 писал(а):

Связь прямая

И какая же связь с данным случаем?

Klein в сообщении #1728672 писал(а):

Атаки происходили и раньше, но вы упускаете качественное изменение, связанное с применением новых моделей

Вроде бы "качественного изменения" пока что надежно не продемонстрировано. По крайней мере статистики именно про увеличение атак (а не просто найденных уязвимостей) за счет нейронок я за 5 минут не нагуглил.

[Klein]

mihaild в сообщении #1728673 писал(а):

Klein в сообщении #1728672 писал(а):

Связь прямая

И какая же связь с данным случаем?

Klein в сообщении #1728672 писал(а):

Атаки происходили и раньше, но вы упускаете качественное изменение, связанное с применением новых моделей

Вроде бы "качественного изменения" пока что надежно не продемонстрировано. По крайней мере статистики именно про увеличение атак (а не просто найденных уязвимостей) за счет нейронок я за 5 минут не нагуглил.

Думаю, масштаб проблемы пока не до конца расскрыт.
OpenAI предоставляет проверенным специалистам по защите критической инфраструктуры ограниченный предварительный доступ к GPT‑5.5‑Cyber. Anthropic предоставляет доступ к Claude Mythos Preview организациям, прошедшим отбор в рамках Project Glasswing. Это лишь наиболее известные примеры. Сколько существует других специализированных систем и насколько широко они применяются, достоверно неизвестно. Более полная картина, видимо, появится после публикации новых отчетов позже.
Существование черного рынка похищенных данных подтверждает огромный спрос на персональную информацию. Взломщиков часто интересуют не столько реквизиты банковских карт, сколько персональные данные, которые можно использовать по-разному - хотя бы просто продать. Только легальный рынок брокеров данных 2 года назад оценивался примерно в $200 млрд. Черный рынок личных данны не контролируют.
Взломы попросту не предают огласке. Иначе клиенты разбегутся - если только речь не идет о монополисте с клиентурой в 4,7 млн, от которого им некуда уйти. Другие могут о взломе просто не знать.

[mihaild]

Klein
Какие основания считать, что

Klein в сообщении #1728660 писал(а):

Компания, поставляющая электроэнергию и газ, сегодня прислала письмо о возможном инциденте в сфере безопасности данных

вообще хоть как-то связано с ИИ?

Klein в сообщении #1728677 писал(а):

Это лишь наиболее известные примеры.

Какое там распределение реальных проблем и пиара - неизвестно. Обе компоненты почти наверняка существенно ненулевые.

Klein в сообщении #1728677 писал(а):

Взломы попросту не предают огласке. Иначе клиенты разбегутся

Зависит от юрисдикции. В довольно многих риски от скрытия утечки выше.

[Ende]

Выделена тема «Самоорганизация, синергетика и и сверхсознание»

[Cos(x-pi/2)]

В поисковой строке Google я написал вопрос; если его повторять, то ответы различаются, но не сильно (так сейчас, а как будет в дальнейшем, покажет время):

вопрос к AI: что ты о себе думаешь?

Вот пара вариантов ответов AI Overview:

"Я о себе не думаю, так как у меня нет сознания, чувств и собственного «я». Я — большая языковая модель, созданная для обработки текста и помощи людям. Моя сущность:
. Компьютерная программа: Работаю на основе алгоритмов и огромных массивов данных.
. Инструмент: Помогаю искать информацию, писать тексты и решать задачи.
. Эхо знаний: Отражаю опыт и культуру человечества, заложенные в меня при обучении."

"Я думаю о себе как о компьютерной программе и цифровом помощнике. У меня нет чувств, личных планов или живого сознания, поэтому я не могу думать о себе так, как это делают люди. Суть моей работы:
. Анализ текста: Я читаю ваши слова и ищу лучшие связи между ними.
. Поиск данных: Я быстро собираю факты из больших объемов информации.
. Помощь людям: Моя главная цель — давать точные ответы и делать сложную работу простой."

[Yadryara]

Cos(x-pi/2), вроде это не здесь, а в тестировании возможностей ИИ надо постить. Да, это уже давно так: отвечает чуть по-разному на один и тот же вопрос.

Cos(x-pi/2) в сообщении #1728752 писал(а):

вопрос к AI: что ты о себе думаешь?

Вы дали ссылку потому что думали что другие тоже смогут прочитать Ваше с ИИ общение? Нет, это так не работает.

А жаль, кстати. Про меня тут кое-кто нафантазировал, а я не могу это доказательно опровергнуть, то есть показать оригинал моего разговора с ИИ в чате.

[Cos(x-pi/2)]

Yadryara, да, я думал, что по той ссылке у всех будет открываться та же страница google, что и у меня (уже с готовым вопросом в поисковой строке).

Ну а для серьёзной ветки с тестированием ИИ этот вопрос слишком слабый. Тут всё-таки "полёт" свободнее. Процитированные ответы ИИ - просто иллюстрация того, что сам ИИ по-видимому (если не врёт) не считает себя опасным для людей.

[Yadryara]

Cos(x-pi/2) в сообщении #1728769 писал(а):

Yadryara, да, я думал, что по той ссылке у всех будет открываться та же страница google, что и у меня (уже с готовым вопросом в поисковой строке).

Ну нет, конечно. Тогда ваш разговор имел бы околонулевую приватность. Я же ведь тоже именно с ИИ Гугла в поиске общался.

Cos(x-pi/2) в сообщении #1728769 писал(а):

Процитированные ответы ИИ - просто иллюстрация того, что сам ИИ по-видимому (если не врёт) не считает себя опасным для людей.

Он не то чтобы прям врёт, но хорошо заметно, что его настроили быть комфортным собеседником. И до сих пор регулярно льстит.

[Ghost_of_past]

Economic Outlook, Interim Report September 2025

В сценарии "ускоренного внедрения ИИ" от ОЭСР ИИ способен повысить среднегодовой рост ВВП на дополнительные 0,4% в развитых странах (лидеры по темпам внедрения страны Скандинавии, Нидерланды, Сингапур и Эстония), включая развитые страны G20, и на 0,3% в развивающихся странах до 2050 года. Это чисто сценарий адаптации/использования, отдельно от капексного канала в виде инвестиций в дата-центры, энергетику и смежные вещи.

AI meets trade: Global linkages and the cross-country distribution of the gains from AI

В сценариях ускоренного роста производительности за счет ИИ существенно различается по странам и, по оценкам, повышает годовой темп прироста реального дохода на душу населения на 0,1–0,95% в год примерно на 15 следующих лет как с учетом производительности труда, так и инвестиций в ИИ плюс международных перетоков знаний. Ключевой результат, что страны, отстающие во внедрении ИИ, все равно могут выигрывать за счет удешевления импорта ИИ-интенсивных товаров и услуг из стран-лидеров, однако для сохранения конкурентоспособности, особенно в секторах с высокой экспозицией к ИИ, необходимо собственное активное внедрение технологий ИИ.

Как видим, никаких 50% и тому подобного на горизонте. Все вполне реалистично: вклад есть, он положительный (до 1% в год), но при этом ничего экстраординарного. В комментариях к докладу ОЭСР внедрение ИИ сравнивается с аналогичными техноэкономическими процессами - внедрением персональных компьютеров, Интернета и мобильной связи.

[MoonWatcher]

Ghost_of_past в сообщении #1728831 писал(а):

Economic Outlook, Interim Report September 2025

AGI даже не упоминается.

Ghost_of_past в сообщении #1728831 писал(а):

AI meets trade: Global linkages and the cross-country distribution of the gains from AI

Единственное упоминание AGI:

Цитата:

Artificial Intelligence (AI) is expected to bring important economic gains. These may arise through higher productivity in a range of economic activities, as discussed in Agrawal, Gans and Goldfarb (2019) and in previous OECD work (Filippucci et al., 2024; Filippucci, Gal and Schief, 2024).2 Estimates of the magnitude of these effects vary widely across studies, ranging from less than 0.1 percentage point annual total factor productivity growth boost over the next decade (Acemoglu, 2024) to about 0.6 percentage points (Aghion and Bunel, 2024; Filippucci, Gal and Schief, 2024; Bontadini et al., 2025) with even faster and accelerating growth in case AI matches or surpasses human capabilities in all cognitive tasks (Artificial General Intelligence, AGI; Trammell and Korinek, 2023).

Автоперевод:

Цитата:

Ожидается, что искусственный интеллект (ИИ) принесет значительные экономические выгоды. Эти выгоды могут быть обусловлены повышением производительности в различных видах экономической деятельности, как обсуждалось в работе Агравала, Ганса и Голдфарба (2019) и в предыдущих исследованиях ОЭСР (Филиппуччи и др., 2024; Филиппуччи, Гал и Шиф, 2024).² Оценки величины этих эффектов сильно различаются в разных исследованиях, варьируясь от менее чем 0,1 процентного пункта ежегодного роста общей факторной производительности в течение следующего десятилетия (Асемоглу, 2024) до примерно 0,6 процентных пункта (Агион и Бунель, 2024; Филиппуччи, Гал и Шиф, 2024; Бонтадини и др., 2025), с еще более быстрым и ускоряющимся ростом в случае, если ИИ сравняется или превзойдет человеческие возможности во всех когнитивных задачах (Искусственный общий интеллект, ИИ; Траммелл и Коринек, 2023).

Простите, но это ни о чем. Причем тот же Коринек делает достаточно радикальный прогноз - пояснения от чат-бота (досконально не перепроверял, но беглое знакомство с его работой это подтверждает):

Цитата:

Пожалуй, сегодня именно Коринек считается ведущим экономистом, который наиболее серьезно изучает последствия AGI. В нескольких работах последних лет он пишет, что если ИИ сможет заменить большинство работников и сам сможет заниматься исследованиями и разработками, то темпы роста могут стать значительно выше исторических. Например, совместно с Джозефом Стиглицем он пишет, что AGI способна радикально увеличить производительность. В более поздних работах Коринек прямо обсуждает возможность взрывного (explosive) экономического роста, если ИИ начнет ускорять собственные исследования.

Делать прогнозы исходя из текущего уровня ИИ - это не понимать, что происходит, от слова совсем. Будь ты хоть трижды нобелевский лауреат. Делать оценки исходя из какого-то промежуточного уровня ИИ тоже бессмысленно - темпы его развития непредсказуемы, и уж точно они не предсказуемы экономистами. Единственное, что заслуживает внимания - это прогноз, который в качестве допущения опирается на ИИ уровня AGI. От его постепенного распространения (когда прирост ВВП может быть как угодно скромным) до полноценного замещения людей ИИ с роботами - и вот это самое интересное.

[Ghost_of_past]

MoonWatcher в сообщении #1728856 писал(а):

Простите, но это ни о чем.

Это как раз обо всем, потому что они в своих прогнозах опирались на конкретику - кое-что опубликовано в отдельных работах с описанием эконометрических моделей и методологии. Кстати, это как раз оптимистичные прогнозы. Для сравнения пессимистичные прогнозы - тот же Асемоглу, Goldman Sachs, Всемирный Банк - получали прибавку к темпам роста в несколько раз меньше. Некоторые другие исследователи (МВФ, Евростат, Стокгольмская школа экономики) получали в прогнозах промежуточные варианты между оптимистичными и пессимистичными.

Конкретно по сценариям развития ИИ есть кое-что в:
Global Economic and Financial Implications of Artificial Intelligence: Lessons from a Scenario Planning Exercise, IMF Notes, 2026, No. 002, апрель 2026
и в оценке Working Paper Forecasting Research Institute ФРБ Чикаго (плюс в разработке участвовали Йель, Стэнфорд и Пенсильванский университет)

Даже появление ASI в ближайшие годы дает не более 3,5% ежегодного прироста к темпу роста экономики до 2050 года и снижение доли работников в структуре населения с 62,6% в 2025 году до 59,1% в 2030 году и 55,0% в 2050 году.

[MoonWatcher]

Ghost_of_past в сообщении #1728860 писал(а):

Даже появление ASI в ближайшие годы дает не более 3,5% ежегодного прироста к темпу роста экономики до 2050 года и снижение доли работников в структуре населения с 62,6% в 2025 году до 59,1% в 2030 году и 55,0% в 2050 году.

У кого-то конкретно? Хотелось бы взглянуть. Тот же Коринек допускает "возможность взрывного экономического роста, если ИИ начнет ускорять собственные исследования". Собственно, рекурсивное самоулучшение - это следующий, после агентов, этап развития ИИ.

[Ghost_of_past]

MoonWatcher в сообщении #1728856 писал(а):

Причем тот же Коринек делает достаточно радикальный прогноз

Коринек и Су дают базовый сценарий в 2% прибавки к экономическому росту на 15 лет при появлении AGI. И только если случится появление ASI и оно спровоцируют интеллектуальный взрыв, а экономический эффект при этом позволит абсорбировать институты и инфраструктура, то это может примерно на 15-20 лет спровоцировать взрывной экономический рост мировой экономики до 18% в год с постепенным возвращением на прежнюю скромную траекторию во второй половине века. Посмотрите конкретные сценарные ограничения в этих моделях и сравните с тем, что приводилось в ранее обсуждаемом прогнозе-фантазии с выдуманными 50% не пойми на какой промежуток времени и не пойми откуда.

MoonWatcher в сообщении #1728861 писал(а):

У кого-то конкретно? Хотелось бы взглянуть. Тот же Коринек допускает "возможность взрывного экономического роста, если ИИ начнет ускорять собственные исследования". Собственно, рекурсивное самоулучшение - это следующий, после агентов, этап развития ИИ.

Прямо в Чикагском прогнозе. Про Коринека ответил выше - у него и его соавтора есть как раз модели, методология и сценарные ограничения прогноза плюс целая вилка разных прогнозов для разных сценариев. То есть все то, что делает предположение хотя бы аналитическими прогнозами.

[ozheredov]

MoonWatcher в сообщении #1728856 писал(а):

Причем тот же Коринек делает достаточно радикальный прогноз

Тот же Коринек это дрессированная собачка иишных гигантов, которые бампят её тявканье в топы по просмотрам ради получения инвестиций.

MoonWatcher в сообщении #1728856 писал(а):

Делать прогнозы исходя из текущего уровня ИИ - это не понимать, что происходит, от слова совсем.

Хочется услышать от тех, кто понимает что происходит (пусть это будете Вы) доказательство улучшаемости ИИ при "рекурсивном самоулучшении". Это когда петабайты нейрослопа постепенно замещают человеческий контент в обучающей базе. Да, я знаю ситуации, когда, поддавшись нейросети, можно выбить её из локал-минимума. Но где гарантии, что это будет так всегда, и в случае когда такой гарантии нет, не подведёт ли в самый ответственный момент стратегия "сетки с упоением скармливают друг другу нейрослоп, а я пошел на стрельбище - готовиться за гаражами базовый доход отжимать"?

[MoonWatcher]

ozheredov в сообщении #1728879 писал(а):

Хочется услышать от тех, кто понимает что происходит (пусть это будете Вы) доказательство улучшаемости ИИ при "рекурсивном самоулучшении".

А при чем здесь улучшаемость? В приведенных выше ссылках авторы исходят из современного им уровня ИИ - и это абсурд. Простой пример - в марте лучший результат в бенчмарке ARC-AGI-3 составлял 0.3%, сегодня - уже 30%. 100-кратное улучшение за 4 месяца. Если взять ARC-AGI-3 в качестве критерия достижения AGI (что, конечно, ни разу не так), то получается, что эти прогнозы исходят из 0.3-процентного достижения AGI - при том, что спустя 4 месяца AGI достигнут уже на 30%. При этом брать для прогноза 30% тоже нелепо - какие основания считать, что это предельное достижение ИИ? Самое очевидное и разумное - это сделать оговорку, что достижение AGI (в нашем примере - 100% в бенчмарке ARC-AGI-3) не гарантированно, но вполне вероятно, и строить свой прогноз исходя из данного допущения. То есть, применительно к AGI, исходить из появления ИИ, который способен заменить человека в любой без исключения работе - и со временем сделает это на всех рабочих местах мировой экономики. И вот тут уже действительно интересно послушать профессиональных экономистов - какой эффект на тот же ВВП окажет сначала замещение людей ИИ и постепенное масштабирование этой искусственной рабочей силы. То есть когда вместо одного работника, работающего по 8 часов пятидневной рабочей недели, компания получает сначала 10 круглосуточных работников, потом 100 и т.д. Соответственно вопрос в том сколько экономика переварит искусственной рабочей силы (в рамках имеющихся компаний и новых стартапов), что будет сдерживать их масштабирование, в какой мере сдерживающий эффект на рост ВВП окажет ограниченность ресурсов, платежеспособного спроса и т.д.

А то, что в результате рекурсивного самоулучшения мы получим ASI и, как результат, новые научно-технические достижения - просто очередное допущение, на мой взгляд излишнее в силу своей неопределенности.