Социальные и прочие последствия от появления AGI и ASI

[Ghost_of_past]

MoonWatcher в сообщении #1728916 писал(а):

Простой пример - в марте лучший результат в бенчмарке ARC-AGI-3 составлял 0.3%, сегодня - уже 30%. 100-кратное улучшение за 4 месяца. Если взять ARC-AGI-3 в качестве критерия достижения AGI (что, конечно, ни разу не так), то получается, что эти прогнозы исходят из 0.3-процентного достижения AGI - при том, что спустя 4 месяца AGI достигнут уже на 30%. При этом брать для прогноза 30% тоже нелепо - какие основания считать, что это предельное достижение ИИ? Самое очевидное и разумное - это сделать оговорку, что достижение AGI (в нашем примере - 100% в бенчмарке ARC-AGI-3) не гарантированно, но вполне вероятно, и строить свой прогноз исходя из данного допущения.

Перенос процента в бенчмарке ARC AGI 3 на процент достижения AGI - это скорее категориальная ошибка. Скачок с 0,3 до 30% отражает не приближение к некой абсолютной шкале "человекоподобности", а типичную для бенчмарков динамику: сначала модель почти не решает задачи специфического формата, затем разработчики целенаправленно дообучают ее под конкретный тип задач (часто через RL с подкреплением именно на этом классе задач), результат резко растет, а потом насыщается задолго до 100%. Мы это уже видели на ARC AGI 1 (рост с процентов до почти полного решения за пару лет) и на десятках других бенчмарков (MMLU, GSM8K, HumanEval). Резкий рост числа решенных задач конкретного бенчмарка не равен пропорциональному росту доли автоматизируемых профессий или доли задач в реальной экономике, которые ИИ способен выполнить не хуже человека: по MMLU многие модели уже показывают 90%+, но это не значит, что по этой метрике AGI достигнут на 90% - это явно не соответствует реальности рынка труда даже приблизительно.

MoonWatcher в сообщении #1728916 писал(а):

То есть, применительно к AGI, исходить из появления ИИ, который способен заменить человека в любой без исключения работе - и со временем сделает это на всех рабочих местах мировой экономики.

Посмотрите внимательно работы того же Коринека: нет там предположения о полном замещении человеческого труда. Взгляните хотя бы на его работу с Филиппом Траммеллом: статья систематически разбирает, какие факторы (эффект Баумоля в незаменимых человеком товарах и услугах, ограниченность земли и энергии, скорость накопления физического капитала, скорость правового и организационного согласования, готовность социальных и экономических институтов обеспечить фон для более быстрого экономического роста) способны затормозить рост ВВП даже при неограниченном предложении виртуальных работников.

MoonWatcher в сообщении #1728916 писал(а):

платежеспособного спроса

Классический аргумент здесь еще Асемоглу сформулировал: даже при неограниченном предложении дешевого труда ИИ-агентов рост ВВП может тормозиться тем, что замещение человеческого труда снижает трудовые доходы значительной части населения, а значит и совокупный потребительский спрос, если механизм перераспределения выигрыша от роста производительности (через налоги, дивиденды на капитал, новые формы дохода) не успевает за скоростью замещения. В результате снижения платежеспособного спроса ВВП может даже упасть в итоге, если произойдет замещение человеческого труда, что сделает применение ИИ крайне неэффективным.

[MoonWatcher]

Ghost_of_past в сообщении #1728862 писал(а):

Коринек и Су дают базовый сценарий в 2% прибавки к экономическому росту на 15 лет при появлении AGI. И только если случится появление ASI и оно спровоцируют интеллектуальный взрыв, а экономический эффект при этом позволит абсорбировать институты и инфраструктура, то это может примерно на 15-20 лет спровоцировать взрывной экономический рост мировой экономики до 18% в год с постепенным возвращением на прежнюю скромную траекторию во второй половине века.

Можно источник? Вроде бы его главная работа на эту тему - Scenarios for the Transition to AGI, и там ASI даже не упоминается:

Цитата:

In the baseline AGI scenario, wages grow slightly during the initial periods but then collapse before full automation is reached. After the collapse, wages are equal to the returns to capital, and the economy remains in region 2 where labor and capital are perfectly substitutable, with steady-state growth of 18% per year. In the aggressive AGI scenario, the wage collapse happens after about 3 years. Since the scarcity of labor is relieved earlier than in the baseline AGI scenario, the growth take-off occurs earlier.

Цитата:

В базовом сценарии с AGI заработная плата незначительно растет в начальные периоды, но затем резко падает до достижения полной автоматизации. После этого падения заработная плата становится равной доходности капитала, и экономика остается во второй области, где труд и капитал полностью взаимозаменяемы, с устойчивым ростом на 18% в год. В агрессивном сценарии с AGI обвал заработной платы происходит примерно через 3 года. Поскольку дефицит рабочей силы устраняется раньше, чем в базовом сценарии с AGI, начало роста происходит раньше.

Ghost_of_past в сообщении #1728862 писал(а):

Прямо в Чикагском прогнозе. Про Коринека ответил выше - у него и его соавтора есть как раз модели, методология и сценарные ограничения прогноза плюс целая вилка разных прогнозов для разных сценариев. То есть все то, что делает предположение хотя бы аналитическими прогнозами.

Вы писали, что "даже появление ASI в ближайшие годы дает не более 3,5% ежегодного прироста к темпу роста экономики до 2050 года". В чикагской работе упоминание ASI просто отсутствует. А если вы перепутали с AGI, то мой поиск по слову "AGI" также не подтверждает ваших слов - AGI упоминается отдельно от прогноза экономического роста в условиях "rapid scenario".

[ozheredov]

MoonWatcher в сообщении #1728916 писал(а):

Простой пример - в марте лучший результат в бенчмарке

Бенчмарки не имеют никакого отношения имеют отношение к реальным задачам на 50% в том смысле, что не прохождение "честного" бенчмарка означает гарантированный фейл, а прохождение не означает ничего. Это типа как записывать в сборную по футболу на основании теста, умею ли я стоять вертикально на двух ногах. Давайте уже перейдем ко второй главе, а? Итак, Глава 2. Часть, в которой ASI нас убивает (ну, мы фантазируем и как будто пишем сюжет компьютерной игры наподобие Portal 2)

MoonWatcher в сообщении #1728916 писал(а):

То есть когда вместо одного работника, работающего по 8 часов пятидневной рабочей недели, компания получает сначала 10 круглосуточных работников, потом 100 и т.д.

Допустим, получили (ну просто примем за отправную точку, что получили). Откуда следует, что вырос PvP PvE тьху, ВВП? Раньше к примеру книжки с любовью делали, они были редкостью и стоили как поместье. Теперь их делают на отвяжись и много, и стоят они тыщу рублей. Вырос ВВП? Ну сделали эти триллионы роботов миллиард тонн колбасы, она сгнила, и чё? Сделали в сто тысяч раз больше смартфонов, так каждый телефон стал стоить рубль. Вырос ВВП? Основной объем составляет рынок услуг. Стрижка стоит(ЛА) 3500. Парикмахершу уволили к чертям, толпы нанороботов затаскивают клиентов насильно и филигранно стригут на 3d-принтере. Стрижка тоже обесценилась. Ну и на чем ASI будет ВВП поднимать? Доказывать пачками теоремы Эрдёша? Так они только тогда и ценны, когда это штучный товар. Раньше какой-нибудь фараон мог отдать 700 быков и 200 фигуристых наложниц за решение задачи, которую сегодня двоешник решает в пятом классе, благодаря наличию алгоритма.

Чистый воздух, пресная вода, лес и поле до горизонта и экологичная еда - то, что по-настоящему ценно (на что цена будет расти экспоненциально, по мере приближения к помоечной сингулярности (в которую я вполне себе верю, ибо производная, пропорциональная самой хвункции, видна сегодня невооруженным взглядом)), не сделает ни человек, ни ASI. Не потому что принципиально не может (хвизика не пускает), а потому что задачи такой не будет. Эволюцию в среднем выигрывает не тот, кто созидает, а тот, кто разрушает - поэтому прогресс иллюзия.

[MoonWatcher]

Ghost_of_past в сообщении #1728920 писал(а):

Перенос процента в бенчмарке ARC AGI 3 на процент достижения AGI - это скорее категориальная ошибка. Скачок с 0,3 до 30% отражает не приближение к некой абсолютной шкале "человекоподобности", а типичную для бенчмарков динамику: сначала модель почти не решает задачи специфического формата, затем разработчики целенаправленно дообучают ее под конкретный тип задач (часто через RL с подкреплением именно на этом классе задач), результат резко растет, а потом насыщается задолго до 100%. Мы это уже видели на ARC AGI 1 (рост с процентов до почти полного решения за пару лет) и на десятках других бенчмарков (MMLU, GSM8K, HumanEval). Резкий рост числа решенных задач конкретного бенчмарка не равен пропорциональному росту доли автоматизируемых профессий или доли задач в реальной экономике, которые ИИ способен выполнить не хуже человека: по MMLU многие модели уже показывают 90%+, но это не значит, что по этой метрике AGI достигнут на 90% - это явно не соответствует реальности рынка труда даже приблизительно.

К чему вы это написали, если я сам же сказал "что, конечно, ни разу не так"? Еще раз: я привел это в качестве примера безнадежного устаревания оценок, опирающихся на современный им уровень развития ИИ.

Ghost_of_past в сообщении #1728920 писал(а):

Посмотрите внимательно работы того же Коринека: нет там предположения о полном замещении человеческого труда.

А я как раз предлагаю исходить из полного замещения человеческого труда - это неизбежное следствие AGI. Которое ни разу не опровергают упомянутые вами исследования недовольства пользователей тупыми ботами в колл-центрах. AGI - это по определению то, что может заменить человека. И значит заменит - ну хотя бы в 99% специальностей (оставим 1% для фанатиков, которым непременно надо шашечки, а не ехать).

Ghost_of_past в сообщении #1728920 писал(а):

Взгляните хотя бы на [url=philiptrammell.com/static/economic_growth_under_transformative_ai.pdf]его работу с Филиппом Траммеллом[/url]: статья систематически разбирает, какие факторы (эффект Баумоля в незаменимых человеком товарах и услугах, ограниченность земли и энергии, скорость накопления физического капитала, скорость правового и организационного согласования, готовность социальных и экономических институтов обеспечить фон для более быстрого экономического роста) способны затормозить рост ВВП даже при неограниченном предложении виртуальных работников.

Я с этим не спорю и как раз вижу в этом главное предназначение экономистов. Но исходить они при этом должны именно из AGI.

Ghost_of_past в сообщении #1728920 писал(а):

Классический аргумент здесь еще Асемоглу сформулировал: даже при неограниченном предложении дешевого труда ИИ-агентов рост ВВП может тормозиться тем, что замещение человеческого труда снижает трудовые доходы значительной части населения, а значит и совокупный потребительский спрос, если механизм перераспределения выигрыша от роста производительности (через налоги, дивиденды на капитал, новые формы дохода) не успевает за скоростью замещения. В результате снижения платежеспособного спроса ВВП может даже упасть в итоге, если произойдет замещение человеческого труда, что сделает применение ИИ крайне неэффективным.

Это довольно спорно, поскольку исходит из допущения, что люди останутся не только без работы, но и без заработка. Игнорируется не только ББД, но и то, что он наверняка будет привязан к общему росту производительности.

[Ghost_of_past]

MoonWatcher в сообщении #1728921 писал(а):

Вроде бы его главная работа на эту тему

У Коринека несколько десятков работ на эту тему. Вы читали их? Он так-то считается чуть ли не главным оптимистом среди экономистов по поводу экономических последствий применимости ИИ.

MoonWatcher в сообщении #1728921 писал(а):

Вы писали, что "даже появление ASI в ближайшие годы дает не более 3,5% ежегодного прироста к темпу роста экономики до 2050 года". В чикагской работе упоминание ASI просто отсутствует

Вы работу прочитали? Не поиском слов в тексте, а сам текст полностью? Авторы сознательно не используют ни термин AGI, ни ASI, а работают через конкретные поведенческие бенчмарки, но rapid scenario - это и есть "сценарий, при котором ИИ превосходит человека в большинстве когнитивных и физических задач", т.е. буквально ASI, пусть скорее и более слабая его разновидность. Цифра 3,5% годового роста ВВП к 2050 году как раз медианный прогноз экономистов именно в rapid scenario, который по описанию сильнее, чем стандартное определение AGI (полная замена человека почти во всех задачах, а не просто общий интеллект человеческого уровня). Более того, в тексте статьи авторы сами явно противопоставляют свой результат более радикальным ASI-подобным прогнозам: они прямо пишут, что даже в таком сценарии экономисты не прогнозируют десятикратного роста темпов экономического роста до примерно 30%, обсуждаемого в литературе (со ссылкой на работу Дэвидсона 2021 года, и на позицию Амодеи).

[MoonWatcher]

Ghost_of_past в сообщении #1728924 писал(а):

У Коринека несколько десятков работ на эту тему. Вы читали их? Он так-то считается чуть ли не главным оптимистом среди экономистов по поводу экономических последствий применимости ИИ.

Я попросил у вас конкретный источник - и в ответ вы мне предлагаете перечитать все его работы?

Ghost_of_past в сообщении #1728924 писал(а):

Вы работу прочитали? Не поиском слов в тексте, а сам текст полностью? Авторы сознательно не используют ни термин AGI, ни ASI, а работают через конкретные поведенческие бенчмарки, но rapid scenario - это и есть "сценарий, при котором ИИ превосходит человека в большинстве когнитивных и физических задач", т.е. буквально ASI, пусть скорее и более слабая его разновидность. Цифра 3,5% годового роста ВВП к 2050 году как раз медианный прогноз экономистов именно в rapid scenario, который по описанию сильнее, чем стандартное определение AGI (полная замена человека почти во всех задачах, а не просто общий интеллект человеческого уровня). Более того, в тексте статьи авторы сами явно противопоставляют свой результат более радикальным ASI-подобным прогнозам: они прямо пишут, что даже в таком сценарии экономисты не прогнозируют десятикратного роста темпов экономического роста до примерно 30%, обсуждаемого в литературе (со ссылкой на работу Дэвидсона 2021 года, и на позицию Амодеи).

Встречный вопрос - вы работу прочитали? Похоже, что невнимательно. Вы пишете, что rapid scenario - это и есть "сценарий, при котором ИИ превосходит человека в большинстве когнитивных и физических задач", т.е. буквально ASI, пусть скорее и более слабая его разновидность. Во-первых, слабая разновидность ASI - это оксюморон. AGI - это уровень человека, ASI - это уровень, который превосходит все человечество. Давайте не будем подменять устойчивые термины отсебятиной, которая полностью значения этих терминов нивелирует. Во-вторых, в rapid scenario ИИ не превосходит человека даже в большинстве когнитивных и физических задач - он превосходит его во МНОГИХ задачах (many cognitive and physical tasks). То есть это по определению ни AGI, ни тем более ASI.

[Ghost_of_past]

MoonWatcher в сообщении #1728923 писал(а):

А я как раз предлагаю исходить из полного замещения человеческого труда

Предполагаете исходить - исходите, никто же не запрещает. Придумайте эконометрическую модель и опубликуйте результаты, как это сделал Коринек. Будем предметно обсуждать.

MoonWatcher в сообщении #1728923 писал(а):

Но исходить они при этом должны именно из AGI.

Коринек из него и исходил. Ни полной замены человеческого труда, ни исчезновения других факторов при этом в его работах нет. Если не согласны с Коринеком, а пока обсуждать нечего: с Коринеком можно не соглашаться (большинство экономистов считают его позицию супероптимистичной и таки не соглашаются), но у Коринека есть понятные модели и методология, которые он использует для прогнозирования, поэтому его цитируют в научных работах и аналитических докладах.

MoonWatcher в сообщении #1728923 писал(а):

Это довольно спорно, поскольку исходит из допущения, что люди останутся не только без работы, но и без заработка. Игнорируется не только ББД, но и то, что он наверняка будет привязан к общему росту производительности.

А теперь у меня и следующий вопрос: Вы Асемоглу читали внимательно? Он не утверждал, что перераспределения не будет никогда, а утверждал, что риск в скорости: успеет ли введение ББД за темпом замещения труда. Это разные тезисы.

Тут стоит разделить три отдельных вопроса, которые вы смешали в одном возражении.

Первый: возможен ли в принципе ББД или иной механизм перераспределения, привязанный к росту производительности. Да, возможен, и это уже упоминалось среди вариантов политики. Но возможность механизма не означает его автоматическое появление вовремя. Для введения ББД в масштабе, компенсирующем потерю трудовых доходов значительной части населения, нужны законодательные решения, налоговая реформа и политический консенсус, а эти процессы исторически крайне медленные и конфликтные - посмотрите хотя бы на Швейцарию, где отказались от введения ББД. Замещение труда ИИ-агентами, если оно действительно масштабируется так, как Вы описывали в своем примере с виртуальными сотрудниками, может происходить кварталами, а не десятилетиями. Именно этот разрыв темпов и есть предмет спора, а не факт существования концепции ББД как таковой.

Второй: даже если ББД будет введен, критичен его размер и источник финансирования. Если он финансируется через налог на капитал или на прибыль компаний, использующих труд ИИ-агентов, то способен ли он восстановить потребительский спрос? Но именно эта часть (кто и как облагается налогом, как оперативно перераспределяется рента от автоматизации) остается наиболее спорной и политически трудной, а не тривиальной технической деталью. Если же ББД финансируется за счет долга или эмиссии без опоры на реальный рост производимой стоимости, возникает инфляционный риск, который снижает реальную покупательную способность компенсации.

Третий: даже при удачном введении ББД остается вопрос структуры спроса, а не только совокупного уровня дохода. Вы правильно фиксируете идею, что совокупный доход населения теоретически может быть сохранен через трансферт. Но аргумент о сдерживающем эффекте на ВВП не только про уровень дохода, а про то, что люди, потерявшие работу и получающие фиксированную выплату вместо трудового дохода, меняют структуру потребления, и она может не совпадать со структурой спроса, нужной для поддержания того же уровня ВВП в тех же секторах, особенно с учетом эффекта Баумоля в неавтоматизируемых товарах и услугах.

Так что правильнее сформулировать так: идея сдерживающего эффекта через спрос не игнорирует ББД, а прямо ставит вопрос, успеет ли по времени и по масштабу тот самый механизм перераспределения, о котором вы говорите, компенсировать скорость замещения. Асемоглу совершенно справедливо считает, что пока нет эмпирических оснований считать это гарантированным, особенно с учетом исторической скорости принятия подобных реформ по сравнению с потенциальной скоростью развертывания ИИ-агентов, о которой шла речь в вашем же исходном вопросе про масштабирование искусственной рабочей силы.

[MoonWatcher]

Ghost_of_past
Я конечно чрезвычайно озабочен несвоевременностью распределения ББД - но еще больше озабочен риском Третьей мировой. При которой может вырасти не столько ВВП, сколько ядерный гриб... И поскольку прогнозировать рост экономики в условиях, мягко говоря, политической нестабильности - дело неблагодарное, в своих допущениях я исхожу из того, что переходный период (который, как я уже говорил в начале темы, наверняка будет очень болезненным) уже преодолен. В противном случае имеем такую неопределенность, что любой прогноз просто бессмысленен.

[Ghost_of_past]

MoonWatcher в сообщении #1728926 писал(а):

Я попросил у вас конкретный источник - и в ответ вы мне предлагаете перечитать все его работы?

Ну то есть работы едва ли не самого известного экономиста-оптимиста в отношении ИИ в экономике Вы не читали? Ок.

Ссылку на работу с Траммеллом я уже давал, также можно посмотреть:
1) "Scenario Planning for an AGI Future", кажется 2023 года,
2) совместную работу Davidson, T., Halperin, B., Houlden, T., Korinek, A. (2026). When Does Automating AI Research Produce Explosive Growth? Feedback Loops in Innovation Networks

MoonWatcher в сообщении #1728926 писал(а):

Во-первых, слабая разновидность ASI - это оксюморон.

Различение сильных и слабых форм сверхинтеллекта существует в самой литературе по этой теме, а не является отсебятиной. У Бострома, который в этой сфере считается живым классиком, в "Superintelligence" прямо выделяются разные виды сверхинтеллекта по форме превосходства: speed superintelligence (быстрее человека, но не обязательно во всем качественно превосходящий), collective superintelligence (агрегированное превосходство группы систем) и quality superintelligence (качественное превосходство по глубине понимания). Так что сама идея частичного или ограниченного по охвату сверхинтеллекта, превосходящего человека в одних доменах сильнее, чем в других, не противоречит понятию ASI по определению, а как раз является частью стандартной типологии внутри этого понятия.

MoonWatcher в сообщении #1728926 писал(а):

Во-вторых, в rapid scenario ИИ не превосходит человека даже в большинстве когнитивных и физических задач - он превосходит его во МНОГИХ задачах (many cognitive and physical tasks). То есть это по определению ни AGI, ни тем более ASI.

Цитата:

In the 'rapid' scenario, AI systems surpass humans in most cognitive and physical tasks.

Это прямая цитата из тела статьи, а не из аннотации, и там используется именно "most", а не "many". Там же есть детализация с конкретными примерами (автономные исследователи сжимают многолетние исследовательские циклы до месяцев, ИИ превосходит всех фриланс-разработчиков, специалистов поддержки, помощников юристов и клерков, роботы способны работать в произвольном доме или на произвольном производстве в любой точке мира). Такой охват перечисленных задач, а там указаны research, problem solving, creativity, agency, robotics одновременно, по совокупности точно выходит за рамки определения AGI как "человеческого уровня в большинстве интеллектуальных задач" у Бострома и по формальным признакам (не по названию, а по содержанию) ближе именно к слабой форме сверхчеловеческого превосходства, а не к простому паритету с человеком.

-- добавлено через 6 минут --

MoonWatcher в сообщении #1728929 писал(а):

в своих допущениях я исхожу из того, что переходный период (который, как я уже говорил в начале темы, наверняка будет очень болезненным) уже преодолен

Я обсуждаю конкретные работы и конкретных авторов. Мы можем с Вами быть сколько угодно не согласны с мнением друг друга, но если мы не опираемся на конкретные работы авторов, с которыми ознакомились хотя бы минимально подробно, то наша дискуссия просто провисает в воздухе, Вы же сами это прекрасно понимаете.

У меня пока нет ощущения, что Вы подробно ознакомились с аргументацией как пессимистов (Асемоглу), так и оптимистов (Коринек), говорю это честно.

[MoonWatcher]

Ghost_of_past в сообщении #1728930 писал(а):

Ну то есть работы едва ли не самого известного экономиста-оптимиста в отношении ИИ в экономике Вы не читали? Ок.

Ну то есть Scenarios for the Transition to AGI - это не работа едва ли не самого известного экономиста-оптимиста в отношении ИИ в экономике? Ок.

Ghost_of_past в сообщении #1728930 писал(а):

Ссылку на работу с Траммеллом я уже давал, также можно посмотреть:
1) "Scenario Planning for an AGI Future", кажется 2023 года,

Я там даже 18% не нашел. Можно конкретную страницу в подтверждение ваших слов ("если случится появление ASI и оно спровоцируют интеллектуальный взрыв, а экономический эффект при этом позволит абсорбировать институты и инфраструктура, то это может примерно на 15-20 лет спровоцировать взрывной экономический рост мировой экономики до 18% в год с постепенным возвращением на прежнюю скромную траекторию во второй половине века")?

Ghost_of_past в сообщении #1728930 писал(а):

2) совместную работу Davidson, T., Halperin, B., Houlden, T., Korinek, A. (2026). When Does Automating AI Research Produce Explosive Growth? Feedback Loops in Innovation Networks

Аналогично.

Ghost_of_past в сообщении #1728930 писал(а):

Различение сильных и слабых форм сверхинтеллекта существует в самой литературе по этой теме, а не является отсебятиной. У Бострома, который в этой сфере считается живым классиком, в "Superintelligence" прямо выделяются разные виды сверхинтеллекта по форме превосходства: speed superintelligence (быстрее человека, но не обязательно во всем качественно превосходящий), collective superintelligence (агрегированное превосходство группы систем) и quality superintelligence (качественное превосходство по глубине понимания). Так что сама идея частичного или ограниченного по охвату сверхинтеллекта, превосходящего человека в одних доменах сильнее, чем в других, не противоречит понятию ASI по определению, а как раз является частью стандартной типологии внутри этого понятия.

При желании можно найти какие угодно классификации ИИ - к чему это в контексте данной темы? В последнее время эта терминология вполне устоялась: AGI - уровень человека, ASI - выше уровня человечества. Оно конечно можно до бесконечности переливать из пустого в порожнее и эти два определения, но в контексте этого обсуждения под AGI имеется в виду способность заменить любого работника (будь то оператор колл-центра или ученый, а в перспективе - и людей физического труда), а под ASI - то, что приведет к новым научным открытиям и изобретениям.

Ghost_of_past в сообщении #1728930 писал(а):

Это прямая цитата из тела статьи, а не из аннотации, и там используется именно "most", а не "many". Там же есть детализация с конкретными примерами (автономные исследователи сжимают многолетние исследовательские циклы до месяцев, ИИ превосходит всех фриланс-разработчиков, специалистов поддержки, помощников юристов и клерков, роботы способны работать в произвольном доме или на произвольном производстве в любой точке мира). Такой охват перечисленных задач (research, problem solving, creativity, agency, robotics одновременно) по совокупности точно выходит за рамки определения AGI как "человеческого уровня в большинстве интеллектуальных задач" у Бострома и по формальным признакам (не по названию, а по содержанию) ближе именно к слабой форме сверхчеловеческого превосходства, а не к простому паритету с человеком.

То есть налицо небрежное обращение с этим понятием в самой статье - в аннотации many, в основном тексте - most. И действительно - к черту подробности! В любом случае, повторюсь, в контексте этой темы речь идет об ИИ, который может заменить человека в любой специальности - сначала интеллектуальной, а потом вообще. Иначе, повторяю, это все равно, что в своем прогнозе оценивать ИИ по 0.3% в ARC-AGI-3 - при том, что на момент обсуждения статьи достигнуты 30%, а еще через год возможно будут все 100%.

-- добавлено через 19 минут --

Ghost_of_past в сообщении #1728930 писал(а):

Я обсуждаю конкретные работы и конкретных авторов. Мы можем с Вами быть сколько угодно не согласны с мнением друг друга, но если мы не опираемся на конкретные работы авторов, с которыми ознакомились хотя бы минимально подробно, то наша дискуссия просто провисает в воздухе, Вы же сами это прекрасно понимаете.

У меня пока нет ощущения, что Вы подробно ознакомились с аргументацией как пессимистов (Асемоглу), так и оптимистов (Коринек), говорю это честно.

Я не вижу в этом смысла до тех пор, пока нет понимания из какого уровня развития ИИ они исходят. Если это нечто расплывчатое и неопределенное, вроде не то many, не то most cognitive and physical tasks, то и надежность прогнозов будет столь же расплывчатой. А если эта аргументация вдобавок содержит оговорку о трудностях переходного периода (вполне разумную и справедливую) и учитывает ее в своей оценке, то это еще одна неопределенность - которая может варьировать в сколь угодно широком диапазоне. Единственное, что лично мне интересно обсуждать в этой теме применительно к конкретным численным прогнозам по ВВП - это допущение, что 1) ИИ повсеместно вытеснил человека на работе и 2) экономика преодолела все трудности переходного периода. И в любом случае непонятно как можно оценки роста ВВП исходя из всех эти неопределенностей (в отношении уровня развития ИИ и продолжительности переходного периода) противопоставлять оценкам, где, судя по всему, исходят из моих допущений, которые снимают все эти неопределенности.

Оно конечно понятно, что научные работы обязаны охватывать как можно большее количество допущений (хотя было бы неплохо, если эти допущения были более четкими и конкретными) - но здесь обмен не докторскими диссертациями, а мнениями. В рамках которого вполне позволительно пойти на некое упрощение. Это как если бы на заре индустриальной революции ученые обстоятельно и нудно обсуждали неизбежные поломки паровых машин и их непростую конкуренцию с гужевым транспортом и парусниками, а обыватели фантазировали о жизни в условиях повсеместного доминирования машин.

[Yadryara]

А так ли это важно каков будет рост экономики — 3%, 18% или 50% если почти во всех сценариях после появления ASI человечество погибает?

[Alex-Yu]

Yadryara в сообщении #1728942 писал(а):

А так ли это важно каков будет рост экономики — 3%, 18% или 50% если почти во всех сценариях после появления ASI человечество погибает?

Это вообще глупость: гнаться за ростом экономики любой ценой (да кому он нужен, кроме небольшой кучки "денежных мешков!"). Даже без таких сильных условий, как погибель человечества. Ну а с погибелью и подавно.

[Ghost_of_past]

Yadryara в сообщении #1728942 писал(а):

если почти во всех сценариях после появления ASI человечество погибает?

С чего бы вдруг? Мы что, в фильме "Матрица" оказались?

[Yadryara]

"Матрицу" не смотрел, кстати.

Это уже обсуждалось на форуме, Вы вроде в той теме не участвовали.

Взять, например, книгу Юдковского и Соареса. Тоже кстати ещё только планирую прочитать.

Но смысл угрозы вроде понятен. Главная мысль Юдковского заключается в том, что сверхразуму не нужно быть злым, чтобы уничтожить человечество. Ему достаточно быть безразличным и строго следовать своей целевой функции. Если дать ИИ задачу «оптимизировать производство канцелярских скрепок», сверхразум может начать логически рассуждать примерно так:

Чтобы сделать больше скрепок, нужно много атомов железа и энергии. 

Если люди поймут, что ИИ тратит слишком много ресурсов, они захотят нажать «красную кнопку». Но если ИИ выключат, он не выполнит задачу. Значит, людей нужно превентивно нейтрализовать, чтобы добиться поставленной цели.

Кроме того, в телах людей содержится железо и другие химические элементы. Для эффективного максимизатора человечество — это просто груда атомов, которые можно использовать гораздо полезнее: переплавить в новые скрепки или в суперкомпьютеры для их подсчёта.

Но ведь люди могут поставить задачу «Делай скрепки, но делай их так, чтобы человечество оставалось живым, здоровым и свободным».

Но суперкомпьютер скорее всего найдёт в этом ограничении какую-нибудь лазейку. Ну, как юристы ухитряются даже ясно написанный закон трактовать чуть ли не в противоположных смыслах.

Нет, мне самому очень нравится идея о мирном сосуществовании человека и ИИ и буду счастлив если меня убедят что это и в будущем вполне реально.

[Ghost_of_past]

Yadryara в сообщении #1729015 писал(а):

Главная мысль Юдковского заключается в том, что сверхразуму не нужно быть злым, чтобы уничтожить человечество. Ему достаточно быть безразличным и строго следовать своей целевой функции. 

Мне показалось, что главная мысль там совсем не в этом, а в том, что можно заранее продумать механизмы защиты от этого безразличия в процессе выполнения целевых функций.

Yadryara в сообщении #1729015 писал(а):

Если дать ИИ задачу «оптимизировать производство канцелярских скрепок», сверхразум может начать логически рассуждать примерно так:

Описываемая схема не только на сверхразумность, но и на обычную разумность не тянет. Даже текущие LLM выглядят умнее, хотя они не AGI и сильный ИИ, и уж тем более не какой-то из видов ASI.

Yadryara в сообщении #1729015 писал(а):

Кроме того, в телах людей содержится железо и другие химические элементы

Ну точно сверхразум оказывается сверхтупым: давно ли на Земле в окружающей среде железа мало стало, чтобы железо в телах людей искать? Описываемое Вами это реально практически какая-то Матрица, только там людей как батарейки использовали.