Социальные и прочие последствия от появления AGI и ASI

[mihaild]

Ghost_of_past в сообщении #1729251 писал(а):

Собственно говоря, поэтому ASI в отличие от AGI является крайне гипотетической технологией

Более гипотетической - да, но непонятно, почему "крайне". Скорее наоборот, было бы странно, если "уровень" человеческого интеллекта чем-то выделен, кроме как при существенных ограничениях на физиологию.

Ghost_of_past в сообщении #1729251 писал(а):

и даже будет ли обладать автономным целеполаганием или тем же самым искусственным сознанием и самосознанием

А еще свободой воли и бессмертной душой.
Это же вроде неважно. AIXI с функцией полезности "число скрепок", скорее всего, ни в каком разумном смысле сознанием или самосознанием не обладает, что никак не помешает ему всех убить.

Ghost_of_past в сообщении #1729251 писал(а):

Ну покуда ASI, как и любой другой ИИ, что мы создадим, привязан к человеческой экономике, то мы обсуждать должны именно ее

Человеческая экономика (пока) не уничтожает биосферу за счет переработки всей земной коры, в том числе, потому что у неё есть куча ограничений по координации, которых у ASI быть по идее не должно.

Ghost_of_past в сообщении #1729251 писал(а):

Нет, так как пока в этой теме косвенное желание раскопать земную кору высказал отнюдь не гипотетический ASI, а вы.

Я за него.

Ghost_of_past в сообщении #1729251 писал(а):

Как от гипотетического существования какой-то формы ASI мы перешли к обязательной цели и способностям этого ASI раскопать всю земную кору?

Изначальный тезис в этой ветке был

mihaild в сообщении #1729133 писал(а):

почти любые цели несовместимы с существованием человечества, если у преследующего их агента достаточно широкие возможности

(Оффтоп)

Anton_Peplov в сообщении #1729253 писал(а):

Не магму, а мантийное вещество

Ага, спасибо. Ну я думаю что ASI вполне может знать геологию лучше меня :)

[lel0lel]

mihaild в сообщении #1729261 писал(а):

Человеческая экономика (пока) не уничтожает биосферу за счет переработки всей земной коры, в том числе, потому что у неё есть куча ограничений по координации

Муравьи, видимо, тоже не уничтожают из-за плохой координации, а так-то бы давно уничтожили. Куда только её уничтожишь, если она опять под ноги осыпается) Вы ведь знакомы с законом сохранения массы-энергии. Оцените массу земной коры. Во что и с какими запасами энергии её собираются перерабатывать? На всякий случай -- если бы люди всех стран собрали все-все бомбы и вообще всё топливо-горючее, которое произвели за всю историю человечества. То этого не хватило бы для того, чтобы уничтожить/"переработать" даже тысячную долю процента земной коры. Живым организмам навредили бы, да. Паразиты эдакие.

[mihaild]

lel0lel в сообщении #1729265 писал(а):

Муравьи, видимо, тоже не уничтожают из-за плохой координации, а так-то бы давно уничтожили

Численность муравьев ограничена какими-то внешними факторами (скорее всего едой или территорией), на которые они особо повлиять не могут.

lel0lel в сообщении #1729265 писал(а):

Вы ведь знакомы с законом сохранения массы-энергии. Оцените массу земной коры

А как из законов сохранения вывести параметры конкретной планеты?

Масса земной коры - примерно $10^{22}$ кг. Условно хотим для переработки всё поднять на 10м (что там с химией - считать не хочу, неизвестно что нужно получить, ограничимся механикой), соответственно нужно $10^{24}$ джоулей. Земля получает от Солнца $10^{16}$ ватт, соответственно нужно $10^8$ секунд, или примерно 3 года. Плюс возможность постройки солнечных батарей поближе к Солнцу и закрывающих площадь побольше, минус КПД и умножить неизвестно на что, если делаем что-то, отличающееся от подъема - вроде по порядкам не получается ничего совсем уж невозможного.

[lel0lel]

mihaild в сообщении #1729268 писал(а):

минус КПД и умножить неизвестно на что

Умножить на КПД, если он не в процентах, а в долях.

Большая стройка -- требует большого количества техники. Сначала на орбиту вывести колоссальную массу батарей и оборудования для трансляции энергии, потом организация станций принимающих электромагнитное излучение, которое рассеивается в атмосфере. Несмотря на то, что это уже всё чистая фантазия -- "закрыть Землю", да ещё чтобы ничего не ломалось (не смещалось от светого давления и гравитации), и при этом обновлять в течении трёх лет не было необходимости, то уже на этом этапе затраты энергии-массы будут превышать то, что производили люди. Это ещё ничего не начали "перерабатывать". Наверное, "переработка"/подъём/бурение/резка будет идти с помощью какого-то оборудования, которого тоже нужно немало. Само оно не появляется по желанию. Нужно производить. Мощности производства такие, что пока перерабатывается ещё непереработанное, нужно уже перерабатывать отработанное. Так что, даже в самом оптимистичном для переработчиков случае, всё будет выглядеть, как повсеместное копошении, которое так и останется землёй/свалкой.

Порядка 10^20 джоулей в год потребляют люди -- подсказывает гугл. В принципе, если немного затянуть пояса...

[Ghost_of_past]

mihaild в сообщении #1729261 писал(а):

Скорее наоборот, было бы странно, если "уровень" человеческого интеллекта чем-то выделен

Тем не менее он выделен в земной биосфере в настоящее время. И если возможность существенно превзойти человека в отдельных классах интеллектуальных задач сомнений не вызывает по понятным причинам (а по некоторым задачам это уже давно случилось), то по всем параметрам интеллекта - вызывает. Я бы даже чуть уточнил - вызывает сомнения не любой абстрактный тип ASI, а появление самых продвинутых видов и типов, о которых писал тот же Бостром.

mihaild в сообщении #1729261 писал(а):

А еще свободой воли и бессмертной душой.

Шутки шутками, но определения ASI очень расплывчаты (в отличие, кстати, от AGI, где есть даже чисто инструментальные определения).

mihaild в сообщении #1729261 писал(а):

Это же вроде неважно

Не скажите. Если автономного целеполагания у ASI не будет, то наша безопасность будет как раз в наших же руках - как мы пропишем ему рамки поведения. Ну или не пропишем. Но в конце концов ответственность будет в этом случае на нас, в широком смысле, разумеется.

mihaild в сообщении #1729261 писал(а):

Человеческая экономика (пока) не уничтожает биосферу за счет переработки всей земной коры

Мизерных долей земной коры на самом деле. И даже этого хватает, что породить крайне негативные последствия для состояния окружающей среды и климата. Теперь понимаете, почему я сказал, что для биосферы даже ядерная война лучше, чем предложение разобрать земную кору?

mihaild в сообщении #1729261 писал(а):

которых у ASI быть по идее не должно.

Проблема в том числе и в том, что мы не знаем, что у ASI по идее должно быть, а чего нет, т.к. определения ASI точного нет.

mihaild в сообщении #1729261 писал(а):

Изначальный тезис в этой ветке был

Так совершенно непонятно, что будет представлять из себя этот ASI, какие у него могут или не могут быть цели (но в теории они в любом случае познаваемы как у всякого рационального агента). Поэтому я не могу ни приписать, ни отвергнуть разбор земной коры в качестве цели.

-- добавлено через 7 минут --

mihaild в сообщении #1729268 писал(а):

Численность муравьев ограничена какими-то внешними факторами

Как и любого рационального агента. Так и деятельность ASI будет как-то ограничена. А если нет, то перед нами опять не ASI, а какая-то всемогущая сущность. Я вот, например, совсем не уверен, что ASI будет способен на разбор земной коры.

mihaild в сообщении #1729268 писал(а):

Земля получает от Солнца... или примерно 3 года

Чтобы превратить земную кору вместе с дата-центрами ASI в вещество с температурой в несколько сотен градусов? Опять отошлю к Мерфи: там прямо ссылка на его учебник есть, в первых главах которого он разбирает с расчетами, почему представления о длительном быстром росте всего в нашей цивилизации, в том числе электрогенерации, на практике совершенно нереализуемы. Если конечно обсуждаемый нами ASI не решит окончить свое и наше бренное существование коллективным самоубийством.

[mihaild]

lel0lel в сообщении #1729273 писал(а):

Умножить на КПД, если он не в процентах, а в долях

Тогда уж поделить.

Ghost_of_past в сообщении #1729294 писал(а):

Тем не менее он выделен в земной биосфере в настоящее время

А если не обрезать цитату, то станет сразу видно, что это замечание уже учтено.

Ghost_of_past в сообщении #1729294 писал(а):

Если автономного целеполагания у ASI не будет, то наша безопасность будет как раз в наших же руках - как мы пропишем ему рамки поведения

И дальше уходим в то, что непонятно, как прописывать цель, чтобы даже при очень сильной оптимизации к ней хоть кто-то выжил.

Ghost_of_past в сообщении #1729294 писал(а):

Теперь понимаете, почему я сказал, что для биосферы даже ядерная война лучше, чем предложение разобрать земную кору?

Я понимаю, почему это правда (довольно очевидно), я не понимаю, зачем Вы на это обращаете внимание. Я как раз и привожу пример действительно масштабной стройки как деятельности, полезной для очень многих целей (в отличии от ядерной войны) и несовместимой с существованием человечества.

Ghost_of_past в сообщении #1729294 писал(а):

Поэтому я не могу ни приписать, ни отвергнуть разбор земной коры в качестве цели

Instrumental convergence Вы тоже не признаете?

Ghost_of_past в сообщении #1729294 писал(а):

Как и любого рационального агента. Так и деятельность ASI будет как-то ограничена

Численность муравьев, скорее всего, в итоге упирается во что-то вроде интенсивности солнечного света и эффективности фотосинтеза.
Мне неизвестны установленные со сколь-нибудь значимой долей той же уверенности ограничения, запрещающие достаточно умному агенту организовать производство, несовместимое с биосферой. С учетом того что вроде даже люди достаточно близки к такой возможности.

Ghost_of_past в сообщении #1729294 писал(а):

Опять отошлю к Мерфи: там прямо ссылка на его учебник есть

И что Вам мешает привести ссылку на учебник, а не на википедию? И да, там, насколько я вижу, в первых главах закон Больцмана и определение экспоненты, на них можно сослаться непосредственно.

И Земля уже получает от Солнца такое количество энергии. Соответственно рассеивает с хорошей точностью столько же. Чтобы понять, что если мы часть этой энергии потратим на какую-то работу в промежутке, то температура Земли не увеличится, ничего считать не надо, достаточно как раз закона сохранения энергии.

[Ghost_of_past]

mihaild в сообщении #1729304 писал(а):

И дальше уходим в то, что непонятно, как прописывать цель, чтобы даже при очень сильной оптимизации к ней хоть кто-то выжил

Как прописывать цель пусть решают с одной стороны технические специалисты, а с другой - этики, философы и психологи, которых нанимают ИИ-разработчики. Едва ли мы содержательно знаем, как прописывается этика у LLM и сейчас, по крайней мере практически и по шагам - я точно не знаю, хотя может вам как работнику такой компании что-то и лучше известно.

mihaild в сообщении #1729304 писал(а):

Я как раз и привожу пример действительно масштабной стройки как деятельности, полезной для очень многих целей

Полезной для чего? Я так и не понял, о какой прикладной пользе идет речь при разборе земной коры. Если мы говорим об увеличении потребления человеческой экономики и ИИ-систем, то кто вообще сказал, что для этого надо разбирать земную кору, а не увеличить добычу просто в несколько раз (что от разбора земной коры по-прежнему радикально далеко)?

mihaild в сообщении #1729304 писал(а):

Instrumental convergence Вы тоже не признаете?

Почему не признаю? Признаю. Как гипотезу или вернее как комплекс гипотез.

mihaild в сообщении #1729304 писал(а):

Мне неизвестны установленные со сколь-нибудь значимой долей той же уверенности ограничения, запрещающие достаточно умному агенту организовать производство, несовместимое с биосферой.

Между "захотел" и "сделал" стоит целая цепочка физических и организационных барьеров, которые никуда не деваются просто от роста интеллекта. Во первых, банальная термодинамика. К примеру, ресурсы извлекаются с конечной скоростью, отходы и тепло рассеиваются с конечной скоростью, и сам объем вычислений и производства тоже генерирует тепло, которое планета способна сбросить далеко не мгновенно. Это физический потолок, который более высоким интеллектом, чем у людей, не обойти.

Во вторых, уже был разговор про роботов, и там же лежит и это ограничение. Полностью автономная цепочка, где ASI или другой сильный ИИ сам добывает сырье, делает детали и строит новое оборудование без единого человека в цепочке, нигде не показана даже в лаборатории (у нас даже сильного ИИ до сих пор нет). Пока ASI зависит от существующих заводов, логистики, энергосетей и людей для обслуживания оборудования, скорость его физической экспансии - скорость этой базы, а не величина мышления. Даже полностью автоматизированный физический труд рано или поздно упирается в физический предел скорости постройки объектов, хотя мелкие объекты строятся быстрее крупных. Короче говоря, индустриальную стадию нельзя перепрыгнуть, она идет вслед за интеллектуальным взрывом, а не одновременно с ним.

В-третьих, пока ASI не построил полностью независимую от людей инфраструктуру, он вынужден действовать через, например, существующие рынки, компании и юрисдикции, то есть оставаться заметным экономическим игроком. Разборы конкретных сценариев захвата прямо отмечают, что система, уже сильно встроенная в экономику, стартует с гораздо более сильной позиции, и именно от степени этой встроенности зависит, какой уровень технологий вообще нужен для захвата. А значит пока встроенность неполная, у людей остается канал влияния на ту самую инфраструктуру, которую ASI пытается построить.

В-четвертых, у вас опять один ASI, а все остальное будто фоном: если существует больше одного достаточно мощного игрока, будь то другие ИИ-системы, государства или коалиции людей со значимыми ресурсами, любая попытка организовать несовместимое с биосферой производство создает конфликт интересов и встречает сопротивление задолго до завершения. Односторонний захват требует либо единственного игрока на поле, либо сговора вообще всех значимых игроков, а это само по себе не тривиальное условие.

В-пятых, даже сам темп самоулучшения интеллекта не гарантированно взрывной. В недавнем опросе исследователей ИИ про автоматизацию R&D, который мне попался, мнения разошлись: часть считает вычислительные мощности чисто инженерной задачей, решаемой масштабированием, а часть видит в физических пределах вычислений реальный барьер для взрывных сценариев, отдельно поднимается вопрос нехватки данных как потолка для самоулучшения. Так что ваша теоретическая логика инструментальной конвергенции полностью не исчезает, но путь от мотива до результата идет через несколько последовательных бутылочных горлышек, ни одно из которых пока не имеет доказанного быстрого решения, а самый быстрый теоретический путь через нанотех вообще остается спекуляцией (в эпистемологическом плане), а не установленным фактом.

mihaild в сообщении #1729304 писал(а):

С учетом того что вроде даже люди достаточно близки к такой возможности.

Нет, не близки. Мы близки к тому, чтобы навредить биосфере, но уничтожить - это совершенно за пределами наших возможностей.

mihaild в сообщении #1729304 писал(а):

И Земля уже получает от Солнца такое количество энергии. Соответственно рассеивает с хорошей точностью столько же. Чтобы понять, что если мы часть этой энергии потратим на какую-то работу в промежутке, то температура Земли не увеличится, ничего считать не надо, достаточно как раз закона сохранения энергии.

Такая логика верна ровно в одном частном случае, а именно, если вся используемая для работы энергия и так уже часть текущего солнечного потока, который Земля поглощает и в итоге переизлучает как тепло независимо от того, была ли она перед этим потрачена на какую-то работу или нет. По второму началу термодинамики любая механическая, химическая или вычислительная работа рано или поздно тоже превращается в тепло, так что если вы просто перенаправляете уже поглощаемый Землей поток энергии на подъем грунта вместо того, чтобы он напрямую грел поверхность, итоговый тепловой баланс планеты действительно не меняется, тут вы правы, и это как раз не требует специального расчета.

Однако вы сами в первом посте предложили выход за эти рамки: солнечные батареи ближе к Солнцу и покрывающие площадь побольше. А вот это уже не переиспользование существующего потока, это дополнительная энергия, которой в текущем балансе Земли попросту нет. И вот тут работает уже не банальное сохранение энергии, т.к. даже при бесконечном источнике энергии любая ее единица в итоге становится отходным теплом, которое должно быть излучено в космос, и если это тепло не является частью естественного солнечного потока, то температура планеты будет расти из-за увеличения своей излучательной способности по закону Больцмана.

То же самое, кстати, происходит, даже если вы формально не выходите за пределы естественного потока, но при этом ловите ту часть, которая сегодня уходит обратно в космос отражением (альбедо Земли, кажется, 0,3 или 0,35). Заменить отражающую поверхность (лед, облака, светлый грунт) на темные солнечные панели равноценно тому, чтобы перевести энергию из отраженной и не влияющей на баланс в поглощенную, и в итоге ставшую теплом, а это снова увеличение поглощенного потока сверх нынешнего равновесия, и снова требует нового, более высокого температурного баланса.

Если мы вернемся к книге Мерфи, то по его тексту и расчетам даже если довести эффективность солнечных панелей до фантастических 100% и застроить ими вообще всю сушу и весь океан, при исторически скромном темпе роса энергопотребления 2,3% в год, то человечество уперлось бы в весь поток солнечной энергии, падающий на Землю, всего через 400 лет. И это уже потолок, выше которого чисто по объему падающего на Землю света ловить нечего, дальше либо останавливать рост, либо тащить энергию извне (что вы и предлагаете), а это снова дополнительный, не входящий в естественный баланс приток тепла. Плюс вы сделали расчет только для механического подъем грунта, без химии. Но именно химия и металлургия, например, переплавка, разделение элементов, поддержание вычислительной и роботизированной и автоматизированной инфраструктуры, требуют температур в сотни градусов и существенно больше энергии на килограмм, чем банальный подъем грунта, так что это как раз те самые несколько сотен градусов нагрева, а не просто гипербола.

Я не великий специалист по термодинамике, не все точные цифры знал, но при помощи парочки LLM (для взаимной проверки результатов при одинаковом промпте) попробовал оценить, насколько поднимется температура с тремя условиями: постепенный подъем всей земной коры на 10 метров, превращение всей силикатной породы земной коры в рафинированные материалы и постройка на орбите Земли кольца солнечных батарей. Знаете какие результаты? При растягивании процесса на 1000 лет на уровне бывшего уровня моря температура будет 147 градусов Цельсия, около 380 градусов при процессе в 100 лет и около 3100 градусов при процессе в 10 лет. Нет, если все-таки можно, то лучше ядерную войну.

[Cuprum2020]

Ghost_of_past в сообщении #1729294 писал(а):

(но в теории они в любом случае познаваемы как у всякого рационального агента)

Рациональные цели человека вполне могут быть непознаваемы тараканом в его квартире, его домашним котом, да что уж там, быть может даже и его женой

[Ghost_of_past]

Cuprum2020 в сообщении #1729311 писал(а):

Рациональные цели человека вполне могут быть непознаваемы тараканом в его квартире, его домашним котом, да что уж там, быть может даже и его женой

Вы сейчас говорите не про познаваемость, а про реально осуществленную познанность. Так то, как Вы правильно заметили, мы и друг про друга не можем гарантировать полную реализацию познаваемости, однако сам процесс познания остается допустимым, более того мы мотивы и цели других животных не всегда реально можем познать - это будет действовать для любого разумного агента, а не только для людей. Но сама потенциальная познаваемость никуда не девается. Ну или иначе перед нами опять же не ASI, а какая-то сверхъестественная всемогущая сущность с неисповедимыми путями.

[Cuprum2020]

Ghost_of_past в сообщении #1729312 писал(а):

Но сама потенциальная познаваемость никуда не девается

Но быть может всё сложится так что цели одного ASI реально могут быть познаны лишь близким по интеллектуальной мощи другим ASI, а не лысыми обезьянами

[Ghost_of_past]

Cuprum2020 в сообщении #1729314 писал(а):

Но быть может всё сложится так что цели одного ASI реально могут быть познаны лишь близким по интеллектуальной мощи другим ASI, а не лысыми обезьянами

Вполне возможно, с этим допущением я в принципе согласен, хотя скорее я бы предположил, что лысые приматы просто меньше выяснят на практике, чем другой ASI. И тут мы должны опять возвращаемся к тому, что надо обязательное условие ввести: либо у нас исключительно один ASI, либо логика обсуждаемых кейсов рушится.

[mihaild]

Ghost_of_past в сообщении #1729310 писал(а):

Едва ли мы содержательно знаем, как прописывается этика у LLM и сейчас

Да вроде всё содержательное в статьях опубликовано. Детали, как именно работают функции оценки, не раскрываются, но на рукомахательном уровне вроде бы всё сообщается.

Ghost_of_past в сообщении #1729310 писал(а):

Полезной для чего?

Для всего. От производства скрепок до доказательства ВТФ перебором.

Ghost_of_past в сообщении #1729310 писал(а):

то кто вообще сказал, что для этого надо разбирать земную кору, а не увеличить добычу просто в несколько раз

Довольно очевидно - потратив больше ресурсов можно сделать больше, чем потратив меньше, при прочих равных.

Ghost_of_past в сообщении #1729310 писал(а):

любая попытка организовать несовместимое с биосферой производство создает конфликт интересов и встречает сопротивление задолго до завершения

А теперь Вы приписываете ASI непонимание каких-то базовых вещей. Естественно любая сколь-нибудь сильная система планирования, даже современная LLM, в составлении плана "как нам максимизировать количество скрепок" это учтёт.

Ghost_of_past в сообщении #1729310 писал(а):

а часть видит в физических пределах вычислений реальный барьер для взрывных сценариев, отдельно поднимается вопрос нехватки данных как потолка для самоулучшения

Нехватка данных - да, возможная проблема. Я в последние пару лет стал больше верить в её разрешимость, но тут для современных арихтектур правда может быть существенный барьер.
Физические пределы вычслений - это предел Бремерманна и прочее? Я слышал эту аргументацию от Маркова еще лет 10 назад, и как тогда она мне казалась очевидно абсудрной, так это и осталось.

Ghost_of_past в сообщении #1729310 писал(а):

Однако вы сами в первом посте предложили выход за эти рамки: солнечные батареи ближе к Солнцу и покрывающие площадь побольше

Увеличение доступной энергии в 2 раза требует увеличения температуры всего лишь на 20%. Что вроде бы для Земли сейчас примерно 50 градусов. Может быть даже какие-нибудь водоросли выживут.
С другой стороны, никто не запрещает и построить планетарный радиатор для увеличения площади поверхности.

Но это всё уже технические детали. Важно тут - школьная термодинамика строек, достаточных по масштабу для ликвидации биосферы, не запрещает.

[Ghost_of_past]

mihaild в сообщении #1729334 писал(а):

Для всего. От производства скрепок

Для производства скрепок раскопка земной коры не нужна.

mihaild в сообщении #1729334 писал(а):

до доказательства ВТФ перебором

А для этого точно надо раскопать земную кору, подняв температуру настолько, что это как минимум нарушит работу, а то и расплавит дата-центы считающего ASI? Вдобавок к социопатии ASI еще и суицидальными наклонностями должен обладать?

mihaild в сообщении #1729334 писал(а):

потратив больше ресурсов можно сделать больше

ASI еще и настолько глуп, что ему нельзя прописать, сколько мы будем от него хотеть скрепок? Или заказчики настолько сумасшедшие, что напишут "хотим максимизировать вплоть до бесконечного количества скрепок"? Тогда доступ ASI можно организовать через предоставление справки от психиатра.

mihaild в сообщении #1729334 писал(а):

Естественно любая сколь-нибудь сильная система планирования, даже современная LLM, в составлении плана "как нам максимизировать количество скрепок" это учтёт.

Если ASI не может посчитать и понять, сколько от него скрепок попросили, то от него можно чего угодно ожидать.

mihaild в сообщении #1729334 писал(а):

Нехватка данных - да, возможная проблема. Я в последние пару лет стал больше верить в её разрешимость, но тут для современных арихтектур правда может быть существенный барьер.
Физические пределы вычслений - это предел Бремерманна и прочее? Я слышал эту аргументацию от Маркова еще лет 10 назад, и как тогда она мне казалась очевидно абсудрной, так это и осталось.

До предела Бремерманна нынешним чипам примерно как до звезд, и использовать его как аргумент против взрывного роста в ближайшие десятилетия действительно странно, это все равно что беспокоиться о квазитепловой смерти вселенной, планируя бюджет на следующий год.

Но в опросе речь скорее не про Бремерманна, а про гораздо более приземленные и близкие ограничения:
- пропускную способность памяти и межчипового соединения, что уже сегодня реальное узкое место для больших моделей;
- энергию и охлаждение дата центров, т.к. сети генерации и сами дата-центры строятся очень долго;
- пропускную способность самого производства чипов, т.к. число фабрик передовых техпроцессов в мире исчисляется единицами, а стройка нового завода занимает годы.

Это ровно то, что мы уже разбирали в части про роботов и полностью автоматизированную инфраструктуру, просто применительно не к роботам, а к самим вычислительным мощностям, на которых крутится рекурсивное самоулучшение. Правда, mea culpa, признаю, что слово "физические" надо тут на что-то заменить, чтобы не создавать двусмысленности.

mihaild в сообщении #1729334 писал(а):

Увеличение доступной энергии в 2 раза

Будет недостаточно для переработки земной коры. Давайте все-таки определимся, чего хотим. Если уж мы все-таки решили разобрать всю земную кору в инфраструктуру по производству скрепок и прочего, то на это потребуется определенное количество энергии и это больше, чем в 2 раза. Даже если не будем поднимать кору механически (хотя как ее можно разобрать без подъема коры, я лично не представляю), то нам потребуется столько энергии, то температура на уровне бывшего моря поднимется до 133-136 градусов, если процесс растянуть на 1000 лет. И это минимальный рост температуры.

mihaild в сообщении #1729334 писал(а):

Но это всё уже технические детали

Технические детали намекают, что за компанию с биосферой ASI, которого вы сами решили представлять в теме, немножечко умер от перегрева. Сочувствую, но не очень искренне.

[Cuprum2020]

Ghost_of_past
Короче Вы считаете что ASI настолько не супер, что даже людишек извести не смогёт

[Ghost_of_past]

Cuprum2020 в сообщении #1729350 писал(а):

Короче Вы считаете что ASI настолько не супер, что даже людишек извести не смогёт

Люди вот явно умнее тараканов, но извести их так и не смогли.