Социальные и прочие последствия от появления AGI и ASI

[Cuprum2020]

Ghost_of_past в сообщении #1729351 писал(а):

Люди вот явно умнее тараканов, но извести их так и не смогли

Из обзора от ИИ: "Тараканы размножаются очень быстро: одна самка рыжего таракана (прусака) способна принести до 300–400 яиц за жизнь, а вся популяция при комфортной температуре (+25–30 °C) увеличивается в 10–15 раз каждый месяц"
Тарканов не смогли, а странствующих голубей, максимальная численность которых составляла пять миллиардов особей - смогли и даже саранчу скалистых гор, пиковая численность которых была аж 12,5 триллионов!

[Ghost_of_past]

(Оффтоп)

Cuprum2020 в сообщении #1729353 писал(а):

Тарканов не смогли, а странствующих голубей, максимальная численность которых составляла пять миллиардов особей - смогли и даже саранчу скалистых гор, пиковая численность которых была аж 12,5 триллионов!

"Будь как таракан, а не как странствующий голубь" (с) - девиз при негативном варианте развития событий.

[Anton_Peplov]

Не понимаю, зачем обсуждать фантасмагорический сценарий с разборкой земной коры. Почти 40% свободной ото льда суши либо используется в сельском хозяйстве, либо занято населенными пунктами. Чтобы использовать эту часть суши для целей, которые ASI сочтет важными, с нее надо убрать людей, поля и пастбища.

[Ghost_of_past]

Anton_Peplov в сообщении #1729360 писал(а):

для целей, которые ASI сочтет важными

Судя по теме, пока даже не ясно, будут ли у ASI собственные цели. Так что я был прав с самого начала: вся тема в итоге - про фантазирование и выдумывание.

Anton_Peplov в сообщении #1729360 писал(а):

Чтобы использовать эту часть суши для целей, которые ASI сочтет важными, с нее надо убрать людей, поля и пастбища.

Ну или просто использовать оставшуюся сушу. Тем более, что площадь населенных пунктов всего 2-3%, остальное сельскохозяйственные территории плюс территории для добычи полезных ископаемых. Сельскохозяйственные территории спокойно сокращаются, если повысить эффективность сельского хозяйства.

[Yadryara]

Ещё есть работа Даниэля Кокотайло: https://ai-2027.com/ai-2027.pdf.
И недавнее интервью с ним: https://www.youtube.com/watch?v=_g4l7YkDQwA

Я согласен с ним что AGI — весьма размытый термин, ASI — более конкретный.

"Каждый потеряет работу"?? Вот у меня есть работа по вырыванию сорняков. Как я могу её потерять?

[Mental]

Yadryara в сообщении #1729446 писал(а):

Вот у меня есть работа по вырыванию сорняков. Как я могу её потерять?

Естественно на личном подсобном участке ничего не изменится. Но более полноценное название этого процесса - хобби, а не работа.
А в промышленных масштабах - сделают роботов, которые с помощью искусственного распознавания образов будут заниматься уничтожением этих сорняков.

Цитата:

Удаление сорняков с помощью искусственного интеллекта — это современный метод борьбы с сорной травой на полях, использующий компьютерное зрение, нейросети и лазерное или точечное уничтожение. Умные роботы распознают до 150 видов сорняков и уничтожают до 10 000 растений в минуту без химии.

[Yadryara]

Как-то это не очень здорово: писать "Цитата" и всё. Непонятно кого Вы цитируете.

Mental в сообщении #1729447 писал(а):

Но более полноценное название этого процесса - хобби

Ну как хобби. Хобби это обычно то, что интересно и приятно. А тут например, золотарник канадский пытается одолеть участок. И я не сильно горю желанием с ним бороться.

[MoonWatcher]

Yadryara в сообщении #1729446 писал(а):

Ещё есть работа Даниэля Кокотайло: https://ai-2027.com/ai-2027.pdf

Я выше привел обновленную (с более консервативными сроками) версию этой работы:

MoonWatcher в сообщении #1728152 писал(а):

Любопытное исследование
- прогноз развития ИИ вплоть до 2040 года. Авторы бегло рассмотрели несколько сценариев и отобрали один из наиболее маловероятных, с моей точки зрения - но наиболее предпочтительный с их точки зрения. Он называется план A и состоит в совместно контролируемом международным сообществом развитии ИИ, с введением моратория на создание ASI до 2040 года. В этом сценарии:
- занятость населения начинает быстро снижаться после 2032 года - с 62% до 12% в 2040
- годовой прирост ВВП в 2032 составит 50%
- налоговые доходы госбюджета США вырастут до 10 трлн долларов в 2030 и 180 трлн в 2034
- годовой ББД на одного человека в США составит 45 тыс долларов в 2032, 1 млн - в 2035, 10 млн - в 2040.

В случае бесконтрольного развития ИИ (у них - план D, ИМХО наиболее вероятный сценарий) ASI появится уже к началу 2031, и в этом случае, как я понимаю,социально-экономические последствия будут еще более скорыми и драматическими.

[ozheredov]

Yadryara в сообщении #1729446 писал(а):

"Каждый потеряет работу"?? Вот у меня есть работа по вырыванию сорняков. Как я могу её потерять?

СЛАБО
Вот как надо:

"Каждый потеряет работу"?? Вот у меня есть работа по распределению $N$ стульев по $m$ этажам, где $m$ вам, нищебродам, и не снилось, а $N >> m$ -- так тем более. Как я могу её потерять?

[mihaild]

Ghost_of_past в сообщении #1729342 писал(а):

Для производства скрепок раскопка земной коры не нужна

Значит Вы производите недостаточно скрепок.

Ghost_of_past в сообщении #1729342 писал(а):

А для этого точно надо раскопать земную кору, подняв температуру настолько, что это как минимум нарушит работу, а то и расплавит дата-центы считающего ASI?

Нет, достаточно поднять температуру до нарушения биосферы. GPU могут работать при 80 градусах, люди нет.

Ghost_of_past в сообщении #1729342 писал(а):

ASI еще и настолько глуп, что ему нельзя прописать, сколько мы будем от него хотеть скрепок?

А это как раз вопрос о hidden complexity of wishes.
И мы уже сейчас видим, что LLM умеют делать то, что пост фактум можно интерпретировать как выполнение того, о чем их попросили, но очевидно не того, что хотел пользователь. И с ростом capabilities я ожидаю рост частоты и серьезности таких ситуаций - чем больше пространство доступных LLM вариантов, тем более странные точки, отличающие запрос пользователя от его реальных желаний, в нём найдутся.

Ghost_of_past в сообщении #1729342 писал(а):

а про гораздо более приземленные и близкие ограничения

Многие из которых опять же упираются в изобретательность инженеров ASML и Nvidia.

Ghost_of_past в сообщении #1729342 писал(а):

Давайте все-таки определимся, чего хотим

Продемонстрировать, что

mihaild в сообщении #1729133 писал(а):

почти любые цели несовместимы с существованием человечества, если у преследующего их агента достаточно широкие возможности.

Ghost_of_past в сообщении #1729362 писал(а):

Ну или просто использовать оставшуюся сушу.

Всё то же самое - на меньшей территории можно сделать меньше.

[Ghost_of_past]

mihaild в сообщении #1729554 писал(а):

Нет, достаточно поднять температуру до нарушения биосферы. GPU могут работать при 80 градусах, люди нет.

Нет, так не получится. Либо уж мы раскапываем всю земную кору, но тогда никаких 80 градусов, либо если хотим 80 градусов, то раскапываем лишь половину земной коры. А в реальности все еще хуже: вы говорили про 1% массы Земли, а земная кора только около 0,5%, так что еще столько же по массе надо мантии извлечь на переработку, так что минимум 245-260 градусов без учета температуры мантии и еще больше с учетом.

mihaild в сообщении #1729554 писал(а):

о чем их попросили, но очевидно не того, что хотел пользователь

Что в случае с ASI возвращает нас к идее со справкой от психиатра.

mihaild в сообщении #1729554 писал(а):

Многие из которых опять же упираются в изобретательность инженеров ASML и Nvidia.

Нет, оно упирается в количество денег, которые есть отображение количества доступных для работы и потребления ресурсов. Если конечно инженеры ASML и Nvidia не занимаются подпольно эмиссией денег.

mihaild в сообщении #1729554 писал(а):

Продемонстрировать, что

Пока удалось продемонстрировать суицид ASI при помощи перегрева, а отнюдь не только уничтожение людей. И то, при условии, что то ли сам ASI с автономным целеполаганием, то ли заказчики-люди немного сошли с ума и решили произвести неограниченное количество скрепок.

mihaild в сообщении #1729554 писал(а):

Всё то же самое - на меньшей территории можно сделать меньше.

А кто сказал, что ASI должен хотеть сделать больше? Ну и демография подсказывает, что площадь сельскохозяйственных земель скоро так и так будет сокращаться: когда гарантированно рождаемость в скором времени во всех странах мира будет где-то между 0 и 1 с копейками ребенком на женщину, население Земли стареет и скоро начнет быстро сокращаться, и все это при росте эффективности АПК, то избыток сельскохозяйственных земель как-то не очень востребован.

[mihaild]

Ghost_of_past в сообщении #1729560 писал(а):

Что в случае с ASI возвращает нас к идее со справкой от психиатра

Психиатры занимаются отклонениями людей от того, что люди договорились считать нормой. Совершенно непонятно, почему система, построенная на совершенно другой архитектуре, по умолчанию будет хоть как-то этой норме соответствовать.

Ghost_of_past в сообщении #1729560 писал(а):

Нет, оно упирается в количество денег, которые есть отображение количества доступных для работы и потребления ресурсов

Там есть некоторое количество технологических зависимостей следующего поколения от предыдущего, но существенная часть прогресса - это идеи, которые можно было бы придумать и сильно раньше. Но не придумали.

Ghost_of_past в сообщении #1729560 писал(а):

А кто сказал, что ASI должен хотеть сделать больше?

Instrumental convergence.

Ghost_of_past в сообщении #1729560 писал(а):

Ну и демография подсказывает, что площадь сельскохозяйственных земель скоро так и так будет сокращаться

До нуля?

[Ghost_of_past]

mihaild в сообщении #1729564 писал(а):

Психиатры занимаются отклонениями людей от того, что люди договорились считать нормой

Да, и назвать нормальным состояние людей, которые попросили неограниченное количество скрепок у ASI, явно не получается. Придется лечить.

Вы ведь понимаете, что проблема в вашем примере не в ASI, а в безумных людях, которые попросили у ASI неограниченную оптимизацию скрепок? Это примерно как герой "Пикника на обочине", желавший в конце "cчастья для всех, даром, и пусть никто не уйдет обиженным". То есть сверхтупой здесь все же не ASI без автономного целеполагания, а люди, не осилившие правильно промпт сформулировать. Ну что тут сказать? Пусть с ними пребудет премия Дарвина.

mihaild в сообщении #1729564 писал(а):

Но не придумали.

Соответственно может придумают в будущем, а может и нет, но это в любом случае не дает нам оценки по времени, когда это произойдет, даже если придумано будет.

mihaild в сообщении #1729564 писал(а):

Instrumental convergence.

Если instrumental convergence требует, чтобы ASI был безумен и бесконечно хотел бы большего, то этот ASI в скором времени прекратит свое бренное существование - его либо взорвут люди, либо он сам себя уничтожит из-за собственного безумия, например, перегревшись при разборе земной коры. Хотя это скорее вызывает сомнения в адекватности такого понимания instrumental convergence.

mihaild в сообщении #1729564 писал(а):

До нуля?

Насколько уменьшится в потенциале численность населения, настолько и площадь сельскохозяйственных земель, если подушевое потребление расти не будет (а оно расти не будет уже в скором времени, т.к. догоняющий рост развивающихся стран заканчивается).

[mihaild]

Ghost_of_past в сообщении #1729567 писал(а):

Вы ведь понимаете, что проблема в вашем примере не в ASI, а в безумных людях, которые попросили у ASI неограниченную оптимизацию скрепок?

Нет. Проблема в том, как сформулировать ограниченную оптимизацию скрепок.

Ghost_of_past в сообщении #1729567 писал(а):

а люди, не осилившие правильно промпт сформулировать

Чем больше возможностей у модели - тем точнее нужно формулировать промпт, потому что при большом шаге даже небольшое отклонение от нужного направления приводит к большому промаху мимо цели.
Собственно на запрос "сделай чтобы тесты проходили" (что не очень хороший запрос, но любой стажер его поймет) модели уже пару лет как умеют удалять тесты (сейчас ровно этот сценарий провала убран, но подобных существует бесконечное количество).

Ghost_of_past в сообщении #1729567 писал(а):

Если instrumental convergence требует, чтобы ASI был безумен и бесконечно хотел бы большего, то этот ASI в скором времени прекратит свое бренное существование - его либо взорвут люди, либо он сам себя уничтожит из-за собственного безумия, например, перегревшись при разборе земной коры

Это у Вас опять сверхидиот получается, который не способен правильно составить план оптимизации.

Ghost_of_past в сообщении #1729567 писал(а):

Насколько уменьшится в потенциале численность населения, настолько и площадь сельскохозяйственных земель, если подушевое потребление расти не будет

Вывод - площадь посевных земель уменьшится недостаточно.

[Ghost_of_past]

mihaild в сообщении #1729573 писал(а):

Нет. Проблема в том, как сформулировать ограниченную оптимизацию скрепок.

Вот такой проблемы точно нет: когда мы приходим в магазин за канцтоварами, то у нас как-то обычно получается купить не бесконечное количество скрепок. А вот какие-то вещи действительно так просто не сформулируешь, что и возвращает нас к тому, что сейчас мы обсуждаем утрированные кейсы, которые не имеют особого отношения к реальности.

mihaild в сообщении #1729573 писал(а):

Чем больше возможностей у модели - тем точнее нужно формулировать промпт

То есть дуракам желательно ограничить доступ к любым сверхчеловеческим возможностям ASI. А так-то находились же идиоты, которые пытались носки и кошек сушить в микроволновке, т.е. мы опять упираемся в не очень умных людей, а не в технологию как таковую. Ну да, стоит думать, как встроить защиту от дураков в эту самую технологию, с этим что, кто-то спорит?

mihaild в сообщении #1729573 писал(а):

который не способен правильно составить план оптимизации.

Тогда возможно не стоит разбирать земную кору и мантию на техноинфраструктуру.

mihaild в сообщении #1729573 писал(а):

Вывод - площадь посевных земель уменьшится недостаточно.

Достаточно для кого/чего? Несуществующие ASI кому-то уже сообщили о своих целях и степени достаточности? Если нет, то мы обсуждаем не цели ASI, а цели приписанные ASI какими-то людьми.