Социальные и прочие последствия от появления AGI и ASI

[Yadryara]

Ghost_of_past, а Вы видели пример "максимизатора скрепок"? То есть ИИ так и работает.

Какую функцию он максимизировал? Грубо говоря, близость результата к 168.

Он и так и сяк пытался: менял параметры. При этом частенько отдаляясь от цели. Он понял что я хочу увидеть 168 при округлении до целого.

И, не сумев добиться этого, в угоду собеседнику, пошёл на подлог: сделал примитивную подгонку под ответ, наврав что применил какую-то "точную комбинаторную поправку Бухштаба". В надежде что я набухался в каком-нибудь штабе и не замечу этого??

Это он так решал задачу.

[Ghost_of_past]

MoonWatcher в сообщении #1729717 писал(а):

то степень его автономности едва ли будет сильно отличаться от автономности людей

Невозможно обсуждать степень автономности ИИ-системы, которой не существует.

MoonWatcher в сообщении #1729717 писал(а):

подобно человеку, который родился и воспитывался в очень религиозной семье с консервативными ценностями, но потом начитался книжек и стал совсем другим человеком

Подобно или нет, будет зависеть от устройства ASI. У людей ценности, как и любой сложный признак поведения, определяются взаимодействующим комплексом врожденных и средовых факторов.

[MoonWatcher]

Склоняюсь к тому, что главным препятствием к росту ВВП будет снижение цен. Рассмотрим гипотетический сценарий, в котором благодаря AGI/ASI появляются услуги, перед которыми трудно устоять. Например, полноценный ИИ-ассистент, который делает по запросу буквально все: любой кинофильм по заданному сценарию, абсолютно реалистичную компьютерную игру с интерактивным открытым миром и т.д. Также можно предположить лечение ранее неизлечимых болезней (ну хотя бы повторное отращивание зубов и волос и прочее омоложение), сдачу в аренду робота-помощника на все случаи жизни и т.д. Накопления на старость или черный день - это, конечно, дело нужное, но соблазн слишком велик - как и вера в светлое будущее с постоянно растущим ББД. Собственно, если речь идет об омоложении, то откладывать деньги на старость просто глупо - лучше на эти деньги старость отсрочить.

Если верить моему чат-боту, финансовые сбережения американских домохозяйств (вклады, ценные бумаги и т.д.) составляют 140 трлн долларов. В среднем это около 400 тыс на одного американца. В этом гипотетическом сценарии я считаю вполне вероятным, что американцы поделят свои сбережения, скажем, пополам, одну половину (70 трлн долларов) в свою очередь поделят, скажем, на семь лет (по 10 трлн в год) и потратят их на эти замечательные услуги. Тогда получается, что ежегодный номинальный ВВП США в эти семь лет будет расти с 30 до 40 трлн (на 1/3) ежегодно. Эффект будет краткосрочным, но весьма заметным. При этом финансовая система вроде бы не пострадает, поскольку конечные получатели денег все равно будут пополнять банковские счета и покупать ценные бумаги.

Не факт, что производственная инфраструктура будет сдерживать рост ВВП. Вероятно сперва эти чудо-услуги будут предлагать только богатым американцам, и имеющаяся инфраструктура будет работать в основном на них. По мере растущего интереса со стороны остальных американцев, компании будут вкладывать деньги в расширение инфраструктуры (как это происходит сейчас). И вот здесь что-либо прогнозировать трудно - вопрос упирается не только и не столько в возможности производственной инфраструктуры, сколько в темпы развития ИИ. По некоторым оценкам, стоимость достижения фиксированного уровня качества ИИ падает в 5-10 раз ежегодно. Если эта динамика сохранится, то с достижением AGI увеличивать число его пользователей можно будет гораздо более высокими темпами, чем позволяет производственная инфраструктура. Но в этом случае неизбежно упадет и себестоимость этих услуг - а вместе с ней цена и прирост номинального ВВП. Будет примерно как с современным смартфоном: в 1940е государство и бизнес отвалили бы за него миллионы долларов, в 1980е богатые бизнесмены не пожалели бы на это чудо (со всем его нынешним функционалом, включая Интернет, GPS и т.д.), условно, десятки тысяч долларов, а сегодня топовая модель стоит около тысячи.

[b4b5]

Ghost_of_past в сообщении #1729735 писал(а):

Невозможно обсуждать степень автономности ИИ-системы, которой не существует.

Обсуждать это не только можно, но и жизненно необходимо. Конкретные примеры очевидны от физики и математики до биологии. «обсуждать свойства ещё не существующего объекта» - стандартный метод выдвижения гипотез, построения моделей, оценки рисков.

-- добавлено через 45 минут --

mihaild в сообщении #1729603 писал(а):

Проблема в том, что у нас нет представления, как это делать, и не очень понятно, что это вообще значит.
Всевозможные промпты "не жульничай" и RL по этим вопросам помогает, да. Но не очень понятно, насколько он будет работать при росте capabilities, когда уже нам станет сложно понимать specificaiton gaming.

Это понятно как делать, в целом нужно научить создавать и трансформировать модели мира и нужен движок извлечения закономерностей (инвариантов), это тоже понятно как делать.

[MoonWatcher]

MoonWatcher в сообщении #1729848 писал(а):

Тогда получается, что ежегодный номинальный ВВП США в эти семь лет будет расти с 30 до 40 трлн (на 1/3) ежегодно.

На 1/3 только в первый год, конечно - потом будет с 40 до 50, с 50 до 60 и т.д. Так что 33% ежегодно в этом условном сценарии не будет.

[MoonWatcher]

MoonWatcher в сообщении #1725027 писал(а):

4) Распространение роботов и, как следствие, резкое ужесточение миграционной политики, еще большее снижение рождаемости (стакан воды в старости поднесет домашний робот). Еще большее взаимное отчуждение людей по причине распространения роботов-партнеров в играх и даже сексе, личных ИИ-секретарей (деловое общение сведется к нулю) и т.д.

Интересный обзор новейших китайских андроидов. Лично мне представляется вполне вероятным, что такими темпами (и при условии создания AGI хотя в ближайшие 15 лет) через 15-20 лет роботы будут проходить сложнейшие тесты (например, собирать кубики Рубика в процессе жонглирования ими, или ловить на лету брошенное с большой скоростью яйцо, не разбив его), побеждать людей во всех видах спорта и, самое главное, выполнять любую физическую работу.

Очевидно, что в этом направлении будет развиваться и секс-индустрия. Но как далеко зайдет замещение людей роботами в личных отношениях, что его будет сдерживать? На первых взгляд - потребность в деторождении, этические (традиционные, религиозные, идейные) соображения и понимание, что партнер лишь имитирует свои чувства (но это не точно). Насколько вероятно, что значительная (я не скажу бо́льшая) часть человечества предпочтет в личных отношениях андроида человеку? Поскольку в секс-индустрии роботы почти наверняка будут преобладать (нулевой риск венерического заболевания и безусловное исполнение любых эротических фантазий, в пределах допустимого), интересно послушать мнения про перспективу более серьезных отношений с роботами. Как известно, отношения (не путать с развлекательным флиртом) заводят даже с чат-ботами, но пока это скорее из области курьезов, чем реальная тенденция.

[Rasool]

MoonWatcher в сообщении #1730553 писал(а):

Очевидно, что в этом направлении будет развиваться и секс-индустрия. Но как далеко зайдет замещение людей роботами в личных отношениях, что его будет сдерживать? На первых взгляд - потребность в деторождении, этические (традиционные, религиозные, идейные) соображения и понимание, что партнер лишь имитирует свои чувства (но это не точно). Насколько вероятно, что значительная (я не скажу бо́льшая) часть человечества предпочтет в личных отношениях андроида человеку? Поскольку в секс-индустрии роботы почти наверняка будут преобладать (нулевой риск венерического заболевания и безусловное исполнение любых эротических фантазий, в пределах допустимого), интересно послушать мнения про перспективу более серьезных отношений с роботами. Как известно, отношения (не путать с развлекательным флиртом) заводят даже с чат-ботами, но пока это скорее из области курьезов, чем реальная тенденция.

На эту тему уже начали снимать художественные фильмы. Например, немецкий фильм 2021-го года "Я создан для тебя". Там проводится эксперимент: одной одинокой даме 45-и лет предоставляется на тестирование - совместное проживание - робот-андроид, который полностью имитирует мужчину, и в чем-то даже превосходит его (например, в понимании тонкостей человеческой психологии). В итоге у дамы даже появляются серьезные чувства к роботу.