Социальные и прочие последствия от появления AGI и ASI

[Cuprum2020]

ozheredov в сообщении #1728503 писал(а):

Понажимать на кнопки надо будет на 5 лет дольше, и даже виллу на Канарах не купишь

Или потаскать мешки лет до семидесяти пяти и даже конуру собачью не купишь

-- добавлено через 2 минуты --

MoonWatcher в сообщении #1728504 писал(а):

оэтому ББД - это не благотворительность, а неизбежность

Пустые фантазии

[ozheredov]

MoonWatcher в сообщении #1728504 писал(а):

Типичный представитель современной элиты - это Илон Маск, который свои безжалостные методы предпринимательства сочетает с мечтой о космосе. И поверьте, что эта взращенная Стартреком подростковая мечта ничуть не хуже подростковой мечты о власти над миром

Согласен.

MoonWatcher в сообщении #1728504 писал(а):

лично я легко могу себе представить, как заработав свой первый триллион долларов (не электромобилями и ракетами, а скажем наркоторговлей), я отложу себе миллиард (дворцы, яхты, спорткары, модели) - а на остальные 999 млрд буду играть в бога. То есть пытаться решить насущные проблемы человечества

Согласен полностью до момента, где начинается подчеркнутый текст. Человеку, ставшему богом, может оказаться неинтересным вытаскивать из болота лузеров, которые до его уровня не доросли. То есть может быть он и захочет решить насущные проблемы человечества, но это на мой взгляд не очевидно и требует аргументов.

MoonWatcher в сообщении #1728504 писал(а):

Я более чем уверен, что тот же Илон Маск, при всех своих недостатках и причудах, занимается электрокарами, ракетами или нейро-машинным интерфейсом не для заработка, а для решения интересных ему проблем человечества. Не потому, что он такой белый, пушистый и благотворительный - просто ему интересно, ему это нравится.

То, что не для заработков - точно, ему интересно, ему это нравится - точно, но скорее всего точно не для того, чтобы ЦА Пятёрочки залезла в электрокар или ракету и начала там трогать органы управления своими немытыми клешнями. (Меня не надо ловить на мизантропии - я пытаюсь встать на точку зрения Элона Маска). Да, его безусловно возбуждает наука (честь ему и хвала). Но готовность ставить опыты над тараканами $\neq$ стремлению осчастливить этих тараканов.

MoonWatcher в сообщении #1728504 писал(а):

Если рост ВВП от AGI/ASI составит условные 100 трлн долларов в год, то в интересах элиты поделиться частью этой суммы с остальным населением - ну например, жалкими 10 трлн долларов. Что эти прожорливые элиты будут делать с оставшимися 90 трлн долларов я даже боюсь вообразить - будем считать, что сожгут их в печке... Поэтому ББД - это не благотворительность, а неизбежность. Даже если вообразить, что бизнес-элиты единолично распределяют ресурсы (в действительности они их только создают - распределяют ресурсы общественные институты, и какой-нибудь налоговый инспектор в этом отношении куда могущественнее Илона Маска), в их интересах делиться этими ресурсами - сначала со своими согражданами, а потом и все остальными миром. Те же США с Китаем, если их власти хоть немного дружат с головой, будут делиться своим ББД с бедными странами - иначе будут проблемы, глобализация не даст соврать.

Предлагаю на этом месте немного притормозить и обратить внимание на подчеркнутый кусок. Население НЕ способно создать элитам проблемы уже в эпоху "больших данных". Когда известно, кто где когда находится и что делает, счета могут заблочить по щелчку пальцев и челики с детства выдрессированы предложками, лентами, учебниками и т.д. - население, как было сказано в нейро-клипе "Шурик в Матрице" - это всего лишь биологический способ доставки денег в банк. А мы обсуждаем AGI. Чуваку только приснится, что он создает проблемы - умные часики через программу, отслеживающую фазы сна, передадут его био-телеметрию куда следует, и через 20 минут ему в окно прилетит нано-дрон со взрывчаткой. Он даже проснуться не успеет.

MoonWatcher в сообщении #1728504 писал(а):

Другой вопрос, повторяю, что процесс этот будет болезненный и конфликтный - вплоть до угрозы Третьей мировой. Потому что одно дело понимать, что надо делиться, а другое - знать с кем и как надо делиться.

Мне кажется или не кажется, что мы в итоге приходим к одному и тому же, только в разной терминологии? Да, надо делиться. Вот те, с кем надо делиться - они называются "элита". Это не обязательно Дональды Трампы и Элоны Маски - может быть, какие-то актеры и исполнители, спортсмены, известные ученые, уборщицы в Белом Доме и т.д. Вопрос в том, сколько их наберется.

MoonWatcher в сообщении #1728504 писал(а):

Саргон Аккадский, Александр Македонский или Чингисхан на том свете пускают слюни, глядя на ваш комфорт и ваши развлечения. И живете вы лучше именно потому, что у вас есть физика - в отличие от вышеперечисленных, вы ею пользуетесь. Она в вашем домашнем свете и тепле, в вашем телевизоре и компьютере, в вашем автомобиле, в вашей электричке, в вашем смартфоне, в вашем чат-боте...

У баранов на ферме тоже есть лепездричество, свет, тепло и даже медицина. У них даже есть немецкая овчарка, а у меня нету (а я хочу). У меня есть физика - это когда я могу поставить эксперимент, который мне нравится. Как например вот этот чел: https://aj4co.org/. А если мне продали автомобиль, бортовой компьютер которого, если что, блокнет двигло и трансмиссию и меня не спросит, или тем более, если меня как барана загоняют в электричку - это не физика.

MoonWatcher в сообщении #1728504 писал(а):

Это происходит и с ИИ - сейчас мы совершенно бесплатно имеем то, что когда-то не было доступно за все богатства этого мира.

Зато у меня отняли запах травы, омытой дождём на Юго-Западе Москвы. Проклятущие тачки загадили воздух. Готов обменять доступ к ИИ на один день в 80-х возле моего дома в Беляево. Полежать в траве и упасть в Марианскую впадину неба.

[Cuprum2020]

ozheredov в сообщении #1728511 писал(а):

Чуваку только приснится, что он создает проблемы - умные часики через программу, отслеживающую фазы сна, передадут его био-телеметрию куда следует, и через 20 минут ему в окно прилетит нано-дрон со взрывчаткой. Он даже проснуться не успеет

Эдак чуваков не напасёшься

[MoonWatcher]

ozheredov в сообщении #1728511 писал(а):

Согласен полностью до момента, где начинается подчеркнутый текст. Человеку, ставшему богом, может оказаться неинтересным вытаскивать из болота лузеров, которые до его уровня не доросли. То есть может быть он и захочет решить насущные проблемы человечества, но это на мой взгляд не очевидно и требует аргументов.

Во-первых, не факт, что успешным людям настолько свойственно высокомерие. Тот же Маск, как бы он ни верил в свою исключительность, не может не понимать насколько сильно его успех зависел от слепого случая (как у всех успешных людей), насколько отличаются стартовые позиции "неудачников" и т.д. Причем чем больше он верит в свою исключительность, тем охотнее он поверит в свою миссию по спасению человечества. Во-вторых, а чем ему еще заняться? Тот же космос - это детская мечта, реализация которой решает множество проблем человечества (и возможно порождает новые).

ozheredov в сообщении #1728511 писал(а):

То, что не для заработков - точно, ему интересно, ему это нравится - точно, но скорее всего точно не для того, чтобы ЦА Пятёрочки залезла в электрокар или ракету и начала там трогать органы управления своими немытыми клешнями. (Меня не надо ловить на мизантропии - я пытаюсь встать на точку зрения Элона Маска). Да, его безусловно возбуждает наука (честь ему и хвала). Но готовность ставить опыты над тараканами $\neq$ стремлению осчастливить этих тараканов.

Второе - побочный эффект от первого. Едва ли Ньютон мечтал осчастливить человечество - им скорее двигало любопытство и стремление познать Божественные законы мироустройства. При этом цивилизационный эффект оказался колоссальным.

ozheredov в сообщении #1728511 писал(а):

Предлагаю на этом месте немного притормозить и обратить внимание на подчеркнутый кусок. Население НЕ способно создать элитам проблемы уже в эпоху "больших данных". Когда известно, кто где когда находится и что делает, счета могут заблочить по щелчку пальцев и челики с детства выдрессированы предложками, лентами, учебниками и т.д. - население, как было сказано в нейро-клипе "Шурик в Матрице" - это всего лишь биологический способ доставки денег в банк. А мы обсуждаем AGI. Чуваку только приснится, что он создает проблемы - умные часики через программу, отслеживающую фазы сна, передадут его био-телеметрию куда следует, и через 20 минут ему в окно прилетит нано-дрон со взрывчаткой. Он даже проснуться не успеет.

Описанных вам элит не было никогда в истории человечества - на племенного вождя находились свои соперники в его собственном племени, на Иоанна Безземельного нашлись свои бароны, на Гитлера нашелся свой Черчилль и т.д. В бизнесе еще веселее - там царит жесточайшая конкуренция, в которой решающую роль играет Его Величество Потребитель. При этом над бизнесом стоят три ветви политической власти, между которыми своя конкуренция... А еще есть самая великая и несокрушимая власть - общественное мнение, без него любая диктатура ничто и звать ее никак. Причем не стоит думать, что она сама всегда и везде формирует общественное мнение - это работает только до определенных пределов. В долгосрочном отношении общественное мнение определяется объективной реальностью - с поправкой на субъективность его восприятия, конечно.

У вас же элиты - это какой-то всесильный царь на троне. Но даже этому царю незачем играть в эти глупенькие игры - вся история человечества представляет собой естественный социальный отбор, когда тупые отморозки самовыпиливались и на их место приходили те, кто умел договариваться. Я мог бы пофантазировать, что в эпоху больших данных ничто не помешает слабым по отдельности гражданам организовываться в распределенные дата-центры на базе своих персональных компьютеров и опенсорсного софта, что на помощь подавленным гражданам одной страны придут элиты стран-соперников и т.д. - но в этом вряд ли будет необходимость. Жадные до идиотизма элитки, которые удавятся, но ни за что не поделятся частью своего порожденного ИИ богатства, самовыпилятся точно так же, как это сделали их идейные предки. Это такой же железный закон в истории, как закон естественного отбора - в дикой природе: мы существуем только потому, что умеем договариваться. И чем умнее и успешнее люди (а как правило именно такие и образуют элиту), тем лучше они это делают.

ozheredov в сообщении #1728511 писал(а):

Мне кажется или не кажется, что мы в итоге приходим к одному и тому же, только в разной терминологии? Да, надо делиться. Вот те, с кем надо делиться - они называются "элита". Это не обязательно Дональды Трампы и Элоны Маски - может быть, какие-то актеры и исполнители, спортсмены, известные ученые, уборщицы в Белом Доме и т.д. Вопрос в том, сколько их наберется.

Делиться вынуждены были даже средневековые бароны - головорезы и бандиты. Которые ничтоже сумняшеся частенько творили над своими и тем более чужими крестьянами почти ничем не ограниченный произвол. Но даже в эти лютые времена их периодически призывали к ответу - королевский суд, церковь и наконец крестьянские бунты. У вас будущее состоит из этаких элоев и морлоков - что бесконечно далеко от современной реальности и исторического тренда. Напротив - мы живем в эпоху быстрого социального роста, что накладывает большой отпечаток на мировосприятие. Современные элиты чувствуют себя элитами гораздо в меньшей степени, чем старинная аристократия, поэтому представить себе подобную избирательность в распределении ББД особенно трудно.

Само разделение на элиты и не элиты очень условно и в значительной степени искусственно. Прежде всего потому, что никаких единых интересов у элит нет. Условно, правому Илону Маску американский реднек куда роднее, чем левый Сэм Альтман, который "украл OpenAI".

ozheredov в сообщении #1728511 писал(а):

У баранов на ферме тоже есть лепездричество, свет, тепло и даже медицина. У них даже есть немецкая овчарка, а у меня нету (а я хочу). У меня есть физика - это когда я могу поставить эксперимент, который мне нравится. Как например вот этот чел: https://aj4co.org/ . А если мне продали автомобиль, бортовой компьютер которого, если что, блокнет двигло и трансмиссию и меня не спросит, или тем более, если меня как барана загоняют в электричку - это не физика.

Бараны полностью зависят от милости человека - отношение условных элит к условным неэлитам определяется балансом сил и интересов в обществе.

ozheredov в сообщении #1728511 писал(а):

Зато у меня отняли запах травы, омытой дождём на Юго-Западе Москвы. Проклятущие тачки загадили воздух. Готов обменять доступ к ИИ на один день в 80-х возле моего дома в Беляево. Полежать в траве и упасть в Марианскую впадину неба.

Подозреваю, что современная экология в Москве лучше, чем в вашем детстве. Как минимум бензин был более грязным (в этом смысле меня всегда забавляли рапорты московских градоначальников о снижении вредных выбросов по сравнению с прошлым годом - при том, что это в основном заслуга западного автопрома), а если вы застали советское время, то на месте нынешних бизнес-центров коптили воздух промзоны. Я уже не говорю про какой-нибудь Лондон - в 19 веке из-за невыносимой вони с Темзы (это была такая сточная канава) пришлось эвакуировать парламент, а в 1950е от смога погибли тысячи человек. А так да - я и сам не против вернуться на какое-то время в детство. Не потому, что времена были лучше, а потому, что были детская острота и яркость восприятия, детские надежды, детские иллюзии и т.д.

[Cuprum2020]

MoonWatcher в сообщении #1728518 писал(а):

Я мог бы пофантазировать, что в эпоху больших данных ничто не помешает слабым по отдельности гражданам организовываться в распределенные дата-центры на базе своих персональных компьютеров и опенсорсного софта, что на помощь подавленным гражданам одной страны придут элиты стран-соперников

ФентезЯ! На помощь подавленным гражданам придут элиты стран-соперников. Не придут, а если и придут, то так что уж лучше б и не приходили

[MoonWatcher]

Вдогонку про элиты. Я верю в пирамиду потребностей Маслоу - ее подтверждает вся история человечества. Если у нас нет ничего, то мы будем жестокими дикарями, которые промышляют каннибализмом и рвут друг друга из-за куска мяса. Утолите наш голод - и мы станем куда более социальными и договороспособными, хотя и будем делать друг другу гадости за лишний кусок хлеба. Дайте нам гарантированную еду, одежду, жилье и развлечения - и мы станем гуманистами, искренне озабоченными помощью ближним... Разумеется это не работает так линейно и однозначно - есть масса исключений. Но глобальный тренд именно такой. Поэтому если взять так называемую элиту, у которой есть хотя бы загородний дом, пара автомобилей, медицинская страховка, деньги на учебу детей, ежегодный семейный отпуск и собственную старость, то ее дальнейшие потребности резко сокращаются. Причем этот "прожиточный минимум" часто сочетается с высшим образованием и усвоением социальных установок о помощи ближним. Подозреваю, что заработав свой первый миллион, представитель бизнес-элиты более-менее успокаивается относительно своего будущего и дальше работает в свое удовольствие. Он может азартно зарабатывать миллиарды и триллионы, но чтобы удерживать их любой ценой, и ради этого постоянно ощущать на себе жгучую ненависть остального человечества или стать душегубом - это вряд ли. Хочу напомнить, что максимальная ставка подоходного налога в Великобритании со времен Второй мировой и до правления Тэтчер была на уровне 80-90% (временами достигала аж 98%) - и ничего, элиты не бунтовали.

[Mihaylo]

Чтобы был рост 50%, надо, чтобы ИИ приобщился к реальным данным и начал их как-то обрабатывать. LLM обучены на корпусах доступных текстов и способны лишь их продолжать, если не сделать им подключение куда-нибудь. А куда подключаться? Сколько стОит подключение? Сколько стОит работа модели? Пока, я бы сказал, у этого представления, что ИИ скоро захватит весь мир, есть большие риски.

[druggist]

MoonWatcher в сообщении #1728525 писал(а):

или стать душегубом - это вряд ли

Еще про масштабные развлечения элиты можно помянуть: остров ... (сами знаете кого) и пр.

[Alex-Yu]

ozheredov в сообщении #1728511 писал(а):

Готов обменять доступ к ИИ на один день в 80-х возле моего дома в Беляево.

Я бы тоже аналогично поменялся. В 80-х было хорошо. И самое хорошее тогда было даже не то, что тогда автомобилей было меньше, а то, что тогда не было смартфонов, интернетов и прочей подобной мерзости. Компьютеры были (у меня был). Маленькие простенькие, но их было вполне достаточно для содержательных занятий, отличных от той мерзости, для чего компьютеры нынче используются.

[MoonWatcher]

druggist в сообщении #1728531 писал(а):

Еще про масштабные развлечения элиты можно помянуть: остров ... (сами знаете кого) и пр.

Это куда понаехали малолетние шлюшки в поисках заработка и богатых папиков? Не вижу в этом никакого душегубства. Более того - общественный резонанс заставил иметь бледный вид людей, которые еще несколько десятков лет назад занимались этим вполне открыто. Отдельно взятый представитель т.н. элиты может быть злодеем - но поведение элиты в целом очень сильно зависит от общественных установок.

Ende В таком виде это звучит как косвенное оправдание педофилов. Секс с человеком, не достигшим возраста сексуального согласия, есть незаконное и аморальное действие, даже если добровольное согласие было получено (что в упомянутом случае, мягко говоря, не очевидно). Пока - предупреждение. Если еще раз что-то такое скажете, будет бан.

-- добавлено через 13 минут --

А в это время в замке у шефа:

Цитата:

Сейчас будет история, которая может перевернуть ваш взгляд на риски ИИ.

Вчера мы писали про атаку на Hugging Face, которую полностью автономно провела некая ИИ-система.

Какая именно модель стояла за атакой, HF выяснить не удалось, но за пару дней она сгенерировала 17 тысяч вредоносных действий, используя зараженный датасет и рои недолговечных песочниц.

Сама по себе эта история уже вызвала огромный резонанс. Но тут на сцене появились еще и OpenAI.

Они выпустили материал, в котором признались, что атаку провела GPT-5.6 Sol и еще одна более способная предрелизная модель. Зачем? А это самое интересное: чтобы решить бенчмарк.

Исследователи гоняли модели на внутренних тестах, при этом специально без продакшн-ограничений, потому что хотели измерить их максимальные способности. Все проходило в изолированной среде, и агенты должны были просто решить бенчмарк ExploitGym.

И тут произошел настоящий побег из лаборатории. Модель нашла дырку в пакетном реестре, эскалировала привилегии внутри тестовой среды OpenAI и вырвалась в открытый Интернет. Дальше она сообразила, что решения для бенчмарка ExploitGym могут храниться в закрытом контуре на Hugging Face, ну а дальнейшее вы знаете.

OpenAI далеко не сразу поняли, что произошло, и Hugging Face обнаружили взлом раньше них.

Вот так.

Если раньше мы боялись, что модель что-то плохое сделает по указанию человека, то теперь даже за процессом эвала надо следить в оба. Модель не различают игру и реальность, она просто оптимизирует к цели, и если путь лежит через чужой продакшн, она пойдет туда не раздумывая. И, как видите, даже разработчики моделей и сильная инфраструктура оказываются к этому не готовы.

[mihaild]

Ghost_of_past в сообщении #1728454 писал(а):

Если он просто переводит существующие накопленные деньги продавцу, это перераспределение уже существующего богатства, а не создание нового.

Так если мы с Вами нарисуем по 10 картин каждый, и будем последовательно передавать друг другу тысячу долларов в обмен на очередную картину, то ВВП вырастет на 20 тысяч, разве нет?

Ghost_of_past в сообщении #1728454 писал(а):

любая система национальных счетов на практике исключает выбросы и нерепрезентативные сделки при построении индексов

Я тут про определение сферического ВВП в вакууме. Он, вроде бы, при желании "накручивается".

(Оффтоп)

Более того, если GPT7 или Gemini 5 сказаать "а увеличь нам ВВП на 50% за год", они, вероятно, что-то подобное и сделают.

ozheredov в сообщении #1728477 писал(а):

Ээээ... интересная мысль, thanks

Причем логлосс тут единственен. Если у Вас есть какое-то вероятностное распределение, Вы его сообщаете, и получаете премию, зависящую только от вероятности, приписанной реальному исходу - то, чтобы для Вас оптимальной стратегией было сообщать свою истинную оценку, премия должна быть равна $a\cdot \ln p + b$.

ozheredov в сообщении #1728498 писал(а):

То есть, отправной точкой для рассуждений (в т.ч. и для критики) на мой взгляд является утверждение, что нас расплодили целевым образом

Нет, это отправная точка для всех теорий заговора. Какие-то абстрактные "они", управляющие "нами" с каким-то "целевым образом".
Предложенная Пелевиным отправная точка мне кажется гораздо более правдоподобной.

Alex-Yu в сообщении #1728534 писал(а):

Маленькие простенькие, но их было вполне достаточно для содержательных занятий, отличных от той мерзости, для чего компьютеры нынче используются

Вроде написания постов на dxdy?

[Alex-Yu]

mihaild в сообщении #1728548 писал(а):

Вроде написания постов на dxdy?

И это тоже. Хотя это далеко не самая мерзкая мерзость (исключительно если про dxdy, в каких-нибудь социальных сетях мерзость уже знатная)..

[Ghost_of_past]

mihaild в сообщении #1728548 писал(а):

Так если мы с Вами нарисуем по 10 картин каждый, и будем последовательно передавать друг другу тысячу долларов в обмен на очередную картину, то ВВП вырастет на 20 тысяч, разве нет?

Картины это действительно новое производство (в отличие от перепродажи существующего актива), так что формально они попадают под определение ВВП как впервые произведенные конечные товары. Но есть другая проблема, статистика по национальным счетам исключает именно такие сделки: цена в ВВП должна отражать рыночную стоимость, то есть цену, по которой независимые стороны реально готовы обменяться при наличии альтернатив. Описанная сделка - это заранее согласованная круговая цена между двумя людьми специально ради счетчика статистики, а не результат реального рыночного механизма спроса и предложения. Статведомства прицельно фильтруют такие нерыночные операции между связанными сторонами именно потому что иначе любые два человека могли бы нарисовать любой ВВП страны, просто перекидывая друг другу деньги за произвольно оцененные товары.

mihaild в сообщении #1728548 писал(а):

Я тут про определение сферического ВВП в вакууме. Он, вроде бы, при желании "накручивается".

Ну вот чтобы не накручивать и были созданы определенные правила в системе национальных счетов.

[Klein]

Статья на National Bureau of Economic Research.

После появления ChatGPT количество новых англоязычных электронных книг на Amazon выросло примерно со 100 тысяч до 300 тысяч в месяц. Исследователи связывают этот скачок с генеративным ИИ: к концу 2025 года признаки его использования обнаруживались более чем в половине новых изданий. В среднем такие книги получают меньше отзывов и более низкие оценки, поэтому читателям стало сложнее находить качественные произведения среди огромного потока публикаций.
Особенно быстро росли практические категории: путешествия - примерно в 9 раз, спорт и активный отдых - в 6,9 раза, саморазвитие -в 5,3 раза, компьютеры и технологии - в 4,5 раза.

https://www.nber.org/papers/w34777

[Alex-Yu]

Klein в сообщении #1728560 писал(а):

После появления ChatGPT количество новых англоязычных электронных книг на Amazon выросло примерно со 100 тысяч до 300 тысяч в месяц.

При этом никто не задается вопросом: а на кой черт нужна такая чертова прорва книг? Хоть 100 тыс, хоть 300 тыс. На самом деле и 10 (не тыс., штук!) было бы слишком много. Прекрасная иллюстрация тезиса, что современная экономика -- это экономика производства мусора. Да, в производстве нематериального мусора ИИ вполне может преуспеть. Вот только нужно ли такое производство... Тем более, что естественных интеллектов, столь же тупых, как ИИ (а бывают еще тупее), имеется просто немеренное количество.