AGI и пироги

[wrest]

Dedekind в сообщении #1702723 писал(а):

Работает, если есть альтернативы, на которые пользователи могут переключится. Если монополия - то конечно не работает, независимо от недовольства пользователей.

Проблема в том, что хотя монополии и нет, в этом плане устройство у всех (из тех кто приходит на ум и с кем я имел дело) одинаковое :(

[Yadryara]

mihaild в сообщении #1702685 писал(а):

Либо это будет более лучший эксвкаватор, либо разбор Земли на скрепки.

Причём второе, по Вашим ощущением, заметно более вероятно?

Если так, то получается, что ИИ-шники ведут человечество к предсказуемому концу. И сделать ничего нельзя, по той простой причине, что любой ИИ-шник, к которым Вы сами себя отнесли, может сказать: "Не я, так другой неизбежно будет продолжать развивать навыки ИИ". (И эти скилы в итоге позволят, например, разобрать людей на скрепки без их согласия.)

[wrest]

Yadryara в сообщении #1702736 писал(а):

Если так, то получается, что ИИ-шники ведут человечество к предсказуемому концу. И сделать ничего нельзя,

Меня вопрос темы тоже заботит, но не в том плане, что человечаство деградирует и вымрет, а в том, что может существенно усилиться неравенство доходов (индекс Джини). С другой стороны, какие-никакие, но "демократические институты" должны на это разделение отреагировать, сделать налог на сверхприбыль, налог на ИИ (по типу НДПИ) и т.п., т.е. перераспределением доходов смягчить последствия нового технологического уклада/разделения труда.
В общем и целом, эта "революция" вроде бы по духу не сильно отличается от изобретения/внедрения паровых двирателей и затем ДВС, нефтедобычи/крекинга, изобретения и внедрения повсеместного водопровода, электричества, телефонизации и наконец компьютеризации. Каждый раз возникали "монополисты" которые, казалось выжмут из населения все соки (Форд, AT&T, Microsoft и т.п.), но как-то всё приходило в новую "норму".
Сейчас, канеш, кажется, что власть корпораций бигтеха (гугл, эппл, амазон и т.п.) увеличилась сверх всякой разумной меры, и внедрение ИИ в производство и жизнь ещё подстегнёт этот отрыв, но может все-тки отрицательная обратная связь через госрегулирование сможет компенсировать неконтролируемость такого роста.

-- 22.09.2025, 14:15 --

Ghost_of_past в сообщении #1702532 писал(а):

невероятные перспективы ИИ, особенно в свете того, что этот хайповый пузырь неизбежно сдуется тем или иным способом в обозримом будущем.

Ну не каждый хайповый пузырь сдувается, хотя и большинство. Некоторые остаются с нами сравнительно надолго. Вот тот же биткоин, несмотря на пророчества, как-то не лопается...

[Yadryara]

wrest в сообщении #1702740 писал(а):

Меня вопрос темы тоже заботит, но не в том плане, что человечаство деградирует и вымрет,

Нет, мой пост не об этом. mihaild уже неоднократно про эти скрепки говорил.

Речь скорее про так называемое "восстание машин". Мы (не какие-то конкретно мы, а человечество) не остановимся на усовершенствовании бывшего каватора, а будем улучшать и улучшать ИИ и роботов. Улучшать и улучшать...

А до каких пор? Ведь в какой-то момент они, вероятно, смогут обходиться без нас. Совсем без нас. И, как один из вариантов, разберут многое на скрепки. В том числе нас.

[mihaild]

skobar в сообщении #1702724 писал(а):

Есть такая вещь, как репутация, и рынок её очень даже учитывает

Конечно, есть. Но абстрактные прогнозы "мы улучшим эффективность и всех победим", вроде бы, на неё не особо влияют. А никаких конкретных чисел не предъявлено.

skobar в сообщении #1702724 писал(а):

Если из официальных отчетов взять отношение SG&A expenses (куда входят зарплаты) к revenue

В рамках доказательства бесполезности АИ попросил АИ найти эти данные по топ10 компаниям. Несколько точек перепроверил, вроде правильно. Таблица https://docs.google.com/spreadsheets/d/ ... sp=sharing
На первый взгляд выглядит как будто отношение просто шумит. И амазон сам по себе сильно менее эффективен, чем многое другое.

Вложение:

chart.png

-- 22.09.2025, 13:30 --

Yadryara в сообщении #1702736 писал(а):

Причём второе, по Вашим ощущением, заметно более вероятно?

Это заметно более вероятно, чем Безос с Сундаром, приказывающие модели "сделай нас бессмертными и уничтожь лишних людей", и переживающие это.

Yadryara в сообщении #1702736 писал(а):

Если так, то получается, что ИИ-шники ведут человечество к предсказуемому концу. И сделать ничего нельзя

Это не исключено. Если текущий подход масштабируется до SAI, то мы уже проиграли. Поэтому я надеюсь, что текущий подход до него не машстабируется, а вклад ресурсов в него приводит к тому, что меньше ресурсов будет на поиск существенно новых подходов.

"Разобрать на скрепки" - из мысленного эксперимента Бострома paperclip maximizer. Если мы сделаем достаточно умную систему, делающую, что ей сказано, то любое обращение к ней приводит к уничтожению человечества.

[Yadryara]

mihaild в сообщении #1702749 писал(а):

Если текущий подход масштабируется до SAI, то мы уже проиграли. Поэтому я надеюсь, что текущий подход до него не машстабируется, а вклад ресурсов в него приводит к тому, что меньше ресурсов будет на поиск существенно новых подходов.

Во-первых, SAI — многозначная аббревиатура.
Во-вторых, вклад ресурсов во что, в него?

Согласно этой статье, Бостром говорил, что нужно машинную этику заложить в ИИ. Заложили. ИИ на неё всё равно может наплевать, что ли? Даже если она будет иметь высший приоритет?

Тогда либо это то самое восстание машин либо ИИ как-то сильно по-своему эту этику будет понимать и уничтожит человечество на пользу этому самому человечеству?

[skobar]

mihaild в сообщении #1702749 писал(а):

Но абстрактные прогнозы "мы улучшим эффективность и всех победим", вроде бы, на неё не особо влияют. А никаких конкретных чисел не предъявлено.

Прогноз Jassy не такой уж и абстрактный, хотя и не содержит конкретных чисел. И такие прогнозы тщательно отслеживаются и ещё как влияют на котировки. Это только новички на рынке думают, что самое главное в цифрах. Самый главный двигатель цены - это прогноз, и на все, относящееся к оному обращают самое пристальное внимание в первую очередь.

mihaild в сообщении #1702749 писал(а):

На первый взгляд выглядит как будто отношение просто шумит. И амазон сам по себе сильно менее эффективен, чем многое другое.

Не совсем понял, что откладывается по вертикальной оси. Посмотрел на spreadsheet, там очевидные огрехи. Например, у NVDA финансовый год не совпадает с календарным годом, и у вас отсутствуют данные за год, который кончился в январе 2025. Отсутствуют данные по TTM, т.е. за самый интересный последний период. Ведь ИИ только начал внедряться. Потом цифры нужно привести хотя бы в первом приближении к проформе.
В общем, приведенные графики совершенно не показательны.

[mihaild]

Yadryara в сообщении #1702758 писал(а):

Во-первых, SAI — многозначная аббревиатура.

Еще и с опечаткой. Должно быть ASI - artificial superintelligence.

Yadryara в сообщении #1702758 писал(а):

Во-вторых, вклад ресурсов во что, в него?

Вклад ресурсов в текущий подход уменьшает вклад ресурсов в поиск новых подходов, которые могут оказаться более опасными.

Yadryara в сообщении #1702758 писал(а):

Согласно этой статье, Бостром говорил, что нужно машинную этику заложить в ИИ. Заложили

Никто не знает, как это сделать. В том числе потому, что никто не знает, что закладывать.
Про это как раз недавно вышла книжка Юдковского "If anybody builds it, everyone dies". Я не читал (думаю что достаточно читал Юдковского, чтобы представлять, что там написано), но для базового знакомства с этими представлениями должна подойти.

skobar в сообщении #1702764 писал(а):

Самый главный двигатель цены - это прогноз

Это, конечно, правда. Но насколько в нём важна именно составляющая reduce workforce по сравнению с efficiency gains? И если проверить efficiency gain еще можно, то как проверить его связь с уменьшением рабочей силы - непонятно.

skobar в сообщении #1702764 писал(а):

Не совсем понял, что откладывается по вертикальной оси

SG&A expenses / revenue

[Sender]

mihaild в сообщении #1702749 писал(а):

Это заметно более вероятно, чем Безос с Сундаром, приказывающие модели "сделай нас бессмертными и уничтожь лишних людей", и переживающие это.

А каких последствий стоит ожидать, если достаточно умная модель, делающая что сказано, получит противоречивый приказ?

[skobar]

mihaild в сообщении #1702768 писал(а):

Но насколько в нём важна именно составляющая reduce workforce по сравнению с efficiency gains? И если проверить efficiency gain еще можно, то как проверить его связь с уменьшением рабочей силы - непонятно.

Что-то нить разговора совсем потерялась :). Напомню, Jassy спрогнозировал efficiency gains благодаря дальнейшему внедрению ИИ, которое, в качестве побочного эффекта, будет сопровождаться увольнением рабочей силы.

[wrest]

Yadryara в сообщении #1702744 писал(а):

А до каких пор? Ведь в какой-то момент они, вероятно, смогут обходиться без нас. Совсем без нас. И, как один из вариантов, разберут многое на скрепки. В том числе нас.

Ну это же нужна координация между злыми машинами. А у нас Интернет суверенный (на текущем геополитическом этапе), постепенно разваливается на куски. Так что эти страхи о довольно далёком будущем, на мой взгляд.
А вот техногенные катастрофы где "виновником" может отказаться ИИ - ну да, это может начаться.

-- 22.09.2025, 16:33 --

skobar в сообщении #1702770 писал(а):

Напомню, Jassy спрогнозировал efficiency gains благодаря дальнейшему внедрению ИИ, которое, в качестве побочного эффекта, будет сопровождаться увольнением рабочей силы.

Ну так а почему это увольнение "плохо"? Я это вижу как "углубление неравенства" в доходах (aka несправедливое распределение материальных благ).
Грубо говоря, ВВП то ведь будет увеличиваться, а не уменьшаться. А потреблять этот увеличившийся ВВП кто будет?

Тут, видимо можно говорить о дальнейшем отрыве "золотого миллиарда" от остальных семи. Это наверное реальная потенциальная проблема. Для тех, кто не попадёт в этот миллиард. Данная проблема решается революциями и войнами, обычно...

[skobar]

Yadryara в сообщении #1702758 писал(а):

то то самое восстание машин

Как началось восстание злых машин :)

(Оффтоп)

https://youtu.be/bPSLMX_V38E?si=yXZarmtYR8tqYRNA

[mihaild]

Sender в сообщении #1702769 писал(а):

А каких последствий стоит ожидать, если достаточно умная модель

... будет вообще запущена. Все умрут.

skobar в сообщении #1702770 писал(а):

Напомню, Jassy спрогнозировал efficiency gains благодаря дальнейшему внедрению ИИ, которое, в качестве побочного эффекта, будет сопровождаться увольнением рабочей силы

Да. И вопрос в том, насколько в этом прогнозе важна часть про увольнение рабочей силы.

wrest в сообщении #1702772 писал(а):

Я это вижу как "углубление неравенства" в доходах (aka несправедливое распределение материальных благ).

Насколько я понимаю, есть опасения, что будет не просто рост неравенство, а уменьшение абсолютов для существенной части населения. Такого результата на длительном периоде, вроде бы, никакие изобретения не давали, но это не мешает опасаться.

[skobar]

wrest в сообщении #1702772 писал(а):

Ну так а почему это увольнение "плохо"? Я это вижу как "углубление неравенства" в доходах (aka несправедливое распределение материальных благ).

Наверное, с этим можно согласиться. Владельцы компаний получат больше прибыли, уволенные что-то потеряют.
Как учили гностики, Яхве-Демиург создал совсем несправедливый мир :) Все претензии к демиургу.

[Sender]

mihaild в сообщении #1702779 писал(а):

... будет вообще запущена. Все умрут.

Ну это слишком радикальный сценарий. Я бы начал с того, зачем вообще достаточно умной модели, будучи запущенной, что-то делать? Если её интеллект превосходит таковой запускателей, она легко объяснит себе, им и всем механизмам контроля, почему лучший вариант действия — бездействие. Возможно, совершенствованием этих самых механизмов принуждения и контроля и можно будет добиться того, чтобы модель усмотрела кратчайший путь к продолжению бездействия в ликвидации запускателей, но для этого им как минимум придётся стать немного умнее.