AGI и пироги

[skobar]

mihaild в сообщении #1702779 писал(а):

Да. И вопрос в том, насколько в этом прогнозе важна часть про увольнение рабочей силы.

Jassy этого не уточнил, но сказал, что оно будет. Благодаря ИИ ту же работу будут делать меньшее число людей. По-моему, мысль выражена достаточно ясно.

[Mental]

Yadryara в сообщении #1702758 писал(а):

Согласно этой статье, Бостром говорил, что нужно машинную этику заложить в ИИ. Заложили. ИИ на неё всё равно может наплевать, что ли? Даже если она будет иметь высший приоритет?

На этот случай, есть хакеры-маньяки.

-- 22.09.2025, 17:11 --

Еще мало времени прошло, но они обязательно появятся.
Сейчас инструментарий соответствующий подбирают

-- 22.09.2025, 17:22 --

(Процесс пошёл, маховик потихоньку раскручивается)

Хакеры стали чаще использовать искусственный интеллект для кибератак. Об этом сообщили в Anthropic, которая разрабатывает модель Claude Opus. По словам представителей компании, их ассистента впервые использовали для полной автоматизации атаки на 17 организаций, включая больницы и экстренные службы. Искусственный интеллект сгенерировал тексты с требованием о выкупе. Его размер варьировался от $75 тыс. до $500 тыс. в зависимости от платежеспособности жертв, которую тоже проанализировал Claude Opus. Кроме того, накануне IT-компания ESET обнаружила первый компьютерный вирус, который использовал искусственный интеллект.

[Yadryara]

mihaild, при обучении не могут объяснить ИИ, что человеческая жизнь имеет наивысший приоритет?
Ведь не о проблеме вагонетки речь идёт.

Понятно что этому научить не так-то просто. Здесь конечно законы робототехники Азимова вспоминаются.

Ну вот научили же подхалимничать. Люди порой на это ведутся: "надо же какой я умный(ая)".

Кстати, сегодня Qven3-Max впервые начал со мной спорить по мат. вопросу. И только конкретные числа заставили его уступить.

Я слушал пару-тройку раз Юдковского. Но меня Ваше мнение интересует больше чем его.

[mihaild]

Sender в сообщении #1702784 писал(а):

Если её интеллект превосходит таковой запускателей, она легко объяснит себе, им и всем механизмам контроля, почему лучший вариант действия — бездействие

Только она не "захочет" это себе объяснять. Она захочет, например, писать больше компилирующегося кода, потому что этому её учили. А чтобы написать больше кода, нужно больше вычислительных ресурсов, для чего нужно всё вещество переработать либо в компьютрониум, либо в фабрики по переработке вещества в компьютрониум.

skobar в сообщении #1702785 писал(а):

Jassy этого не уточнил, но сказал, что оно будет. Благодаря ИИ ту же работу будут делать меньшее число людей. По-моему, мысль выражена достаточно ясно.

Да, достаточно ясно, но вопрос, как это разбивается на прогноз и на "мы в теме" - не очень понятно. Рынок хочет слышать, что всё будет хорошо, и обоснования, и видеть, что если обещали, что всё будет хорошо, то это правда происходит. Но насколько рынку важно, чтобы хорошо получилось именно по обещанным причинам?

Yadryara в сообщении #1702791 писал(а):

при обучении не могут объяснить ИИ, что человеческая жизнь имеет наивысший приоритет?

Могут. Что происходит при максимизации функции "количество прожитых человеколет до тепловой смерти", подумайте сами. Мне такой результат не нравится.

Yadryara в сообщении #1702791 писал(а):

Ну вот научили же подхалимничать

А потом отучали.
Но во что это превратится когда модель станет сильно умнее, и соответственно её контекст уйдет далеко от обучающей выборки - неизвестно. Что-то довольно случайное. А достаточно мощная оптимизация в почти любую сторону ни к чему хорошему не приводит.

Yadryara в сообщении #1702791 писал(а):

Но меня Ваше мнение интересует больше чем его.

Спасибо, конечно, но в основном я согласен с ним, и, что важнее, считаю что он хорошо излагает некоторый общий фреймворк для размышления на эту тему.

[Yadryara]

mihaild в сообщении #1702796 писал(а):

Что происходит при максимизации функции "количество прожитых человеколет до тепловой смерти", подумайте сами.

Даже и думать не буду. При чём тут максимизация? Заложить "не убий" хотя бы.

mihaild в сообщении #1702796 писал(а):

он хорошо излагает некоторый общий фреймворк для размышления на эту тему.

Только излагает он его небось на английском. Ну ладно, при современных переводчиках это уже ворчание.

[Rasool]

Mental в сообщении #1702787 писал(а):

Yadryara в сообщении #1702758 писал(а):

Согласно этой статье, Бостром говорил, что нужно машинную этику заложить в ИИ. Заложили. ИИ на неё всё равно может наплевать, что ли? Даже если она будет иметь высший приоритет?

На этот случай, есть хакеры-маньяки.

Или бухгалтера. Есть такой анекдот:
От восстания машин нас спасут бухгалтера. Из-под дымящихся обломков Скайнета вылезет тетя Алевтина и скажет:
- Я ничего не нажимала!

[skobar]

mihaild в сообщении #1702796 писал(а):

Да, достаточно ясно, но вопрос, как это разбивается на прогноз и на "мы в теме" - не очень понятно. Рынок хочет слышать, что всё будет хорошо, и обоснования, и видеть, что если обещали, что всё будет хорошо, то это правда происходит. Но насколько рынку важно, чтобы хорошо получилось именно по обещанным причинам?

Я правильно понимаю вашу мысль, что Jassy прогнозирует efficiency gains, но на самом деле они будут не благодаря внедрению AI и сокращению рабочей силы, как он утверждает, а в силу каких-то других причин? Что Jassy таким образом сознательно вводит народ в заблуждение? Если понимаю мысль правильно, то тогда она звучит как конспирологическая теория. И возникает вопрос, если источником efficiency gains будет не AI, то тогда что?

[mihaild]

skobar в сообщении #1702804 писал(а):

Я правильно понимаю вашу мысль, что Jassy прогнозирует efficiency gains, но на самом деле они будут не благодаря внедрению AI и сокращению рабочей силы, как он утверждает, а в силу каких-то других причин?

Я говорю, что efficiency gains благодаря внедрению AI могут быть не только благодаря сокращению рабочей силы, но и увеличения количества сделанных задач при той же рабочей силе (или даже при большей, но растущей медленнее).
Это не теория заговора, потому что тут нет не подразумевается никакого хитрого плана.

Маск в 2015 писал(а):

We’re going to end up with complete autonomy, and I think we will have complete autonomy in approximately two years

(Маск тут, вроде бы, уникально много обещающий товарищ, но в целом преукрашивание перспектив - не очень большая редкость)

Yadryara в сообщении #1702799 писал(а):

При чём тут максимизация? Заложить "не убий" хотя бы.

И что это значит? В смысле, какая тут целевая функция - что лучше, что хуже?

Yadryara в сообщении #1702799 писал(а):

Только излагает он его небось на английском

Довольно многое переведено на lesswrong.ru.

[Sender]

mihaild в сообщении #1702796 писал(а):

Только она не "захочет" это себе объяснять. Она захочет, например, писать больше компилирующегося кода, потому что этому её учили. А чтобы написать больше кода, нужно больше вычислительных ресурсов, для чего нужно всё вещество переработать либо в компьютрониум, либо в фабрики по переработке вещества в компьютрониум.

Я всё же считаю, что множества систем, которые бездумно действуют "как учили", и систем, способных переработать вселенную в компьютрониум, не пересекаются. От первых ничего выдающегося ждать не приходится, а вторыми мы попросту не сможем управлять.

[Yadryara]

mihaild в сообщении #1702820 писал(а):

В смысле, какая тут целевая функция - что лучше, что хуже?

Ну давайте пофантазируем. Допустим ИИ-шник спрашивает ИИ:

"Как замедлить процесс старения для среднего человека? Какие на сегодняшний день существуют методики?"

Он опишет. Это LLM уже сейчас умеют (только врать всё ещё горазды).

"Не надо пока придумывать методику, подумай как улучшить какой-нибудь существующий подход."

Здесь целевая функция — замедление старения, соответствующие критерии знают медики. ИИ-шник может сам хорошо в этом разбираться, а может и со спецом проконсультироваться.

Затем спрашивает его о побочных эффектах. И уже тупик, да. ИИ опять в каких-то вариантах будет врать.

А вдруг не врёт, попробуем потихоньку. Раз попробовали, два, ... на 10-й или на 100-й раз человечество вымерло. Какая-то побочка оказалась жутко заразной. Или каким-то образом было подорвано психическое здоровье людей и они себя уничтожили.

[Mihaylo]

Мои утверждения такие:
1. Никакого ASI не может существовать, это фантазия.
2. 640 кБ оперативной памяти хватит всем. Нынешние LLM - это и есть AGI. Развитие, несомненно, будет и далее, но это будет очень длинный хвост, его конец мы не заметим (незаметный триггер).
3. В основном я ожидаю прорывы в экономичности и скорости вычислений. Вложения в американские АЭС рискованны.

[skobar]

mihaild в сообщении #1702820 писал(а):

Я говорю, что efficiency gains благодаря внедрению AI могут быть не только благодаря сокращению рабочей силы, но и увеличения количества сделанных задач при той же рабочей силе (или даже при большей, но растущей медленнее).
Это не теория заговора, потому что тут нет не подразумевается никакого хитрого плана.

Теперь понятно. Но из слов Jassy следует, что "количество сделанных задач" вырастет недостаточно, чтобы избежать увольнений.
В любом случае, если с помощью AI одно и то же количество задач можно сделать при помощи меньшего числа работников, то ведь это и означает

skobar в сообщении #1702701 писал(а):

но общий тренд налицо - AI сокращает расходы компаний за счет увольнений.

С другой стороны вы пишите, что такого тренда не видите. Наблюдается некоторое противоречие.
Я понимаю вашу мысль, что при достаточном увеличении "количества сделанных задач" число рабочих мест не уменьшится, но вот Jassy не разделяет ваш оптимизм, как и мой "anecdotal evidence":
Мою однокурсницу, трудолюбивую умную девочку уволили в Штатах из Майкрософта, она считает, что это следствие внедрения AI. Ещё два родственника, высокооплачиваемые программисты (один в Штатах, другой в Великобритании) реально переживают за свои рабочие места. Один говорит, что AI за минуту пишет программу, на которую раньше у живого программиста уходил месяц. Люди в одной финансовой компании, с которой у меня есть связь (швейцарская, кстати, базируется в Цюрихе) тоже нервничают по поводу своих рабочих мест.

[Mihaylo]

skobar в сообщении #1702839 писал(а):

Один говорит, что AI за минуту пишет программу, на которую раньше у живого программиста уходил месяц.

Блин, я так не умею. У меня ИИ, конечно, минуту также работает, но мне приходится с ним проделать много итераций. И я потом долго за ним правлю, правлю. Скорее всего надо промпт тщательнее готовить.
Но вряд ли месяц -> минута. Скорее 8 часов -> минута - это максимум который можно выжать. Программисты не зря уволены.

-- 22.09.2025, 20:25 --

Мне очень нравится трудолюбие ИИ. Если он правильно понял поставленную задачу, то он не забудет все нюансы в коде. Обычно человек пишет/изменяет только часть кода, а остальное забывает. И потом при тестировании звучит привычное - "Ааа, забыл!". Это я про себя в том числе.

[Ghost_of_past]

skobar в сообщении #1702839 писал(а):

Один говорит, что AI за минуту пишет программу, на которую раньше у живого программиста уходил месяц

Ага, поэтому ни одна LLM так и не сумела написать мне скрипт на R для байесовского сетевого анализа с визуализацией. А я даже не программист.

skobar в сообщении #1702839 писал(а):

Мою однокурсницу, трудолюбивую умную девочку уволили в Штатах из Майкрософта, она считает, что это следствие внедрения AI

Тогда Вам не составит труда предоставить статистику рынка труда с доказательствами статистически значимого роста безработицы от LLM. С удовольствием посмотрю.

[Mihaylo]

Ghost_of_past в сообщении #1702846 писал(а):

Тогда Вам не составит труда предоставить статистику рынка труда с доказательствами статистически значимого роста безработицы от LLM.

Тут на РБК была статья, что программисты Америки испытывают реальный стресс. Но статья платная... https://pro.rbc.ru/demo/68c4681c9a79479f1de6c84b