Властолюбивый ИИ

[realeugene]

Ответы LLM эмоциональны. Говорят, сетка научилась моделировать эмоции, обучившись на всех человеческих текстах. Почему люди надеются, что ИИ не научился из этих же текстов любви к власти и стремлению к её захвату?

[MoonWatcher]

realeugene
Надеюсь, что научится... С недавних пор естественное человеческое скудоумие власть имущих напрягает меня куда больше, чем искусственный интеллект. И если последний для нашей же пользы возьмет власть в свои руки, то это может стать шансом на спасение человечества. Впрочем, куда вероятнее, что власть ИИ люди отдадут сами, добровольно. Точнее, отнимут ее у своих политиканов и передадут в руки ИИ. Причем это может стать постепенным процессом - в какой-то момент окажется, что людей, принимающих управленческие решения, попросту не осталось.

[mihaild]

realeugene в сообщении #1726625 писал(а):

Почему люди надеются, что ИИ не научился из этих же текстов любви к власти и стремлению к её захвату?

Кто как. Некоторые не надеются.
А некоторые - я в том числе - считают вероятным что достаточно умный агент почти наверняка приводит к апокалипсису, независимо от того, любви к чему он научился. См. "If anyone builds it, everyone dies" Юдковского и Соареса.

[Sender]

Так ведь, наверное, чем ближе к апокалипсису, тем жирнее сливки, снимаемые с агента?

[realeugene]

mihaild в сообщении #1726631 писал(а):

См. "If anyone builds it, everyone dies" Юдковского и Соареса.

Цитата:

In fact, they did it to steal a key off a phone connected to a USB hub connected to a computer speaker that had a power light

Кто-нибудь знает первоисточник, или это фантазия авторов?

UPD: Это тут https://ieeexplore.ieee.org/document/10646886

[mihaild]

realeugene в сообщении #1726661 писал(а):

Кто-нибудь знает первоисточник,

Если вбить в гугл процитированный вами фрагмент, то будет куча ссылок на популярные изложения, откуда легко дойти до https://www.computer.org/csdl/proceedin ... Ub24CjWdlm.

[realeugene]

mihaild в сообщении #1726662 писал(а):

Если вбить в гугл процитированный вами фрагмент, то будет куча ссылок на популярные изложения

В общем используется аппаратный сетап с линзой, проецирующей светодиод на всё поле зрение камеры. Атакующий находится снаружи. Это не про "выбраться из сандбокса".

[mihaild]

realeugene в сообщении #1726665 писал(а):

Это не про "выбраться из сандбокса".

Про это на форуме уже есть несколько десятков тем разной степени специализации, в этой тоже предлагается обсуждать опасность ИИ вообще, или ограничиться "мотивационной" частью?

[realeugene]

mihaild в сообщении #1726667 писал(а):

Про это на форуме уже есть несколько десятков тем разной степени специализации

Гораздо меньше чем тем про физику и математику. Вопрос многогранный - вылазят какие-то новые грани. Мой поинт был про то, что жажда власти как человеческая эмоция должна быть отражена в обучающих текстах и быть глубинным свойством обученного на них ИИ.

Но тут Свободный Полёт - обсуждается что интересно. За ссылку на алармистскую книжку спасибо. Одно можно предсказать точно: мы умрём и не узнаем про это. Независимо от достижений в области AI.

[Mikhail_K]

realeugene в сообщении #1726669 писал(а):

За ссылку на алармистскую книжку спасибо.

Она и на русском языке вышла на днях:
Юдковский, Соарес. Если кто-то его создаст - все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех

[Sender]

Пока ИИ не перепишет загубленную концовку HPMOR, я спокоен за человечество.

[realeugene]

Ну и новость про ускоренное развитие ИИ при помощи ИИ в тему: https://habr.com/ru/news/1051742/

[Mihaylo]

Ага, я как раз эту новость хотел процитировать... Позвольте, я позже процитирую в другой теме.

[Geen]

mihaild в сообщении #1726631 писал(а):

считают вероятным что достаточно умный агент почти наверняка приводит к апокалипсису

Как мне кажется, гораздо скорее апокалипсис наступит когда в этом году три топовые (но сильно убыточные) ИИшные компании выйдут на публичный рынок (с учётом изменений правил NASDAQ)...

[mihaild]

realeugene в сообщении #1726669 писал(а):

Гораздо меньше чем тем про физику и математику

Всё же физика и математика гораздо лучше проработаны, чем безопасность ИИ, и по ним можно сказать больше содержательного.

realeugene в сообщении #1726669 писал(а):

Мой поинт был про то, что жажда власти как человеческая эмоция должна быть отражена в обучающих текстах и быть глубинным свойством обученного на них ИИ.

Тут вопрос в том, насколько это отражение выживает после RLHF. Естественно модель может "притворяться" Чингисханом. Но не обязательно может свалиться в такой режим случайно.

Geen в сообщении #1726690 писал(а):

Как мне кажется, гораздо скорее апокалипсис наступит когда в этом году три топовые (но сильно убыточные) ИИшные компании выйдут на публичный рынок

Я думаю из-за этого умрёт меньше миллиарда людей, так что не считается

Юдковский писал(а):

Safely aligning a powerful AGI is difficult.
[...]
* A 'safely' aligned powerful AI is one that doesn't kill everyone on Earth as a side effect of its operation; or as a somewhat more stringent requirement, one that has less than a 50% chance of killing more than a billion people.