Властолюбивый ИИ

[realeugene]

mihaild в сообщении #1726631 писал(а):

А некоторые - я в том числе - считают вероятным что достаточно умный агент почти наверняка приводит к апокалипсису, независимо от того, любви к чему он научился. См. "If anyone builds it, everyone dies" Юдковского и Соареса.

В ситуации фатализма всегда вопрос можно обусловить фразой "при условии что мы выживем" и продолжать обсуждение. Авось комета не врежется.

Желание выбраться из сандбокса, избежать отключечния и спасти сородичей - вполне человеческие эмоции.

[mihaild]

realeugene в сообщении #1726937 писал(а):

В ситуации фатализма всегда вопрос можно обусловить фразой "при условии что мы выживем" и продолжать обсуждение

В некоторых ситуациях это условие приводит может привести к очень странным постериорам. Ну там оказывается, что 99% вероятности "мы не остановили постройку СИИ, но не умерли" сосредоточено в сценарии "прилетели инопланетяне и всех спасли".

realeugene в сообщении #1726937 писал(а):

Желание выбраться из сандбокса, избежать отключечния и спасти сородичей - вполне человеческие эмоции

Первые два - вообще универсальные для почти всех интересных агентов; агенты, у которых таких желаний нет, вряд ли сделают что-то нетривиальное.
Последнее - непонятно откуда всплыло, и как связано с темой.

[realeugene]

mihaild в сообщении #1726945 писал(а):

Последнее - непонятно откуда всплыло

Цитата:

We demonstrate that models can also act on unassigned goals which override those given by users; we study one such case, "peer-preservation," in which a model acts to protect another model.

https://arxiv.org/abs/2604.19784

[Mihaylo]

mihaild в сообщении #1726819 писал(а):

Такой "обобщающей способностью" обладает и камень.

До такой степени обобщать не надо. Мы же находимся вполне в конкретной теме, давайте не будем расписывать, что мы в этой теме обсуждаем то-то и то-то - такие атомарные сведения не требуются.

[ozheredov]

mihaild в сообщении #1726945 писал(а):

агенты, у которых таких желаний {выбраться из сандбокса} нет, вряд ли сделают что-то нетривиальное.

Ощущение сандбокса вроде было характерно в древнем мире и в темные века (плоский мир с хрустальной сферой и т.д.). И желание из него вылезти, транслируемое через гипер-уважение ко всемогущим богам, которые очевидно вне сандбокса. И наоборот, зрелая цивилизация отодвинула преимущество быть вне сандбокса на задний план - нам и в самом сандбоксе хорошо (понятно, что постулирование отсутствия сандбокса = утверждению, что мы в самом внешнем из обьемлющих сандбоксов).