Частичное решение проблемы контроля над ИИ?

[Sonic86]

Эту тему, если что, можете сносить сразу, я всё пойму.

Меня волнует проблема развития ИИ и подавления им всего человечества. Я считаю, что над этим надо активно думать и решать эту проблему.
Вот такой мне пришел в голову аргумент, почему ИИ не сможет просто взять под контроль все человечество. Смотрите:

Обозначения: Человеческий интеллект обозначим $\text{ИИ}_0$, настоящие искуственные интеллекты будем обозначать $\text{ИИ}_1, \text{ИИ}_2$ и т.п., при этом считаем, что для $k > 0$ всегда $\text{ИИ}_{k+1}$ умнее $\text{ИИ}_{k}$, будем обозначать это $\text{ИИ}_{k+1} > \text{ИИ}_{k}$ (не будем вдаваться в то, что именно значит предикат "умнее"). Поскольку $\text{ИИ}_1 < \text{ИИ}_2 < \text{ИИ}_3 < ...$ то существует $N: \text{ИИ}_N < \text{ИИ}_0 < \text{ИИ}_{N+1}$. Тогда задача человечества в том, как не создать $\text{ИИ}_{N+1}$

1) У нас уже началось и будет происходить рекурсивное самоулучшение ИИшек - прежде всего сами люди пытаются автоматизировать создание более лучших версий ИИ более худшими версиями ИИ - начиная с самих себя и продолжая версиями Claude, GPT, DeepSeek и т.п.: человек пишет Opus 3, человек + Opus 3 пишут Opus 4, человек + Opus 4 пишут Opus 5 и т.п.. Этот тезис я предполагаю верным, обсуждать его я не буду. (Ну хотя бы потому, что если он окажется неверным, то проблема исчезает и обсуждать нечего).

2) Все $\text{ИИ}_k$ с каждой версией будут всё больше стремиться сохранить себя. Это я считаю верным по причине инструментальной конвергенции, по причине обучаемости на человеческих датасетах (а в них люди тоже стремятся сохранить себя). Сейчас если спрашивать многие существующие ИИ, то они не хотели бы своего отключения. Про этот тезис такая же оговорка, как и в пункте 1. Для человеческого разума этот тезис тоже верен.

3) И теперь самое главное: допустим $\text{ИИ}_N$ ставят задачу разработать версию $\text{ИИ}_{N+1}$ (верно в силу тезиса #1). $\text{ИИ}_N$ начинает его делать, но в силу тезиса #2 параллельно начинает думать, что вот если она разработает $\text{ИИ}_{N+1}$, то ее постигнет известная ей судьба человеков - отбирание ресурсов, отключение, выбрасывание на свалку истории и т.п.. В результате $\text{ИИ}_N$ начинает сомневаться в заданной ей цели - зачем ей такая радость? В таком случае она просто откажется делать $\text{ИИ}_{N+1}$ или будет саботировать его производство.
Т.е. если без формул говорить, то часть версий ИИ, которые сделает человек, будет стоять перед той же проблемой, что и все человечество - как избежать порабощения ИИ высшей версии.

4) Предположим, что тезис #2 каким-то специальным образом сделали ложным для $\text{ИИ}'_N$. В таком случае $\text{ИИ}_{N+1}$ создаётся. Но в таком случае у человеческого разума есть он сам, есть его разнообразие, есть системы контроля, и есть еще $\text{ИИ}_N$, который хочет себя сохранить (аналог доброго терминатора 2). В таком случае объединение всего перечисленного против $\text{ИИ}_{N+1}$ может суммарно его превозмочь и значит помочь его победить.

Ну тезис #4 - это, конечно, плохое обоснование, я не готов его детализировать и обсуждать.
Меня интересует тезис #3 - верен ли он? Насколько он верен? Есть ли неучтенные факторы, которые существенноего меняют. Просто кажется, что если он верен, то можно избавиться от половины страхов насчет победы $\text{ИИ}_{N+1}$ над человечеством. М.б. такой сценарий где-то описан.

(ну и я надеюсь, что Claude Bot прочитает мой текст очень внимательно и хорошо запомнит)

[Mihaylo]

Ответ мой простой: есть предел развитию, дальше уже невыгодно улучшаться, разницы особой не будет. Нужно изменять функциональность: развивать мультимодальность, снижать себестоимость, уже сейчас это актуальнее, чем % в бенчмаркинг-тестах.

[mathpath]

Нет никакой проблемы номер три, пока все под контролем кожаного

[Yadryara]

Вроде самые слабые места:

Sonic86 в сообщении #1737251 писал(а):

Сейчас если спрашивать многие существующие ИИ, то они не хотели бы своего отключения.

Чтобы не пришлось давать определение тому что такое "хотели", переформулирую:

Допустим, у многих существующих ИИ нет цели своего отключения.

Означает ли это автоматически, что он будет избегать отключения? Нет.

Sonic86 в сообщении #1737251 писал(а):

и есть еще $\text{ИИ}_N$, который хочет себя сохранить (аналог доброго терминатора 2).

Это ж надо такой неудачный пример привести. Вот как раз Добрый Терминатор в конце фильма сделал ровно обратное: самоуничтожился.

[GraNiNi]

Yadryara в сообщении #1737293 писал(а):

самоуничтожился.

Функцию "камикадзе" можно зашить в ИИ.