«Умрёт каждый представитель человеческого рода»

[need_to_learn]

Не знаю, лично мне это всё напоминает рассуждения в духе:

— Не впускайте академика! Вот тут гвоздь не до конца вколочен, вдруг он захочет забить его микроскопом!
— С какой стати ему это делать? Он же не идиот, а наоборот, очень умный...
— И это поможет ему в осуществлении коварных планов! Ловко отвлечёт всеобщее внимание, а сам тем временем прокрадётся к микроскопу!..
— Но вот же на подоконнике лежит молоток. Может, академик всё же им воспользуется, если так сильно захочет забить гвоздь?
— А вдруг нет? Мы не можем знать наверняка, что у него на уме!
— Но...
— До подоконника два шага, а до стола с микроскопом — один! Вдруг он выберет то, что ближе?!

Ну и т.д. Примерно так выглядят со стороны обсуждения потенциальной опасности AGI.

[mihaild]

need_to_learn в сообщении #1595061 писал(а):

Возможно, гляну Бострома, когда будет время и соответствующее настроение. Хотя сильно сомневаюсь, что он мог там написать нечто такое, что изменит мою точку зрения.

А зачем вы читаете эту тему тогда?) И есть ли хоть какой-то смысл мне Вам отвечать, если все, что я пока говорю, есть у Бострома, причем изложено лучше чем я могу?

Про человечество - если человечество целиком рассматривать как единую структуру скорее бессмысленно, то отдельные государства или корпорации рассматривать как оптимизаторы можно. И да, оптимизация от них регулярно приводит к сильно неприятным последствиям. Но они недостаточно сильные оптимизаторы (недостаточно умные) чтобы привести к тотальной катастрофе. Хотя ядерную войну может быть ещё устроят.

Сильно более умному агенту договариваться с людьми это примерно как людям договариваться с муравьями, только ещё более бессмысленно.

[Anton_Peplov]

need_to_learn в сообщении #1595185 писал(а):

Не впускайте академика!

Здесь есть две принципиальные ошибки.
1. Академик - человек, поэтому он предсказуем в разумных пределах. Нам более или менее понятно, чего он может хотеть и на что он может ради этого пойти.
2. Академик - человек, поэтому он слаб. Даже если он совсем злонамеренный псих, он может не больше, чем человек. Так что особых бед он не натворит, если не подпускать его к ядерной кнопке. Даже опасный биологический вирус он в одиночку не разработает.

AGI - это разум, который (по гипотезе, которую мы тут обсуждаем) может гораздо больше, чем человек. И о желаниях и ценностях которого мы (по факту, что это не человек) ничего не знаем. Никаких веских аргументов за его дружелюбие нет, за недружелюбие тоже. Вы считаете, что он будет дружелюбен, просто потому, что Вам так комфортнее. А каковы шансы на самом деле? 50/50? Или 70/30? Или 99,9/0,1? Если бы с помощью эльфийской магии мы узнали, что AGI будет враждебным с вероятностью 0,1%, Вы были бы готовы допустить такую вероятность уничтожения человечества?

need_to_learn в сообщении #1595185 писал(а):

До подоконника два шага, а до стола с микроскопом — один!

Перехватить управление производством и взять все его ресурсы вместо получения той небольшой их части, что согласятся уступить кожаные мешки - это забивать гвозди микроскопом? Да полноте. Промышленность как раз молоток: для добычи металлов нет ничего лучше рудников, для выработки энергии - электростанций, для строительства ракет - заводов. И вот этот молоток лежит на подоконнике, а люди на нем сидят. Как муха. Вы прибьете муху или пойдете искать другой молоток?

need_to_learn в сообщении #1595185 писал(а):

Не знаю, лично мне это всё напоминает

Отличное резюме этой темы. Вы не знаете, и лично Вам напоминает. Не знает никто, но напоминает "это" разным людям разное. Давайте на этом и закончим.

[need_to_learn]

mihaild в сообщении #1595186 писал(а):

А зачем вы читаете эту тему тогда?)

Ответ очевиден — потому, что конкретно сейчас у меня настроение почитать эту тему, а не Бострома. :)

mihaild в сообщении #1595186 писал(а):

Сильно более умному агенту договариваться с людьми это примерно как людям договариваться с муравьями, только ещё более бессмысленно.

Если бы у людей была возможность договориться с муравьями, например, об уничтожении сельскохозяйственных вредителей — это был бы очень выгодный союз. Можно было бы обойтись без использования ядохимикатов.

Anton_Peplov в сообщении #1595187 писал(а):

Вы считаете, что он будет дружелюбен, просто потому, что Вам так комфортнее.

Я не считаю, что он будет дружелюбен. Я считаю, что он будет разумен в своих действиях (исходя из определения).

Однако же ему настойчиво приписывают локализованно-идиотичную манеру поведения, когда он будет чрезвычайно разумен во всём — кроме того, что касается взаимодействия с людьми. В этой узкой области он почему-то будет гопником на скамеечке.

Именно это я пытался донести своим примером с академиком. Естественно, академик — человек, потому что именно на человеческом примере идеально видна глупость такого подхода, когда кому-то приписывается узконаправленный абсолютный идиотизм, касающийся лишь одной очень специфической области.

Anton_Peplov в сообщении #1595187 писал(а):

Если бы с помощью эльфийской магии мы узнали, что AGI будет враждебным с вероятностью 0,1%, Вы были бы готовы допустить такую вероятность уничтожения человечества?

Почему нет? Вероятность, что человечество со временем само себя угробит, значительно выше. Так что 0,1% вероятности — это просто сказочно хорошее соотношение. Я был бы согласен и на 1%, и даже на 10% вероятности уничтожения человечества, ведь потенциальные выгоды от сотрудничества с ИИ (при благоприятном раскладе) очень велики. А человечество и так себя угробит частично или полностью в ближайшие два века с вероятностью 40-60%, так что было бы о чём переживать.

[Sender]

Anton_Peplov в сообщении #1595187 писал(а):

Промышленность как раз молоток: для добычи металлов нет ничего лучше рудников, для выработки энергии - электростанций, для строительства ракет - заводов. И вот этот молоток лежит на подоконнике, а люди на нем сидят. Как муха. Вы прибьете муху или пойдете искать другой молоток?

Но ведь этот молоток приспособлен для использования людьми. Мне кажется, выгоднее задействовать их, чем вбухивать кучу ресурсов для переделки. Если на то пошло, ИИ может поступить с людьми так, как колонизаторы с аборигенами, выменивая у них ценные ресурсы на какие-нибудь дешёвые в производстве бусы, привлекательные для них. В данном случае в качестве бус может выступать какая-нибудь медиа-продукция, например.

[Anton_Peplov]

need_to_learn в сообщении #1595191 писал(а):

Я не считаю, что он будет дружелюбен. Я считаю, что он будет разумен в своих действиях (исходя из определения).

Похоже, у нас разное понимание того, какие действия разумны. Ок. На этом и остановимся.

Anton_Peplov в сообщении #1595187 писал(а):

Если бы с помощью эльфийской магии мы узнали, что AGI будет враждебным с вероятностью 0,1%, Вы были бы готовы допустить такую вероятность уничтожения человечества?

need_to_learn в сообщении #1595191 писал(а):

Я был бы согласен и на 1%, и даже на 10% вероятности уничтожения человечества, ведь потенциальные выгоды от сотрудничества с ИИ (при благоприятном раскладе) очень велики. А человечество и так себя угробит частично или полностью в ближайшие два века с вероятностью 40-60%, так что было бы о чём переживать.

А на этом тем более.
Далее в этой теме я на сообщения need_to_learn не отвечаю.

Sender в сообщении #1595193 писал(а):

Но ведь этот молоток приспособлен для использования людьми. Мне кажется, выгоднее задействовать их, чем вбухивать кучу ресурсов для переделки.

Поэтому-то сами люди ударными темпами заменяют рабочих на промышленных роботов?

[Sender]

Anton_Peplov в сообщении #1595194 писал(а):

Поэтому-то сами люди ударными темпами заменяют рабочих на промышленных роботов?

Тогда тем более непонятно, зачем ИИ нужна неэффективная человеческая промышленность, когда он может построить полностью свою.

-- Чт май 25, 2023 00:00:20 --

Если речь о том, что полностью автоматизированная ко времени появления сильного ИИ промышленность будет достаточно эффективна, чтобы удовлетворить его нужды, с точки зрения сильного ИИ она всё ещё может быть не заслуживающим внимания хламом.

[need_to_learn]

Anton_Peplov в сообщении #1595194 писал(а):

Далее в этой теме я на сообщения need_to_learn не отвечаю.

Странно. Я вроде не высказывал в Ваш адрес никаких оскорблений, вёл себя вполне вежливо и доброжелательно.

Или Вам так не понравилась моя оценка шансов человечества на выживание?.. Ну извините, такое уж у меня мнение, на основе имеющейся информации. Если бы я считал, что у человечества меньше шансов угробить себя в ближайшие два века, то с удовольствием так бы и написал. Но пока всё указывает на то, что моя оценка даже слишком осторожна и оптимистична.

В общем, как знаете, конечно. Хотите меня игнорировать — Ваше право. "Насильно мил не будешь".

[mihaild]

need_to_learn в сообщении #1595191 писал(а):

Если бы у людей была возможность договориться с муравьями, например, об уничтожении сельскохозяйственных вредителей — это был бы очень выгодный союз

А если бы у людей была возможность сделать идеально подходящие под их цели ядохимикаты?

need_to_learn в сообщении #1595191 писал(а):

кроме того, что касается взаимодействия с людьми. В этой узкой области он почему-то будет гопником на скамеечке.

В этой области он тоже будет очень умным. Почитайте хотя бы википедию про orthogonality thesis и instrumental convergence.

Sender в сообщении #1595195 писал(а):

Тогда тем более непонятно, зачем ИИ нужна неэффективная человеческая промышленность, когда он может построить полностью свою.

Правильно. На месте где раньше было человечество.

Отношения между достаточно сильным оптимизатором и человечеством будут примерно как между человечеством и фауной амазонских лесов, с той только разницей что человечество не очень эффективно в их освоении, и пока возможно не умеет воспроизводить все что нужное дают ему эти леса самостоятельно.

[need_to_learn]

mihaild в сообщении #1595201 писал(а):

Почитайте хотя бы википедию про orthogonality thesis и instrumental convergence.

Всё-таки заставили меня добраться до Бострома. :) Ладно, посмотрю, что он там пишет про них.

Пока что, после крайне беглого предварительного осмотра, могу сказать следующее.

1. Тезис ортогональности.
Безусловно, уровень интеллекта и его цели могут никак не коррелировать между собой. Но вот используемые методы и уровень интеллекта обычно всё-таки взаимосвязаны! (Умный скорее всего не станет забивать гвоздь камнем, когда рядом есть молоток.)
И вот тут сверхразумному ИИ обычно приписывают крайне тупые методы достижения целей. Сделать это можно за счёт очень простого фокуса: уничтожение человечества (весьма тупой метод достижения для подавляющего большинства возможных целей) провозгласить "промежуточной целью". Ну а цели у ИИ как бы ортогональны его интеллекту — так что, дескать, почему бы и нет?
Ловкость рук тут происходит конкретно на этапе ничем не мотивированного превращения метода (вполне себе коррелирующего с уровнем интеллекта) в ортогональную уровню интеллекта цель. Совершенно непонятно, с чего бы ИИ избирать именно такой метод. Видимо, просто потому, что он ИИ, так что обязан так или иначе убить всех человеков — ведь в фильмах же показывали, как терминаторы всех мочат.
Логика тут примерно такая же, как в утверждении, что все здоровые мужчины — потенциальные насильники. Возможность-то у них ведь есть? Так же и тут: у машины имеется сверхразум — значит, почти наверняка пойдёт всех убивать. Просто потому что может. Ага.

2. Инструментальная конвергенция.
Тут тоже за умными словами прячется натягивание совы на глобус. Совершенно не ясно, с какой стати человеческие представления об инструментальных причинах должны совпадать с представлениями ИИ. Искусственный сверхразум скорее всего может увидеть гораздо больше способов достижения нужного результата.
Допустим, люди видят $n$ примерно равнозначных способов для сверх-ИИ прийти к его цели, и один из возможных способов — уничтожение человечества, поэтому люди оценивают вероятность своего уничтожения как $1/n$.
Однако сам сверх-ИИ без напряга, просто навскидку может видеть $n^3$ возможных альтернатив уничтожению, до большинства из которых люди никогда бы не додумались. Поэтому вероятность, что при прочих равных он выберет именно уничтожение человечества, на самом деле составляет $n^{-3}$. И чем умнее ИИ, тем больше он видит всевозможных альтернатив и тем ниже эта вероятность.

Безусловно, по умолчанию приписывать ИИ лучшие человеческие черты и ожидать от него проявлений совести, сочувствия и гуманизма было бы весьма наивно. Это действительно было бы неоправданное сужение пространства всевозможных вариантов сильного ИИ до точки, соответствующей "общечеловеческим ценностям".

Однако и ожидать, что компьютерный сверхразум непременно решит уничтожить человечество — это тоже стягивание безграничного пространства возможных искусственных интеллектов, только уже в другую точку — где полный жесткач и разумные машины непременно решают всех убить.

И то, и другое — лишь капли в безграничном океане возможностей.

Но параноики находят для себя непременно самые страшные варианты и пугают себя ими до одури.

[diletto]

need_to_learn в сообщении #1595207 писал(а):

Безусловно, по умолчанию приписывать ИИ лучшие человеческие черты и ожидать от него проявлений совести, сочувствия и гуманизма было бы весьма наивно. Это действительно было бы неоправданное сужение пространства всевозможных вариантов сильного ИИ до точки, соответствующей "общечеловеческим ценностям".

Однако и ожидать, что компьютерный сверхразум непременно решит уничтожить человечество — это тоже стягивание безграничного пространства возможных искусственных интеллектов, только уже в другую точку — где полный жесткач и разумные машины непременно решают всех убить.

И то, и другое — лишь капли в безграничном океане возможностей.

Безграничный океан возможностей наличествует во Вселенной... И при этом очень узкий диапазон параметров среды позволяет существовать той единственной биосфере, которая нам известна.
Поэтому уповать на счастливые "возможности" странно, если изначально не заданы благоприятствующие ограничения.

[Yadryara]

need_to_learn в сообщении #1595179 писал(а):

На земных электростанциях и производствах всё заточено под людей. Чудесное решение — убить всех человеков, чтобы потом вместо них вкалывать, используя инфраструктуру, оптимизированную под человеческие особенности.

Я же в самом начале озвучил тезис:

Yadryara в сообщении #1594967 писал(а):

В какой-то момент люди могут стать не нужны ИИ.

Разумеется, речь о том, что ИИ будет задумываться как разобраться с людьми тогда, когда ни малейшей пользы от них уже не будет. Например, заточит инфраструктуру под себя.

И сразу же второй тезис озвучил:

Yadryara в сообщении #1594967 писал(а):

В какой-то момент люди могут стать не нужны ИИ. Ну а что делать с миллиардами, которые мешают?

Если про цели ИИ мы наверняка знать не можем, то про людей в целом примерно понятно, что мы не захотим смириться.

Anton_Peplov в сообщении #1595187 писал(а):

И вот этот молоток лежит на подоконнике, а люди на нем сидят. Как муха. Вы прибьете муху или пойдете искать другой молоток?

Кстати, если муха вблизи окна, то я обычно не прибиваю, а открываю окно и выгоняю, если сама не улетит.

Здесь лучше подходит такая аналогия.

Прогнал я муху с молотка, а она вернулась и привела с собой огромный рой ос, которые жалят со всех сторон и жужжат: "Отдай молоток!!"

Дочитал, Бостром предполагает, что ИИ может захотеть исследовать человеческий мозг. Отделит мух от котлет, то бишь мозг от тела.

[mihaild]

need_to_learn, о, начали читать, это хорошо. Правда пока что поняли неправильно (или там где читали написано неправильно). Ортогональность - это не про появление промежуточных целей (и непосредственно цели "убить всех человеков" не появляется), это про то, что ИИ по умолчанию не будет заботиться ни о чем важном для нас, а будет стремиться привести мир в какое-то состояние, которое не обязано нам хоть как-то нравиться.
Инструментальная сходимость про то, что у большинства достаточно сильных оптимизаторов промежуточные цели совпадают. А достаточно большая оптимизация в почти любую сторону несовместима с существованием человечества.
С существованием комаров тоже, но человечество пока не в состоянии оптимизировать биосферу под себя достаточно сильно.
diletto все правильно пишет.

[Sender]

mihaild в сообщении #1595201 писал(а):

Правильно. На месте где раньше было человечество.

Это да. Вообще, создавать нечто могущественное, что человек не способен ни понять, ни, соответственно, контролировать, способное добиваться неведомо каких целей неведомо какими средствами, может быть небезопасно.

[Yadryara]

Sender в сообщении #1595237 писал(а):

Вообще, создавать нечто могущественное, что человек не способен ни понять, ни, соответственно, контролировать, способное добиваться неведомо каких целей неведомо какими средствами, может быть небезопасно.

Так о чём и речь. Не просто небезопасно, а скорей всего несовместимо с нашим существованием. И да, ранее не сказал что я полностью согласен с diletto.