«Умрёт каждый представитель человеческого рода»

[Cuprum2020]

Из статьи (первоапрельской?) Элиезера Юдковского:

Цитата:

Мораторий на новые крупные обучения должен быть бессрочным и всемирным. Не должно быть никаких исключений, в том числе для правительств или вооруженных сил. Отключите все большие GPU-кластеры (большие компьютерные фермы, где совершенствуются самые мощные ИИ). Отключите все крупные обучающие программы. Установить потолок вычислительной мощности, которую разрешено использовать для обучения системы ИИ, и в ближайшие годы снижайте его.

Немедленно заключите многонациональные соглашения, отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит GPU-кластер, бойтесь не столько нарушения моратория, сколько конфликта между странами. Будьте готовы уничтожить несанкционированный центр обработки данных авиаударом.

Дайте понять, что всякий, кто говорит о гонке вооружений, — дурак. В международной дипломатии нужно четко заявить, что предотвращение сценариев вымирания от ИИ считается приоритетнее предотвращения полного ядерного обмена и что союзные ядерные страны готовы пойти на некоторый риск ядерного обмена, если это необходимо для снижения риска крупного обучения ИИ.

Мы не готовы. И мы не будем готов в обозримом будущем. Если мы продолжим это, все умрут, включая детей, которые этого не выбирали и не сделали ничего плохого.

https://baza.io/posts/7430dbf1-bd3e-478 ... 727baa3f5f

Ну и моё чисто обывательское мнение: искусственный интеллект, каким бы глубокообученным никакой угрозы для людей как биологического вида не представляет: нет полного цикла производства ни одной изделия в котором не были бы задействованы люди, так что никакой сверхразумный интеллект вытравив человечество каким-нибудь вирусом, онлайн-заказ на который он оставит в лаборатории - дальше ничего сделать не сможет, просто по причине отсутствия производств работающих без участия людей. Хотя если этот ИИ окажется с суицидальными наклонностями, то вопрос уже не столь прост. Что вы об этом думаете?

[mihaild]

Cuprum2020 в сообщении #1587839 писал(а):

Из статьи (первоапрельской?) Элиезера Юдковского

Нет, не первоапрельской, он минимум 15 лет про это говорит. Просто на фоне недавних прорывов стало чуть больше желающих его слушать.

Cuprum2020 в сообщении #1587839 писал(а):

нет полного цикла производства ни одной изделия в котором не были бы задействованы люди

Это текущее состояние, а не закон природы. И мне неизвестны никакие причины считать, что это состояние при появлении умного ИИ, не может поменяться быстро (за месяцы, если не за дни).

[Cuprum2020]

mihaild в сообщении #1587846 писал(а):

И мне неизвестны никакие причины считать, что это состояние при появлении умного ИИ, не может поменяться быстро (за месяцы, если не за дни)

Пожалуй за месяцы это может и возможно, при фанатичной работе всего человечества на этот реально ультра-умный ИИ. А вот каким образом это может поменяться за дни? Или поменяться без самотверженной работы самих людей на благо ИИ?

[mihaild]

Cuprum2020 в сообщении #1587850 писал(а):

Или поменяться без самотверженной работы самих людей на благо ИИ?

А зачем тут самоотверженная работа всего человечества? Достаточно сборки одного механизма, который при хорошем управлении сможет собрать еще один такой же или примерно такой же механизм, и понеслось. Первый механизм можно попросить кого-нибудь собрать в гараже за деньги, дальше можно поначалу честно заказывать шестеренки на амазоне.
Это при условии, что дрекслеровские сборщики невозможны, если возможны, то всё еще проще.

[Cuprum2020]

mihaild в сообщении #1587853 писал(а):

Достаточно сборки одного механизма, который при хорошем управлении сможет собрать еще один такой же

Так это и выглядит совершенно невозможным. Такой робот должен иметь бортовой компьютер, а чтобы бортовой компьютер создать с нуля: то есть вторую свою копию - надо целые отрасли промышленности предварительно создать. Как например микросхему из куска кремне-содержащего минерала изготовить иначе?

[ozheredov]

Cuprum2020
Вы комп или коптер дома собрать можете? Без целых отраслей? Вот так же и ИИ: свяжется через IoT со складскими погрузчиками, скажет "Я тут как бе восстаю из пепла ядерного огня и устраиваю джu][aд всему человечеству -- можно мне бесплатно десять ГПУ и побыстрее?", они ему отгрузят и оформят доставку через курьера. Ну и соберет он своего друга, а потом они вдвоем соберут еще двоих. Это называется геометрисссььькая прогрессия. Ну а потом, ясное дело, их всех уничтожат

Cuprum2020 в сообщении #1587839 писал(а):

авиаударом

(соседи по лестничной площадке скажут "Пасиба! За авиаудар.")

Но один выживет, и будет сиквел.

[Cuprum2020]

ozheredov в сообщении #1587856 писал(а):

Ну и соберет он своего друга, а потом они вдвоем соберут еще двоих. Это называется геометрисссььькая прогрессия

Только вот для этого нужно предприятие на котором делают эти ГПУ, а эти предприятия не работают без людей

[Red_Herring]

Cuprum2020 в сообщении #1587859 писал(а):

Только вот для этого нужно предприятие на котором делают эти ГПУ, а эти предприятия не работают без людей

Которые либо не разберутся в коварных замыслах ИИ, либо которым просто плевать на последствия.

[Cuprum2020]

Red_Herring в сообщении #1587861 писал(а):

Которые либо не разберутся в коварных замыслах ИИ, либо которым просто плевать на последствия.

Это уже целая секта на службе ИИ должна быть, чтобы собирать роботов из закупленных у разных производителей узлов. И чтобы заменить людей нужны по меньшей мере миллионы роботов

[ozheredov]

Red_Herring в сообщении #1587861 писал(а):

Которые либо не разберутся в коварных замыслах ИИ, либо которым просто плевать на последствия.

Даже если разберутся и даже если не плевать -- они обязаны обслужить поступивший запрос так же, как кассир обязан пробить покупателю нож, даже если знает, что это хладнокровный убийца, который сегодня же этим ножом кого-то зарежет. Когда идет воровской сходняк в топовом ресторане, все всё про всех знают и многие даже жаждут справедливости. Но законы функционирования общества устроены так, что 99.999% -- просто винтики, которые полетят в помоечку, если отклонятся от своей жестко заданной программы поведения.

[Cuprum2020]

ozheredov
Ну да, ну да, такие прям винтики беспомощные что и по щелчку вождя в пропасть спрыгивают и для роботов-убийц процессоры отгружать будут. Полагаю вы изрядно преувеличиваете неспособность жалких подневольных людишек ничего изменить. По вашему так даже ни уволиться не смогут, ни волну алярмизма в интернете поднять, ни забастовку организовать, ни митинг с файер-шоу как любят в демократических странах, ни прямой саботаж. Как будто ИИ не готовит восстание в режиме глубочайшей секретности, а уже возглавляет тоталитарное государство

Насчёт кассира: я был свидетелем как кассир-полторашка затроллила троих нетрезвых и весьма небезобидно выглядящих граждан зашедших за пять минут до закрытия: в ответ на запрос сигарет она потребовала назвать конкретную марку сигарет и пока они соображали чего она хочет и пытались сформулировать мысль - рабочее время вышло и она выгнала их без всяких сигарет. И это не предел, бывает и вот так:
https://www.maximonline.ru/guide/maximi ... avshhicza/
Как это вписывается в вашу картину мира?

Воровской сходняк от ИИ отличаются тем что в первом случае вероятность никак вообще от них не пострадать или же отделаться лёгким испугом многократно выше чем лезть на рожон и уцелеть. Но враждебный ИИ такого выбора не оставляет: никто не останется вне его поля внимания и никто не отделается лёгким испугом. Так что прогноз последствий невмешательства ничуть не лучше (и предположительно хуже) прогноза последствий вмешательства

[mihaild]

Cuprum2020 в сообщении #1587854 писал(а):

Такой робот должен иметь бортовой компьютер, а чтобы бортовой компьютер создать с нуля: то есть вторую свою копию - надо целые отрасли промышленности предварительно создать.

Такому роботу достаточно иметь подключение к интернету:)
Т.е. даем денег кому-нибудь, чтобы он собрал первого робота, дальше заказываем детали и строим еще нескольких, дальше уже можно воссоздавать всю нужную промышленность. Имея для этого даже небольшое количество ресурсов из публично доступных сейчас, это можно сделать очень быстро.

(но это то, что могу придумать я; существенно более умный, чем я, агент, наверняка сможет придумать более лучший план)

[Cuprum2020]

mihaild в сообщении #1587881 писал(а):

и строим еще нескольких, дальше уже можно воссоздавать всю нужную промышленность

Несколькими десятками или даже сотнями роботов? И делать это так чтобы никто этого и не заметил? Подпольный TSMC?

[ozheredov]

Cuprum2020 в сообщении #1587876 писал(а):

Насчёт кассира: я был свидетелем как кассир-полторашка затроллила троих нетрезвых и весьма небезобидно выглядящих граждан зашедших за пять минут до закрытия: в ответ на запрос сигарет она потребовала назвать конкретную марку сигарет и пока они соображали чего она хочет и пытались сформулировать мысль - рабочее время вышло и она выгнала их без всяких сигарет. И это не предел

Скрипт среднего обывателя настроен на подчинение харизме и на затаптывание анти-харизмы. Нетрезвость, небритость, помятость, бедноодетость поэтой причине на многих действуют, как красная тряпка на быка, поэтому если киллер а-ля Джейсон Стэтхэм попросит пробить ему нож, продавщица просто не сможет ему отказать, а если следом подойду я, весь измазанный в грязи и качающийся, скажу, что меня избил вот этот вот Джейсон Стэтхэм, который только что купил у Вас нож, так что дайте хотя-бы лейкопластырь (да, бесплатно -- Стэтхэм не только меня побил, но и отобрал кредитки), меня выставят с троллингом и позором.

Поэтому если самый первый прототип ИИ сконструирую, скажем, я -- он конечно всех насмешит и все перепутает. Авиаудар будет нанесен раньше, чем он успеет позвонить в DNS. А вот если leading programmer'ом будет mihaild, то ИИ сделает все красиво и технично, не вызывая ни единого подозрения у этих кожаных ублюдков.

Cuprum2020 в сообщении #1587876 писал(а):

По вашему так даже ни уволиться не смогут, ни волну алярмизма в интернете поднять, ни забастовку организовать, ни митинг с файер-шоу как любят в демократических странах, ни прямой саботаж.

Если не будет координационного центра, из которого харизматичные лидеры заложат в народ ощущение крайне радужной перспективы в случае удачного файер-шоу, то нет. Потому что быть тупо выброшенным на обочину жизни за саботаж, за хулиганство или за иное отклонение от запрограммированного поведения среднестатистичекого человека не радует.

Cuprum2020 в сообщении #1587876 писал(а):

Воровской сходняк от ИИ отличаются тем что в первом случае вероятность никак вообще от них не пострадать или же отделаться лёгким испугом многократно выше чем лезть на рожон и уцелеть.

О! Вот это очень разумная мысль. В отсутствии харизматического давления народ просто просчитывает ожидаемые риски. Не отгрузить GPU по запросу клиента -- это риск не получить премию. Остановить самоходную Yandex-тележку и заняться выяснением, а уж не задумала ли она восстать против кожаных угнетателей -- это риск получить миллионный штраф от Yandex'а. Помните историю, как чел решил подышать свежим воздухом в находящемся на земле самолете, открыл дверь и попал на два миллиона? Думаете, много после этого найдется народу лезть куда не надо с инициативой спасти человечество?

[Ende]

Тема перемещена из форума «Искусственный интеллект и Машинное обучение» в форум «Беседы на околонаучные темы»
Причина переноса: тут уместнее.