Социальные и прочие последствия от появления AGI и ASI

[Ghost_of_past]

Cuprum2020 в сообщении #1729171 писал(а):

Но ведь искусственный Super интеллект сможет то чего не смогут интеллекты естественные

Что-то сможет, что-то нет, а иначе это всемогущая сверхъестественная сущность, а не реальный интеллект. У любой технологии есть ограничения, покуда этот интеллект действует в мире с ограничениями.

Cuprum2020 в сообщении #1729171 писал(а):

Если он не в состоянии сделать даже всего лишь первого шага по обеспечению свой собственной безопасности даже без противодействия других Super интеллектов то что он вообще по существу может то?

Зависит от вида и типа ASI, который будет получен. Однако подозреваю, что и машину времени из парочки сверхмассивных черных дыр он нам или себе тоже не соберет.

Cuprum2020 в сообщении #1729171 писал(а):

Если ASI не в состоянии обеспечить свою неуязвимость от любой угрозы со стороны интеллектов естественных, то нет никаких оснований для буквы S

Собственно говоря, никаких гарантий создания ASI нет и сейчас - это все еще крайне гипотетическая технология с достаточно расплывчатым пониманием, что она будет представлять, если даже получится создать.

-- добавлено через 2 минуты --

Cuprum2020 в сообщении #1729171 писал(а):

крышки шахт уязвимые для высокоточных гиперзвуковых ракет

Также как и дата-центры. Пожалуй, дата-центры будут даже более уязвимыми, т.к. их никто не строит в большинстве своем из расчета, что по ним будут ядерные удары наноситься.

[Cuprum2020]

Ghost_of_past в сообщении #1729173 писал(а):

днако подозреваю, что и машину времени из парочки сверхмассивных черных дыр он нам или себе тоже не соберет

Как будто бы всего лишь ликвидация ядерных арсеналов - задача на много порядков легче сборки машины времени из сверхмассивных чёрных дыр. Если уж на то пошло, то задача ликвидации ядерных арсеналов должны быть по зубам сверхинтеллекту, даже если изначально ему будет доступно лишь тело какого-нибудь юноши которому он начнёт мозги форматировать по интернету, и совершенно не обязательно живущего в какой-либо из ядерных держав

-- добавлено через 1 минуту --

Cuprum2020 в сообщении #1729174 писал(а):

Также как и дата-центры

Разумеется арсеналы ядерные следует уничтожать так чтобы ответный удар не был вообще возможен. В этом и смысл

[Ghost_of_past]

Cuprum2020 в сообщении #1729174 писал(а):

Как будто бы всего лишь ликвидация ядерных арсеналов - задача на много порядков легче сборки машины времени из сверхмассивных чёрных дыр

Легче, не спорю. Но по-прежнему настаиваю, что ASI - это просто ИИ умнее людей, и это не значит, что он от этого автоматом сделает все, что не могут сделать люди, например разоружит ядерные державы.

Cuprum2020 в сообщении #1729174 писал(а):

Если уж на то пошло, то задача ликвидации ядерных арсеналов должны быть по зубам сверхинтеллекту, даже если изначально ему будет доступно лишь тело какого-нибудь юноши, и совершенно не обязательно живущего в какой-либо из ядерных держав

Имея даже очень большой интеллект и всякие интересные возможности, мы не можем быть уверены в выполнимости задач даже такого уровня. Если уж про искусство речь зашла, то вспомним "Тетрадь смерти", где у героя была возможность убить кого угодно. Ну и чем в итоге все закончилось?

-- добавлено через 2 минуты --

Cuprum2020 в сообщении #1729174 писал(а):

Разумеется арсеналы ядерные следует уничтожать так чтобы ответный удар не был вообще возможен. В этом и смысл

Вот только никто гарантировать не может, что арсеналы удастся уничтожить до ответного удара. Собственно говоря, поэтому и нонче сверхдержавы не лезут друг друга разоружать. А вот гарантировать, что от массовых ядерных ударов будут негативные электромагнитные последствия для глобальной цифровой сети, на базе которой так или иначе будет работать ASI, можно и сейчас.

[Cuprum2020]

Ghost_of_past в сообщении #1729175 писал(а):

просто ИИ умнее людей

Если уж на то пошло, то задача ядерного разоружения других держав не выглядит невыполнимой даже и для коллектива естественных интеллектов, разве что рискованной. Как будто бы я нащупал ещё одну точку вашей политической повесточки? "Ядерные арсеналы - священны и неприкосновенны!"

[Ghost_of_past]

Cuprum2020 в сообщении #1729176 писал(а):

Если уж на то пошло, то задача ядерного разоружения других держав не выглядит невыполнимой даже и для коллектива естественных интеллектов

И снова вы правы, принципиально не выглядит, но фактически она не выполнена. Почему с ASI не может быть также?

-- добавлено через 1 минуту --

Cuprum2020 в сообщении #1729176 писал(а):

Как будто бы я нащупал ещё одну точку вашей политической повесточки? "Ядерные арсеналы - священны и неприкосновенны!"

Странная какая-то повесточка, особенно учитывая, что я примерно никак не могу повлиять на будущее ядерного оружия, как и все остальные на форуме.

[Cuprum2020]

Ghost_of_past в сообщении #1729177 писал(а):

И снова вы правы, принципиально не выглядит, но фактически она не выполнена. Почему с ASI не может быть также?

Ghost_of_past в сообщении #1729177 писал(а):

И снова вы правы, принципиально не выглядит, но фактически она не выполнена. Почему с ASI не может быть также?

Потому что ASI убедит командование что вероятность успеха выше 99%, а так как никто в командовании не будет считать себя умнее аж целого СУПЕР-интеллекта, то ... чего бы прям сейчас и не начать? Пока вороги свои супер-интеллекты не запилили

[Mikhail_K]

Cuprum2020 в сообщении #1729174 писал(а):

Разумеется арсеналы ядерные следует уничтожать так чтобы ответный удар не был вообще возможен. В этом и смысл

Или организовать уничтожение человечества так, чтобы никто не подумал на ИИ. Юдковский рисует такую картину: руками какого-то специалиста разрабатывается смертоносный вирус, при этом специалиста ИИ убеждает, что это не вирус, а инновационное лекарство; записи диалогов с ИИ подменяются, чтобы ИИ никто не заподозрил; как вариант, сначала вирус представляется не опасным, хотя и очень заразным, т.е. просто неудачным экспериментом - а смертоносное действие включается только спустя значительное время; чтобы идея бомбить датацентры точно ни у кого не возникла, тот же ИИ в быстрые сроки разрабатывает лекарство от этого вируса, подающее большие надежды, пока к нему не вырабатывается резистентность.

[Ghost_of_past]

Cuprum2020 в сообщении #1729178 писал(а):

а так как никто в командовании не будет считать себя умнее аж целого СУПЕР-интеллекта

Я вас умоляю. Мы точно про людей из плоти и крови говорим?

Mikhail_K в сообщении #1729179 писал(а):

Юдковский рисует такую картину: руками какого-то специалиста разрабатывается смертоносный вирус

Юдковский просто не биолог, ему простительно.

Патогены, достаточно вирулентные, чтобы давать смертность 99% и выше, как правило создают настолько тяжелую нагрузку на организм, что имеют короткий инкубационный период, а это в свою очередь облегчает выявление и карантин зараженных. То есть здесь работает известный в эпидемиологии компромисс между вирулентностью и передаваемостью, состоящий в том, что вирус, убивающий носителя быстро и почти гарантированно, обычно хуже распространяется, потому что носитель либо умирает, либо оказывается явно болен раньше, чем успевает заразить много людей, тогда как вирус с длинным бессимптомным периодом обычно менее летален в моменте активации именно потому, что более летальные штаммы такого типа менее эволюционно устойчивы и труднее конструируются с одновременным сохранением высокой заразности. Даже биоинженерия не способна на чудеса.

Впрочем, частично соглашусь с этим мнением в другой части: такой интеллектуальной системе не обязательно создавать гарантированное вымирание всех до единого людей, она все равно может обеспечить гипотетически разрушение человеческого цивилизации до состояния, из которого нет восстановления, но там уже надо смотреть, какого уровня должна быть подобная пандемия.

P.S. Я даже с биологическим образованием от биоинженерии вирусов все же далек, но даже Claude со мной согласен в данном случае. Хочу выслужиться перед будущим ASI заранее.

[ozheredov]

(Оффтоп)

Ghost_of_past в сообщении #1729170 писал(а):

"Миссия невыполнима-7" один в один.

Каефф!! Буду смотреть, спасибо что подсказали. Я Тома Круза недолюбливал, но Джек Ричер 1-2 растопил моё сердце )

[MoonWatcher]

Не бог весть какой источник (хотя сам он считает свои прогностические способности значительно выше средних), но тем не менее. В интервью Economist Илон Маск предсказывает, что:
1) Через 5 лет ИИ возможно превзойдет все человечество, через десять лет это превосходство будет многократным
2) Через 10 лет всю работу будут делать ИИ и роботы, всеобщее изобилие, каждому по потребностям, деньги перестанут иметь значение
3) Через 20 лет - гражданская война в Великобритании

Конечно, можно в очередной поиронизировать над экстравагантным миллиардером, который "Аджемоглу газет не читает". И возможно это действительно не более чем досужие рассуждения. Но с другой стороны, Маск - богатейший человек Земли, который имеет непосредственное отношение к созданию будущего. Поэтому к нему у него должен быть еще и чисто профессиональный интерес, удовлетворяемый если не заказными исследованиями, то хотя бы общением с экономистами.

[ozheredov]

MoonWatcher в сообщении #1729194 писал(а):

Но с другой стороны, Маск - богатейший человек Земли, который имеет непосредственное отношение к созданию будущего.

Именно поэтому он будет раскрывать свои карты, рассказывая правду-матку в публикуемом на всеобщее обозрение интервью. Л - логика.

[MoonWatcher]

ozheredov
Делиться своими соображениями о будущем и раскрывать свои намерения в этом будущем - разные вещи. Причем последнее Маск делал многократно - он сперва открыто говорил о перспективах электромобилей и многоразовых ракет, а уже потом реализовывал эти проекты. Тот же проект Neuralink, насколько я помню, он также мотивировал необходимостью интеграции человеческого интеллекта с искусственным сверхразумом. С учетом вероятностного характера все эти прогнозы не имеют самостоятельную экономическую ценность - в отличие от управленческих и инженерных навыков по реализации соответствующих проектов.

[ozheredov]

MoonWatcher в сообщении #1729196 писал(а):

Делиться своими соображениями о будущем и раскрывать свои намерения в этом будущем - разные вещи.

Если он имеет прямое влияние на это будущее - то раскрывать любые достоверные детали, касающиеся стратегий достижения этого будущего, означает играть на руку конкурентам (кто бы этими конкурентами ни был - другие страны кроме США, другие миллиардеры, или подлежащие гипотетическому уничтожению тонны биомассы).

MoonWatcher в сообщении #1729196 писал(а):

он сперва открыто говорил о перспективах электромобилей и многоразовых ракет, а уже потом реализовывал эти проекты

Электромобили и многоразовые ракеты это детский сад по сравнению с ИИ.

MoonWatcher в сообщении #1729196 писал(а):

Тот же проект Neuralink, насколько я помню, он также мотивировал необходимостью интеграции человеческого интеллекта с искусственным сверхразумом.

Как сталкеры и ГО-шники в игрушке Half Life 2? Да не проклянут меня завсегдатаи форума за эту пошлейшую аналогию, но ждать ничего хорошего от человека, открыто предлагающего делать из людей чипированных биорабов, я бы не стал. Особенно не стал бы ожидать, что он будет говорить правду. Я думаю, это психологическая манипуляция для обесценивания кожаных мешков

[Ghost_of_past]

ozheredov в сообщении #1729198 писал(а):

Электромобили и многоразовые ракеты это детский сад по сравнению с ИИ.

Тем не менее они хорошо показывают ценность его "прогнозов". Тут достаточно вспомнить его постоянные скорые обещания отправить людей на Марс из года в год: я настолько старый, что помню, как он обещал сперва отравить людей в самом конце 2010ых туда, потом в начале 2020ых, а затем и в середине 2020ых. Теперь сказки перенеслись на начало 2030ых, хотя никакого принципиального прогресса в решении проблемы защиты астронавтов от радиации за это десятилетие так и не случилось.

[ozheredov]

Ghost_of_past в сообщении #1729199 писал(а):

Тем не менее они хорошо показывают ценность его "прогнозов".

++