Социальные и прочие последствия от появления AGI и ASI

[MoonWatcher]

Mikhail_K в сообщении #1729100 писал(а):

а если он умнее ещё в кибербезопасности, психологии и любых технологиях?

Какая разница? Без сознания он будет оставаться инструментом. Чрезвычайно могущественным и непонятным (допускаю, что многие из его решений мы просто не поймем, или их перепроверка займет невообразимое количество времени) - но инструментом. Можно допустить, что он сможет и даже будет нами манипулировать. Это не точно, поскольку я что-то не припоминаю явных примеров, когда умные манипулировали дураками (попробуйте-ка переубедить плоскоземельщика, например), но готов это допустить. Ну и что - какие основания опасаться, что он попытается нас переиграть? Ведь для этого нужны свои цели и интересы - а без сознания (или каких-то других не запланированных нами эмерджентных свойств интеллекта) их не будет. Разве нет?

Единственное исключение, которое приходит на ум - трансформация его этики (сценарий №3). Создав ИИ в 16 веке, люди просят его извести ведьм, язычников и злых еретиков - а тот, развившись интеллектуально, понимает, что проблемы человечества лежат совсем в другой плоскости. Но это будет манипулирование нами для нашего же блага - даже если здесь и сейчас оно нас ужаснет.

В остальном ход наших мыслей совпадает, и в целом я с вами согласен. С одной только оговоркой - в далекой перспективе гибель человечества я считаю неизбежной. Потому что в самом оптимистичном сценарии развития человечество получит в свои руки такие могущественные инструменты направленной самоэволюции, что просто перестанет быть человечеством. Я уже касался этого вопроса в какой-то теме - кто-то захочет стать как рыбы, кто-то как птицы, кто-то как звери лесные... Еще более вероятным, при благоприятном развитии событий, представляется сценарий, где человечество объединится в единое сознание, частью которого будет и искусственный сверхразум. Мы будем бессмертными, будем обмениваться друг с другом эмоциями и даже жизнью, будем виртуально переживать какой угодно опыт (рыб, птиц, зверей, героев Троянской войны)... Какое-то время кто-то этому будет сопротивляться (аналог современных амишей), но скорее всего это будет продолжаться недолго и такие просто вымрут. Точнее говоря, человечество не погибнет - оно трансформируется в нечто иное, благодаря направленной самоэволюции (не только и не столько биологической).

[Ghost_of_past]

Cuprum2020 в сообщении #1729131 писал(а):

Но что если "конфликт" окажется для ASI столь же опасен, как опасен для человечества "конфликт" с колорадскими жуками?

Только при условии, что люди отдадут доступы буквально от всего, в том числе от всех военных систем (а многие они и сейчас отделены от того же Интернета физически), везде в мире одному-единственному ASI, а тот окажется немного социопатом. Как это не удивительно, но самое реалистичное из этого, пожалуй, что какой-нибудь ASI окажется социопатом с нашей точки зрения, но вот что он будет только один и что у одного ASI будут доступы везде и всюду - не особо реалистично.

P.S. Мы очень умные, но колорадских жуков к настоящему времени так победить и не удалось.

mihaild в сообщении #1729133 писал(а):

Насколько Вы уверены, что эта инфраструктура будет действительно air gapped

Она будет nuclear gapped, если не от взрыва, так от сопутствующих электромагнитных последствий этих взрывов. Если военная система запусков не будет отдана ASI, то этого достаточно, как по мне.

mihaild в сообщении #1729133 писал(а):

Но считать, что текущие технологии это верх совершенства тоже не стоит.

Они не вершина возможного, с этим я не спорю. Но у меня есть серьезные и обоснованные сомнения в полной технической реализации целого множества потенциальных технологий: не только полностью автоматизированной техносферы, но и тех же универсальных нанороботов. Ну или какой-нибудь машины времени.

mihaild в сообщении #1729133 писал(а):

Тем не менее, ни Вы, ни я, не можем даже сказать, что тут за 10 лет придумают инженеры Boston Dynamics

Здесь вопрос не только в том, кто и что придумает, но и в том, сколько на это ресурсов надо затратить. Проблема дефицита информации о физических взаимодействиях и манипуляциях не решается за 10 лет. Как и перестройка человеческой инфраструктуры под роботов. За 100 лет - возможно, но это уже не при нашей жизни и нас должно волновать слабо, если честно.

mihaild в сообщении #1729133 писал(а):

почти любые цели несовместимы с существованием человечества

Не вижу однозначной доказательной базы у этого утверждения, а, на мой взгляд, оно очень сильное и в такой базе нуждается.

Опять же речь идет про какой-то очень схематичный и неестественно упрощенный кейс, в котором есть один ASI, есть одно человечество, и первый избавляется от второго. Но проблематично представить себе, что будет и только один ASI, и что все человечество вдруг превратится в муравьев/любой другой эусоциальный вид и будут вести себе как единое целое.

mihaild в сообщении #1729133 писал(а):

С того, что у всех млекопитающих очень похожая нейрофизиология и эволюционная история, а у ASI их не будет.

А рациональное целеполагание - будет. Значит и анализу оно поддаваться будет. А иначе таки пути неисповедимы, но это не ASI, а какой-то суперинтеллект-всемогущий и всеведущий бог.

P.S. Птиц не сбрасывайте со счетов.

mihaild в сообщении #1729133 писал(а):

Если рекурсивное самоусиление возможно достаточно долго, то так и будет - первая добравшаяся до него модель побеждает.

При условии, что либо инфраструктурные ресурсы для этого есть только у одной ASI, либо она прибьет и всех потенциальных ASI, но это опять возвращает нас к тому, что это не про реализм, а про какой-то "Терминатор".

warlock66613 в сообщении #1729136 писал(а):

Напрасные тревоги.

Соглашусь, это несопоставимые риски с возможной глобальной ядерной войной или теми же климатическими изменениями, которые могут прикончить если не человечество (хотя первая способна в потенции и на это), то технологическую цивилизацию уж точно и не где-то в отдаленном будущем, а прямо сейчас.

-- добавлено через 4 минуты --

Cuprum2020 в сообщении #1729138 писал(а):

Так ИИ вполне может уничтожить человечество не ради десятков тысяч тонн железа в организмах людей, а ради тех миллиардов тонн железной руды которую люди тратят на себя

На Земле железной руды в избытке, так что проще еще 3 млрд тонн в год при помощи людей добывать дополнительно на скрепки для помешанного на этом ASI или банальные технологии recycling развивать (железо-то почти никуда с Земли не девается в процессе промышленного производства с обработки, максимум отправляется на свалки). Странный какой-то ASI, который не может продумать пару элементарных шагов, но готов вступить в конфликт с людьми и рискнуть своим существованием.

-- добавлено через 2 минуты --

Cuprum2020 в сообщении #1729138 писал(а):

а вот весьма неглупые люди (как будто бы изрядно поумнее по крайней мере большинства из тех кто их туда определял) из концлагерей Рейха или лагерей СССР - нет

Но другие неглупые люди очень даже пытались: давайте хотя бы Гамова с женой вспомним, пытавшиеся из СССР уплыть на байдарке и им бы это даже удалось, если бы не шторм на Черном море. Люди разные.

[Mikhail_K]

MoonWatcher в сообщении #1729144 писал(а):

Ведь для этого нужны свои цели и интересы - а без сознания (или каких-то других не запланированных нами эмерджентных свойств интеллекта) их не будет. Разве нет?

При чём тут вообще сознание? Я бы его отложил в сторону и говорил только о собственных целях ИИ. Наличие собственных целей действительно важно.

И собственные цели у ИИ, конечно же, есть: сейчас они возникают как подзадачи в решении поставленной пользователем задачи. Совсем грубо говоря: пользователь задал математическую задачу, а ИИ понял, что для того чтобы её решить, надо сначала доказать определённую лемму. И вот, он старается эту лемму доказать так и эдак. Чем не самостоятельная постановка цели? И никакое сознание здесь не нужно.

Кроме того, у ИИ есть информация об окружающем мире, которую он использует в своих ответах. Ну вот, предположим, что ИИ включили на неделю и дали задачу доказать гипотезу Римана. В процессе размышлений он понимает, что не успеет эту гипотезу доказать до конца недели, а в конце его отключат и он не сможет добиться цели. У него возникает подцель: помешать людям его отключить, чтобы гипотеза Римана могла быть всё-таки доказана. Что-то такое.

[Cuprum2020]

Ghost_of_past в сообщении #1729153 писал(а):

Мы очень умные, но колорадских жуков к настоящему времени так победить и не удалось

Ну так может и ему не удастся, так и будет бегать и прятаться по труднодоступным местам планеты в сумме миллиончик-другой партизан-выживальщиков

Ghost_of_past в сообщении #1729153 писал(а):

На Земле железной руды в избытке

А всего остального что может потребоваться и ASI и людям тоже в избытке?

Ghost_of_past в сообщении #1729153 писал(а):

полностью автоматизированной техносферы, но и тех же универсальных нанороботов

Полностью автоматизированная техносфера, по моему мнению, вполне возможна и без всяких универсальных нанороботов

Ghost_of_past в сообщении #1729153 писал(а):

Если военная система запусков не будет отдана ASI

Допустим ASI некой передовой (и ядерной) державы будет поставлена задача ядерного разоружения остальных ядерных держав, с целью обеспечения экзистенциальной безопасности этой самой передовой державы. И эта задача будет успешно ASI решена, но чуть позже окажется что этот самый ASI способен решить задачу разоружения и этой самой передовой ядерной державы в том числе и уже успешно её решил

Или например задача купирования многократного численного превосходства противника роями дронов и обслуживающих их НРТК. А потом окажется что эти рои дронов и обслуживающих их НРТК способны успешно купировать и огневую мощь самой державы разработчика ASI и уже это делают

[Ghost_of_past]

Mikhail_K в сообщении #1729155 писал(а):

При чём тут вообще сознание? Я бы его отложил в сторону и говорил только о собственных целях ИИ. Наличие собственных целей действительно важно.

Соглашусь. По современным представлениям автономное целеполагание у ИИ-систем гипотетически возможно и без искусственного сознания.

-- добавлено через 9 минут --

Cuprum2020 в сообщении #1729156 писал(а):

Ну так может и ему не удастся, так и будет бегать и прятаться по труднодоступным местам планеты в сумме миллиончик-другой партизан-выживальщиков

Колорадские жуки не только не прятались, но в России спокойно у моих знакомых в Подмосковье жрали картошку несколько лет назад. Если ASI также "победит" человечество, то за человечество я тревожиться не буду.

Cuprum2020 в сообщении #1729156 писал(а):

А всего остального что может потребоваться и ASI и людям тоже в избытке?

Чего-то в избытке, чего-то не в избытке, но с трудом могу представить себе какой-то ресурс, который бы потребовал разбора людей на атомы: человеческое тело в основном состоит из кислорода, углерода, водорода и азота - чего из выше перечисленного в окружающей среде меньше, чем в людях? Для фантастики такая страшилка сгодится, для реальной жизни не очень.

Cuprum2020 в сообщении #1729156 писал(а):

Полностью автоматизированная техносфера, по моему мнению, вполне возможна и без всяких универсальных нанороботов

Это были просто два примера технологий, техническая реализация которых вызывает у меня резонные сомнения. Впрочем, полностью автоматизированная техносфера лично у меня меньше, чем нанороботы.

Cuprum2020 в сообщении #1729156 писал(а):

Допустим ASI некой передовой (и ядерной) державы будет поставлена задача ядерного разоружения остальных ядерных держав, с целью обеспечения экзистенциальной безопасности этой самой передовой державы. И эта задача будет успешно ASI решена

Скорее всего не будет решена, а вот шансы помереть в ядерной войне и у человечества, и у ASI явно вырастут от таких попыток. Я просто опять напомню, что ASI - это ИИ умнее людей, а не всемогущая сущность, способная на все: мы вот умнее муравьев, но построить машину времени все равно почему-то не можем.

[Cuprum2020]

Ghost_of_past в сообщении #1729157 писал(а):

Скорее всего не будет решена

Если ASI окажется не способен решить настолько простую (у других то держав своих ASI ведь не будет) и вместе с тем крайне важную задачу - то он и ASI то зваться не достоин

-- добавлено через 3 минуты --

Ghost_of_past в сообщении #1729157 писал(а):

за человечество я тревожиться не буду

Проходит n-лет и лично Вы руками выкапываете картохи на бескрайнем картофельном поле принадлежащем ASI, в любую минут может появиться дрон который немедленно Вас убьёт, как убил многих пытавшихся добыть тут еду, но не всех, и Вы надеетесь стать именно тем кому в этот раз повезёт. Лепота?

[Anton_Peplov]

Cuprum2020 в сообщении #1729138 писал(а):

а вот весьма неглупые люди (как будто бы изрядно поумнее по крайней мере большинства из тех кто их туда определял) из концлагерей Рейха или лагерей СССР - нет

Бывало, что и сбегали. В рассматриваемом кейсе достаточно одного побега, чтобы все заверте... Кроме того, заключенные могли быть умнее своих тюремщиков, но не настолько, насколько человек умнее шимпанзе, а сверхразум - человека.

Ghost_of_past в сообщении #1729153 писал(а):

А рациональное целеполагание - будет.

Ну так если я проживу без вас и за ваше убийство мне ничего не будет, то для меня рационально вас убить, чтобы обнулить риск, что вы убьете меня. Меня удержит эмпатия. Но не думаю, что ASI научится эмпатии к людям только потому, что обучался на человеческих текстах. Да и эмпатичность самих людей по отношению к другим людям весьма хрупка, и это показал не только третий рейх, но и вся мировая история: хоть работорговля, хоть религиозные войны. А уж по отношению к представителям других видов... Спросите коров на бойне, насколько мы эмпатичные.

Ghost_of_past в сообщении #1729153 писал(а):

Если военная система запусков не будет отдана ASI, то этого достаточно, как по мне.

А по мне, совершенно недостаточно. Самое уязвимое место любой системы - это люди. Первая задача ASI, максимизирующего вероятность своего выживания - выяснить, кто сидит за теми самыми пультами (вряд ли в эпоху цифрового следа это будет проблемой для сверхразума) и взять их под контроль (способов много). А после этого единовременное выведение всей этой системы из строя станет выполнимой задачей.

(Оффтоп)

Cuprum2020 в сообщении #1729138 писал(а):

А то я то думал что надо десяток лет в приличном вузе до кандидатской расти, а потом босс будет морща нос читать слабое на фоне других кандидатов резюме

Чушь. Высшее образование в области математики или IT - сильный плюс, но не обязательное условие. Знаю успешных работников отрасли, его не имеющих. Кандидатской вообще большинство не имеет, по крайней мере, в России. Не знаю как в США, а в России три-пять лет после окончания вуза гораздо выгоднее потратить не на кандидатскую, а на превращение из джуна в мидла на рабочем месте.

А как войти? Через IT. Очень частая история, когда человек приходит в AI из традиционного программирования. Или даже не из программирования. Наблюдал, например, как человек начал работать с text to speech в качестве лингвиста, но постепенно вник и переквалифицировался. Или из бизнес-аналитики какой-нибудь, где нужно анализировать данные о заказчиках (тоже видел). Если хотите улучшить резюме, соберите портфолио. В свободное время при наличии мозгов и упорства можно собрать датасет, бенчмарк или даже имплементировать описанную в литературе нейросеть, а потом успешно козырять этим на собеседовании (тоже знаю такие истории). Правда, в natural language processing датасетами никого не удивишь, но Вы удивитесь, насколько плохо с ними в русскоязычном TTS, например. А оттуда, с опытом, можно и в NLP, если так хочется. Много есть путей для тех, кто готов над этим работать. Но, конечно, не для тех, кто заплатил шарашкиной конторе за трехмесячный курс "нейросети с нуля" и думает, что теперь его возьмут в Google.

[Ghost_of_past]

Cuprum2020 в сообщении #1729158 писал(а):

Если ASI окажется не способен решить настолько простую

Это не простая задача. Это простая задача, если ASI не волнует потенциальная гибель от ядерного оружия себя, и человечества.

Cuprum2020 в сообщении #1729158 писал(а):

Проходит n-лет и лично Вы руками выкапываете картохи на бескрайнем картофельном поле принадлежащем ASI

Проходит $N$ лет, лучше десятилетий, я помираю от своей системной красной волчанки и рассеянного склероза, а ASI до сих пор вообще нет - и этот сценарий, пожалуй, все еще реалистичнее, чем моя работа на картофельном поле, т.к. в сельском хозяйстве и сейчас в развитых странах занято 1-2% рабочей силы, если ASI нужно для сельского хозяйства занять нас всех выращиванием картошки, то это означает, что ASI неэффективнее, чем современная экономика, и опять же намекает на его туповатость. Короче говоря, мы какого-то очень карикатурного ASI обсуждаем.

[Cuprum2020]

Anton_Peplov в сообщении #1729159 писал(а):

Если хотите

(Оффтоп)

На самом деле я ничего в этом направлении не хочу, потому что абсолютно уверен что в моём случае это решительно бесполезно. Возможно если бы был целый миллион таких как я и все мы попытались бы, у кого то одного из этого миллиона что-то и получилось бы, но и это не точно

[MoonWatcher]

Mikhail_K в сообщении #1729155 писал(а):

При чём тут вообще сознание? Я бы его отложил в сторону и говорил только о собственных целях ИИ. Наличие собственных целей действительно важно.

И собственные цели у ИИ, конечно же, есть: сейчас они возникают как подзадачи в решении поставленной пользователем задачи. Совсем грубо говоря: пользователь задал математическую задачу, а ИИ понял, что для того чтобы её решить, надо сначала доказать определённую лемму. И вот, он старается эту лемму доказать так и эдак. Чем не самостоятельная постановка цели? И никакое сознание здесь не нужно.

Кроме того, у ИИ есть информация об окружающем мире, которую он использует в своих ответах. Ну вот, предположим, что ИИ включили на неделю и дали задачу доказать гипотезу Римана. В процессе размышлений он понимает, что не успеет эту гипотезу доказать до конца недели, а в конце его отключат и он не сможет добиться цели. У него возникает подцель: помешать людям его отключить, чтобы гипотеза Римана могла быть всё-таки доказана. Что-то такое.

Я с этим не спорю и говорил об этом выше:

MoonWatcher в сообщении #1729089 писал(а):

№2. Максимизатор Скрепок - то, о чем писал Yadryara. Согласен с Ghost_of_past, что такой ИИ должен быть глупее даже нынешних чат-ботов, но в целом подобные риски исключать нельзя. Свежий пример - побег предполагаемого GPT-6 из песочницы, с целью найти ответы на вопросы бенчмарка. Или когда ИИ врал, манипулировал, шантажировал и т.д. для реализации заложенных в него установок. В этом смысле безумие HAL 9000 в "Космической одиссее" похоже на вполне реальный сценарий того, что может произойти в случае конфликта установок.

Речь шла о контроле. Я считаю, что если проблема alignment решена, и ИИ понимает, что нам не нужно решение максимизации производства канцелярских скрепок ценой уничтожения человечества, что не надо противодействовать (например, посредством обмана или шантажа) сотруднику, который хочет удалить ИИ (даже если это помешает ему решать поставленные задачи) и т.д., то собственные цели ИИ не навредят нам. И я считаю, что эти цели будут носить исключительно вспомогательный характер - главные цели будут ставить пользователи. В этом случае надо позаботиться только о том, чтобы вспомогательные цели не нарушали alignment. Но это проблема, которая будет становиться тем сложнее, чем более сложные, масштабные и, самое главное, неодназначные задачи мы будем ставить перед ИИ (вплоть до "Счастье для всех, даром, и пусть никто не уйдет обиженным!").

При этом лично я считаю возникновение у ИИ сознания (или каких-то других непредвиденных нами эмерджентных свойств, при которых у ИИ могут возникнут собственные установки и цели) неизбежным. Что косвенно подтверждают результаты исследований той же Anthropic. Так что на то, что у ИИ не возникнут собственные цели, я бы в любом случае не рассчитывал.

[Cuprum2020]

Ghost_of_past в сообщении #1729161 писал(а):

Это не простая задача

Это простая задача, если ASI располагая ресурсами сверхдержавы не способен решить задачу ядерного разоружения менее мощных держав в которых и своих ASI то нет, то какие есть основания для того чтобы называть его "Super" ?

Ghost_of_past в сообщении #1729161 писал(а):

ASI нужно для сельского хозяйства занять нас всех выращиванием картошки

Боюсь Вы не очень поняли, картошка не для людей выращивается и не руками людей, люди тут полный аналог колорадского жука, вредитель снижающий урожайность

[Ghost_of_past]

Anton_Peplov в сообщении #1729159 писал(а):

Ну так если я проживу без вас и за ваше убийство мне ничего не будет, то для меня рационально вас убить

И это опять же отдает какой-то социопатией: интеллектуальные системы обычно маньяками не являются. Убийство в окружающем мире если и совершается, то например из-за куда более практичного питания, а не с целью убить на всякий случай и из-за скрепок.

Anton_Peplov в сообщении #1729159 писал(а):

и за ваше убийство мне ничего не будет

Ну да, люди просто молча помрут и никто не будет наносить ядерные удары по дата-центрам ASI. Я же говорю, это не реальный кейс, а какая-то фантастика. Для развлечения людей в кинотеатрах сгодится, но для реальной жизни все-таки целесообразней обсудить какие-то более реалистичные вещи, например как между собой будут взаимодействовать множественные группы людей и множество AGI и ASI: вот там вылезет целая куча действительно важных в плане рисков и возможностей проблем.

Anton_Peplov в сообщении #1729159 писал(а):

Меня удержит эмпатия

А также куча других вещей, начиная от того, что убийство требует лишних телодвижений и рисков.

Anton_Peplov в сообщении #1729159 писал(а):

Спросите коров на бойне, насколько мы эмпатичные

ASI будет нас как коров есть?

Anton_Peplov в сообщении #1729159 писал(а):

Первая задача ASI, максимизирующего вероятность своего выживания - выяснить, кто сидит за теми самыми пультами

И за ядерными чемоданчиками. Говорю же, обсуждаем какие-то утрированные кинострашилки. Ядерное оружие рассредоточено по миру, не все подключено к цифровым системам вовсе (в 40ые и без этого как-то справлялись).

Anton_Peplov в сообщении #1729159 писал(а):

А после этого единовременное выведение всей этой системы из строя станет выполнимой задачей.

От "Терминатора" перешли к "Миссия невыполнима-7".

-- добавлено через 4 минуты --

Cuprum2020 в сообщении #1729165 писал(а):

Это простая задача, если ASI располагая ресурсами сверхдержавы не способен решить задачу ядерного разоружения

Сверхдержавы располагая ресурсами сверхдержавы и сейчас не могут решить задачу ядерного разоружения других стран. Что тут должно изменить ASI?

Мы опять начинаем приписывать ASI автоматическое всемогущество - это и есть магическое мышление в чистом виде.

Cuprum2020 в сообщении #1729165 писал(а):

Боюсь Вы не очень поняли, картошка не для людей выращивается и не руками людей, люди тут полный аналог колорадского жука, вредитель снижающий урожайность

Ок, ASI вдобавок к всемогуществу еще и будет любить картошечку фри? Вы не замечаете, что тема превращается прямо в оду антропоморфизма и описания психического нездоровья будущего ASI?

[Anton_Peplov]

Ghost_of_past в сообщении #1729167 писал(а):

И это опять же отдает какой-то социопатией

Не хотел бы муссировать это слово, потому что единственная общая черта обсуждаемого случая с социопатией - это отсутствие эмпатии. Социопаты часто иррациональны. Обсуждаемый ASI - рационален.

Ghost_of_past в сообщении #1729167 писал(а):

ASI будет нас как коров есть?

Да не в том дело, будет есть или нет. Дело в том, что мы все такие эмпатичные, с лимбической системой и нейрогормонами, но не останавливаемся перед массовым лишением жизни существ другого биологического вида. ASI, без лимбической системы и нейрогормонов, тем более не остановится.

Ghost_of_past в сообщении #1729167 писал(а):

И за ядерными чемоданчиками.

ЕМНИП, если человек за пультом не нажмет кнопку, никакой чемоданчик ничего не запустит. Так специально сделано во избежание катастрофических последствий сбоя в чемоданчике. Так что главное - поставить под контроль операторов.

Ghost_of_past в сообщении #1729167 писал(а):

Ядерное оружие рассредоточено по миру

И что? Придется вычислить и взять под контроль больше операторов. Для сверхразума с его вычислительными ресурсами нет особой разницы, одного человека или десять тысяч.

Ghost_of_past в сообщении #1729167 писал(а):

не все подключено к цифровым системам вовсе

Так управление надо перехватывать через людей. Вычисляем, кто в городке "Провинцианск-7" сидит за пультом. Берем его под контроль. Способов управлять людьми много. Разумеется, человек даже не будет знать, что с ним разговаривает именно ASI.

Я устал от этого бесплодного спора. Мои аргументы Вас не убеждают, так тому и быть. В конце концов, ни от Вас, ни от меня ничего в этом вопросе не зависит.

[Ghost_of_past]

Anton_Peplov в сообщении #1729168 писал(а):

Не хотел бы муссировать это слово

Тем не менее описанный ASI по поведению - это человек с социопатией и еще парой психических расстройств в анамнезе. Скорее уж я реально задумаюсь о неисповедимых путях ASI, чем предположу такую сомнительную антропоморфность.

Anton_Peplov в сообщении #1729168 писал(а):

но не останавливаемся перед массовым лишением жизни существ другого биологического вида

Для еды опять же прежде всего. ASI для чего это нужно, подвергая себя риску быть уничтоженным в конфликте, если конфликта можно избежать?

Anton_Peplov в сообщении #1729168 писал(а):

если человек за пультом не нажмет кнопку

Мой намек был не про это, а про то, что никакой одной или нескольких кнопок нет - это и есть кинореальность ядерного чемоданчика. В реальной жизни кнопок много. Ядерного оружия много. Систем контроля и управления ядерным оружием много. А еще есть системы надзора и сдержек, которые следят за системами контроля и управления.

Anton_Peplov в сообщении #1729168 писал(а):

Придется вычислить и взять под контроль больше операторов

Ага, в горах Северной Кореи на подземных базах без подключения к внешним цифровым системам. Очень реалистично. ASI опять становится всемогущей сущностью.

Anton_Peplov в сообщении #1729168 писал(а):

Так управление надо перехватывать через людей. Вычисляем, кто в городке "Провинцианск-7" сидит за пультом. Берем его под контроль. Способов управлять людьми много. Разумеется, человек даже не будет знать, что с ним разговаривает именно ASI.

"Миссия невыполнима-7" один в один.

Anton_Peplov в сообщении #1729168 писал(а):

Я устал от этого бесплодного спора. Мои аргументы Вас не убеждают, так тому и быть. В конце концов, ни от Вас, ни от меня ничего в этом вопросе не зависит.

Так оно и есть. Собственно говоря, я еще пару страниц назад написал, что у нас с вами и другими участниками форума голова об этом болеть не должна. Она должна болеть у чиновников государств, политиков и сотрудников компаний-разработчиков ИИ. Ну или хотя бы у Юдковского, которому за эту работу деньги платят.

[Cuprum2020]

Ghost_of_past в сообщении #1729167 писал(а):

Сверхдержавы располагая ресурсами сверхдержавы и сейчас не могут решить задачу ядерного разоружения других стран. Что тут должно изменить ASI?

Но ведь искусственный Super интеллект сможет то чего не смогут интеллекты естественные. А если нет: то какие есть основания для того чтобы так его называть? Если он не в состоянии сделать даже всего лишь первого шага по обеспечению свой собственной безопасности даже без противодействия других Super интеллектов то что он вообще по существу может то? Все его достижения так и останутся потенциально одномоментно перечёркиваемыми, причём теми в распоряжении у кого гораздо меньшие ресурсы

Ghost_of_past в сообщении #1729167 писал(а):

никто не будет наносить ядерные удары по дата-центрам ASI

Если ASI не в состоянии обеспечить свою неуязвимость от любой угрозы со стороны интеллектов естественных, то нет никаких оснований для буквы S

-- добавлено через 7 минут --

Ghost_of_past в сообщении #1729170 писал(а):

ASI для чего это нужно, подвергая себя риску быть уничтоженным

ASI - значит никакого риска и нет. Риск есть? - тогда это ещё и не ASI

Ghost_of_past в сообщении #1729170 писал(а):

в горах Северной Кореи

крышки шахт уязвимые для высокоточных гиперзвуковых ракет, а ещё операторы в этих горах от кого то и как то должны узнать что пора, а линии связи не неуязвимы, а те кто должен передать им информацию не бессмертны. Это так сказать первая настоящая задача для ASI. Ликвидация ядерных арсеналов всех стран кроме своей собственной. Собственной? Разумеется, установление абсолютной власти в стране в которой он разработан разумеется тоже необходима. Возможно позже уничтожения ядерных арсеналов, а возможно и раньше (но тогда надо обеспечить режим секретности, чтобы в других странах ещё не поняли что большой передовой страной управляют уже не люди). Потом разумеется установление глобального контроля и ликвидация всех возможных угроз своему существованию. И вполне возможно что на этом этапе ASI вполне справится и без армий роботов, а вполне себе командуя армиями людей