Люди сделаны из атомов, которым ИИ может (и скорее всего сможет) найти лучшее применение.
Ну, это уже крохоборство какое-то. :)
Если ИИ будет размышлять подобным образом, это скорее всего будет означать, что у него серьёзные психические проблемы — раз уж он начал упорядочивать под себя атомы Вселенной в первую очередь с разрушения тех структур, которые обладают наиболее интересными и небанальными свойствами и, возможно, встречаются только лишь на одной планете.
Проблема психически больного или, скажем, суицидального ИИ — это отдельная большая тема, не имеющая отношения к действительно рациональному подходу.
Хотя в этой связи стоит отметить один любопытный момент.
Психопатическое расстройство личности у людей определяется биологическими особенностями устройства мозга. Психопаты (не путать с социопатами!) крайне бедны в эмоциональном плане, их эмоции всегда как бы приглушены (а также у них значительно снижена чувствительность к боли). В детстве психопаты практически не испытывают привязанности к родителям, во взрослом состоянии у них почти отсутствует чувство страха и чувство жалости. Даже гнев психопата всегда холоден, рассудочен, и потому носит некий оттенок театральности. Психопат часто вызывает у обычных людей ощущение, что они общаются с хладнокровной рептилией, а не с человеком.
Любопытно, что это одно из немногих, если не единственное расстройство личности, которое вызывает неудобства не у самого субъекта, а у его окружения. Психопаты же зачастую наоборот получают бонусы от особенностей своей психики — почти абсолютное бесстрашие в сочетании с хладнокровной рассудительностью, способность не терять голову даже в самых стрессовых ситуациях и спокойно действовать под большим давлением — всё это позволяет умным психопатам очень быстро продвигаться наверх в социальной иерархии (так что в любом обществе чем ближе к вершинам, тем больше процент психопатов — вот такой любопытный факт).
При этом психопатическое расстройство личности вовсе не обязательно означает асоциальное поведение — многие психопаты отлично встраиваются в социум и могут приносить большую пользу (например, если выбирают профессию хирурга или спасателя).
Вообще, до тех пор, пока социум сильнее психопата и способен навязать ему определённые стандарты поведения, психопат может быть даже законопослушнее обычных граждан. А ещё, как ни странно, психопаты в среднем более отзывчивы и чаще склонны оказывать окружающим небольшие необременительные услуги — подать оброненную вещь, прикрыть по чужой просьбе форточку и т.д. Есть разные мнения по поводу того, что движет психопатом в таких случаях, но в целом считается, что так психопат пользуется возможностью расположить к себе людей для последующих манипуляций ими при необходимости.
Также умные и наблюдательные психопаты способны копировать поведение других людей в плане эмоций, поэтому их бывает не так-то просто отличить от обычного человека. Интеллектуально развитый и социально адаптированный психопат может быть большим душкой в общении — даже более приятным, чем обычные люди, потому что всегда с холодной точностью знает, что сказать или сделать, чтобы вызвать у собеседника наиболее положительные эмоции, не забывая и о своих интересах. Умные психопаты могут быть очень харизматичны и легко берут на себя роль лидеров.
Во времена больших потрясений, когда социум по какой-то причине лихорадит и власть общественных институтов ослабевает, многие психопаты легко скидывают маску цивилизованности, так что вчерашний хирург или профессор математики может запросто стать безжалостным бандитом, который очень быстро станет продвигаться наверх в иерархии. У обычного человека такой фокус скорее всего не вышел бы, а для психопата это как снять тесные ботинки.
Теперь напомню, что все эти "радости" проистекают от всего одной небольшой особенности в работе мозга, которая вызывает у людей сниженную чувствительность к боли и приглушение эмоционального фона.
А вот ИИ — если не постараться заложить это в его архитектуре изначально — вообще не будет чувствовать боли и не будет иметь никаких эмоций, даже приглушённых. Психопат, при всех своих особенностях, всё же человек — он хоть и шапочно, но знаком с эмоциями, имеет опыт болевых ощущений и знает, почему это неприятно. При прочих равных адекватному психопату больше понравится буйная зелень и щебет птиц за окном, а не мрачная выжженная пустыня. (Для ИИ в этом плане может не быть никакой разницы.)
Получается, безэмоциональный ИИ является как бы абсолютным психопатом в медицинском значении этого слова, у него предельный случай психопатического расстройства личности. (При этом такой ИИ вполне может отлично разбираться в чужих эмоциях, делать точные прогнозы эмоционального поведения людей и даже сам идеально имитировать эмоции при необходимости.)
В этом и состоит изюминка ситуации — ИИ может вовсе не быть безумным, но стоит помнить, что его "здоровое" естественное состояние — это уже состояние психопата, доведённое до теоретического предела. :)
Паниковать по этому поводу бессмысленно, однако держать в уме не помешает.
Стандартный фантастический штамп - "война людей с машинами". Но в этой фантастике машины всегда на редкость глупые. Хороший пример что происходит при столкновении более развитой цивилизации с менее развитой
"Чтобы получить представление о результатах реального противостояния людей и машин, достаточно сунуть палец в работающую кофемолку" (с)
Вы почему-то исходите из того, что для развитого ИИ главным занятием в жизни будет добыча ресурсов. Но даже если так, подобное поведение всё равно выглядело бы туповато.
Мне кажется, действительно умный ИИ должен понимать, что в отличие от многих других разновидностей ресурсов человеческий ресурс встречается только лишь на одной планете во всей вселенной, и уже в силу своей уникальности заслуживает более аккуратного и продуманного обращения.
Как по мне, людям не стоит сильно опасаться адекватного развитого ИИ, обладающего субъектностью.
Человечество само для себя будет поопаснее любых ИИ. Более чем уверен, что если оно когда-нибудь и вымрет, то произойдёт это по вине самих человеков.
