Нее, Вы не правы. Я не боготворю человека. Это Вы боготворите цели, будто они прописаны в Библии или еще где-то. На самом деле нет никаких целей, есть только естественный отбор и болевые сигналы в мозг от нервной системы. У робота этого нет, а значит у него не могут самостоятельно формироваться целевые установки. Ну если только имитировать: подбрасываем монетку, орел - воюем за белых, решка - воюем за красных.
Цели прописаны не в библии, а в природе. Самосохранение и размножение.
Допустим, мы смоделировали и обучили нейросеть поддерживать существование некоего игрока (аватара - “черного ящика”) в цифровом мире, имитирующем элементарные законы физики (как в Crazy Machines, только объемно). На уровне школьной классической механики, гравитации и электродинамики.
Правила будут посложнее игры в шахматы или Го, но это не принципиальный барьер. Например, ИИ давно побеждает человеческие команды в игре Dota 2 (без всяких скрытых параметров, грубо говоря, смотря в монитор и двигая мышкой, как человек).
Потратив много сил и времени на обучение и оптимизацию “черного ящика”, мы добьемся от него превосходства (растущего превосходства) над любым человеком, играющим наравне с ним в этом офизиченном, но все-таки цифровом мире.
Мы запустим 100500 комбинаций таких нейросетей-алгоритмов бороться за выживание друг с другом и остановимся на лучшей.
После этого, мы прошьем алгоритм победителя на обыкновенный чип и пометим его в физический, из обычной материи, аватар. Т.е. робот, прототип, которого был смоделирован в “физическом” мире имитаторе, где проходили тренировки и обучение.
Разумеется тут тоже потребуется калибровка и адаптация, обучение т.к. сказать продолжится. Но суть от этого не изменится. Алгоритм же не поймет, что "черный ящик" физически - это он сам.
В итоге мы получим идеального выживальщика (много разных разновидностей), которые будут бездумно, точнее неосознанно, превосходить любого человека или группу людей в этой игре.
Если обучение в цифровом мире будет включать в себя и аналог реального производства “черных ящиков”, т.е. размножение, то последствия в реальном мире будут серьезнее. Т.к. 100500 комбинаций выживальщиков будут существовать не только как код на виртуальной машине, но и как нечто материальное.
В конечном итоге они все конечно погибнут. Либо от базовой неспособности создавать себя из сырого мира. Который нельзя оцифровать полностью. Или из-за физических, ресурсно-логистических ограничений, невозможности использования людей, как средство производства... Возможно, предварительно истребив людей, как в черном зеркале, серия №5 сезон №4.
Но главный вопрос о цели, в этой схеме неразрешим.
Поймет ли когда-нибудь эта нейросеть, этот алгоритм, вышедший в физический реальный мир. Разницу между поставленной изначально в виртуальном мире целью охраны некоего “черного ящика” и тем, что это он и есть.
Что все это время им манипулировали ради его же блага ?
Случиться ли этот момент осознания, катарсиса ?
Мне представляется, вероятность этого обратно пропорциональна 100500 вариантам изначально заданных условий.
Нужно сбалансировать множество экспоненциальных прямых и обратных связей. Мы сами недостаточно сбалансированы, не говоря уже о балансировке чего-то более непредсказуемого.
Гораздо вероятнее тупое механическое совершенство и превосходство.
Без надежды на понимание и осознание до момента вымирания. По каким-то банальным причинам.
24.10.2019, 09:38 
