можно каким-то (популярно: волшебным) образом запрограммировать его отождествленние с собой (через последовательности "ощущений" и "пониманий")
Ну и вопрос навскидку: какие последовательности отождествления этичны, на основе каких критериев и как это проверить (зная, что субъект абсолютно не может с нашей точки зрения функционировать самостоятельно)?
Если бы он действительно что-то ощущал, наподобие того как человек ощущает, то, по-моему, не этично было бы программировать ему дискомфортные ощущения. Нужно было бы программировать его, по возможности, так чтобы он чувствовал себя всегда приятно, и чем приятнее, тем лучше. Ну и, разумеется, чтобы как можно более полезен был, целесообразен хорошим целям (т.е. чтобы был настроен в общем на причинение комфорта остальным, желательно даже на помощь самым нуждающимся).
Усложните поведение программы или ИИ настолько, чтобы его нельзя было гарантированно предсказать, например задействовав аппаратные датчики случайных чисел — и получите субъект, действующий самостоятельно (в некотором смысле, впрочем люди тоже самостоятельны лишь в некотором смысле).
Датчики "случайных" чисел в нём задействовать тоже тогда нужно было бы только так, чтобы эта "случайность" не выбивала его за рамки комфорта.
Но для создания субъекта с ощущениями (психикой) наподобие человеческих (ощущение цветов, вкусов, чувства любви, вдохновения, заинтересованности, смеха и т.д. и т.п.) нужно сначала разобраться толком что из себя представляет конкретный человек (например, Вася Пупкин) как психический субъект. Дать определение этому Васе. Но до этого ещё далеко. Такого определения пока нет, и не предвидится. И даже когда такое определение появится, то не факт, что создание таких субъектов окажется вообще возможным.
-- 10.04.2021, 15:47 --Собственно этот порог давно уже пройден и принимаются специальные усилия чтобы программы вели себя таки предсказуемо, а не самостоятельно.
Смысла задействовать "случайность" при создании такого субъекта не вижу. Действительно, пусть будет предсказуемым. Что в этом плохого? Ведь даже с внедрением "случайности" всё равно самостоятельность его будет весьма условна. Ну будет он в некоторой степени зависеть не только от нашего программного кода, а и от генератора "случайных" чисел. И что? Зависимость быть зависимостью от этого не перестанет.