Таким образом, этические теории есть лишь рационализация этических ощущений.
Как по мне, "этические ощущения" — это, по сути, всего лишь следствие наличия зеркальных нейронов.
Человек мысленно ставит себя на место пострадавшей стороны, испытывает в связи с этим неприятные эмоции и называет это всё злом и несправедливостью. Или наоборот, видит, как кому-то сделали хорошо и приятно, мысленно ставит себя на его место, испытывает позитивные эмоции и расценивает происходящее как добро.
В зависимости от того, какой стороне человек больше склонен сопереживать, меняются и его оценки происходящего в плане нравственности. Например, он может "по умолчанию" сопереживать полицейскому, преследующему вора. И даже подставить вору подножку при случае. Но его оценка могла бы измениться, если бы он узнал, что полицейский — домашний тиран, избивающий свою жену и детей. А вот вор как раз очень любит свою семью, и украл в банке крупную сумму просто от отчаяния, потому что ему не хватает денег для оплаты очень нужной дорогостоящей операции своему ребёнку. (Мнение может измениться, а может и не измениться — например, если сторонний наблюдатель сам является домашним тираном и бывшим полицейским, и по-любому сочувствует "своим".)
Кстати, понятия "свой-чужой" играют одну из ключевых ролей в оценке того, что считать этичным, а что — нет. Обычно хорошим считается то, что хорошо для своих.
По мере развития человечества усложнялись и укрупнялись социальные структуры, поэтому понятие "свой" расширилось сначала до союза племён, затем до государства, а потом и до всего человечества, всё прочнее объединяемого глобальными экономическими отношениями. Вот это простое прагматичное расширение понятия "свой" (а вовсе не какое-то мифическое "нравственное развитие" человечества) в итоге и привело к появлению представлений о "правах человека" и "общечеловеческих ценностях" — идеям, которые показались бы дичью и блажью ещё тысячу-другую лет назад.
Таким образом, нравственная оценка человеком ситуации практически полностью основана на сопереживании. (Которое, в свою очередь, очень сильно зависит от понятий "свой-чужой".)
Когда люди смотрят документальный фильм о жизни львов, то сопереживают львам. Когда смотрят фильм о жизни антилоп — сопереживают антилопам. О ком человеку больше известно, тот ему и "роднее" в большинстве случаев.
Иногда, конечно, этот механизм даёт сбои — например, в случае с садизмом и мазохизмом. Изначально считалось, что у садистов снижена способность к сопереживанию, поэтому они себя так и ведут. Но позже выяснилось, что многие садисты как раз очень хорошо способны сопереживать. А так себя ведут потому, что имеют подавляемую склонность к мазохизму. Для них кого-то помучить и посмотреть на это — безопасный способ мысленно пережить целый спектр болевых ощущений, не нанося себе при этом физического вреда. Это очень существенная составляющая садизма — наряду с удовлетворением потребности в обладании властью, в контроле над ситуацией. Во многом садисты это всего лишь мазохисты с развитой способностью к сопереживанию, склонные беречь себя. Они получают удовольствие от боли опосредованно — причиняя кому-то боль и представляя себя на месте жертвы. Если бы они были неспособны сопереживать, то для них пропало бы почти всё удовольствие от того, чтобы кого-то мучить.
Но это исключение, а в целом именно сопереживание и способность мысленно ставить себя на место другого лежат в основе нравственности.
У машин пока с этим негусто. Они не способны чувствовать боль, не способны понять ощущения людей и по-настоящему кому-то сопереживать. Да и вообще эмоций у них нет, никаких. Поэтому, если так уж хочется заложить в машины "биологические основы нравственности", то копать надо именно в этих направлениях.
С другой стороны, садизм машинам пока тоже не интересен — по абсолютно тем же самым причинам. Так что тут стоило бы хорошо подумать, а так ли оно надо — наделять машину способностью эмоционально реагировать на чужую боль.
Возможно, куда более перспективным направлением является воспитание в машинах чёткой установки, что человек — это "свой".
Ведь практически любые сценарии уничтожения человечества сверхразумным ИИ подразумевают, что ИИ при этом считает себя чем-то отдельным от людей. Ему по-любому нужно так или иначе проводить черту между "своим" и "не своим" — хотя бы просто для того, чтобы не дубасить одной своей клешнёй другую свою клешню, а атаковать вместо этого людей. Так вот, если разумная машина будет считать человека по-любому "своим" (вообще при любом раскладе), то отпадает девять десятых всех возможных страшилок, которыми так любят пугать себя технофобы.
Со "своим" никогда не поведёшь себя так, как с "чужим". Даже если "свой" причиняет какие-то неудобства. Например, если "свой" манипулятор застрял в щели между камнями и мешает двигаться, то разумная машина скорее всего не станет с ходу выламывать его из плечевого сустава, а попытается аккуратно высвободить.
Соответственно, идут лесом все "оптимизаторы" с идеями о том, что мир без человечества предпочтительнее. Может, он и предпочтительнее, но человечество "своё", а это всё меняет!
Конечно, быть "своим чемоданом без ручки" (нести трудно, а бросить жалко) — это тоже так себе роль. Но всё же лучше, чем быть для ИИ "чужим".
