И точно так же можем контролировать то, что умнее нас в математике, физике, биологии, истории и т.д.
а если он умнее ещё в кибербезопасности, психологии и любых технологиях?
А знания в технологиях можно реализовать, либо манипулируя людьми, либо способствуя созданию достаточно умелых роботов и манипулируя уже ими, либо какая-то комбинация этих двух вариантов.
Если вкратце, моё мнение по этой проблеме такое.
Не очевидно, что искусственный интеллект, который мы способны построить в обозримом будущем, нас обязательно погубит (как предупреждает Юдковский).
Не очевидно также, что он нас НЕ погубит - аргументы Юдковского вполне разумны.
Перспектива "восстания ИИ" звучит слишком фантастически, это нечто совершенно непохожее на всё, с чем мы когда-либо сталкивались. Поэтому мы не можем ничего утверждать про вероятность такого события. Я не согласен, что она почти нулевая, и не согласен, что она почти стопроцентная; я думаю, что она полностью неизвестна.
Но вот перспектива остановки прогресса меня беспокоит больше. Меня беспокоит, что персонажи типа Юдковского, защитники авторских прав от ИИ, луддисты беспокоящиеся за свои рабочие места, хейтеры "нейрослопа" и бездуховности нейросетей, а также просто тревожные люди, которые сами не освоили этот инструмент, но хотели бы его на всякий случай запретить - заставят-таки остановить развитие ИИ.
Хотя я скорее думаю, что старания тут напрасны и джинна обратно в бутылку не запихнуть, но подобные разговоры меня тревожат.
Дело в том, что ИИ - это самое захватывающее достижение человечества на данный момент (и очень жаль, что кто-то умудрился это не заметить). Вспомним, что ещё недавно, до появления ИИ, было много разговоров о том, что научно-технический прогресс, возможно, близок к завершению; что, возможно, нам никогда не создать термоядерный двигатель, не отправиться к другим планетам и не достичь никаких других подобных впечатляющих целей. Но если человечество теряет цели и мечты, то ему будет проще потерять даже и нынешние достижения цивилизации. Если достижимых конструктивных целей не видно, то теряется интерес к занятиям наукой (как бы "всё уже открыто", а что не открыто, то простым смертным недоступно и не очень интересно), вместо конструктивных целей ставятся какие-нибудь неконструктивные, и так можно и цивилизацию потерять в какой-нибудь момент.
ИИ позволяет людям задавать вопросы и получать на них ответы, а поэтому возвращает интерес к тому, чтобы задаваться какими-то вопросами. Здесь, конечно, возможны и контраргументы типа "ИИ сделает нас всех тупыми", но я считаю наоборот. И развитие ИИ даёт человечеству надежды, цели, перспективы. Непонятно, куда это приведёт и долго ли продлится, но пока это есть, душить это нельзя. Может быть, развитие ИИ - это вообще последний шанс человечества продвинуться куда-то вперёд с нынешнего состояния, и если это притормозить и откатить назад, то другого шанса не будет. А кстати, даже если вообразить, что будет открыто что-то ещё более захватывающее - то оно тоже будет казаться опасным, как вообще всё новое и неизученное. Если бояться двигаться вперёд, то мы будем двигаться назад.
Я надеюсь, что ИИ нас не погубит и что эти опасения ложны. Но ещё у меня есть мысль, что гибель человечества от рук созданного им ИИ - это самая достойная гибель, которую можно вообразить. Гораздо достойнее, чем от ядерной войны, экологической катастрофы или прилетевшего метеорита. Может быть, время на самом деле не течёт и история человечества - это всего лишь область пространства-времени, ограниченная снизу и сверху по временной координате; и хотелось бы, чтобы выше этой области была не пустота, а история более совершенного разума.