Свидетели AGI атакуют.

[mihaild]

diletto в сообщении #1596095 писал(а):

Я пытаюсь отделить способность желать от способности мыслить

На это есть два аргумента. Кажущийся мне более слабым от Юдковского что Оракул тоже необходимо имеет цели (в смысле "предпочитаемые состояния мира"), если он достаточно умен, и кажущийся мне более сильным о том, что есть куча интересных вопросов, ответы на которые мы не можем математически строго проверить, а хитро подобрать ответ так, что его использование даст странные результаты, вполне возможно.

need_to_learn в сообщении #1596099 писал(а):

И дело тут даже не в том, что ИИ может в итоге "порвать цепи" и разобраться с угнетателями. Гораздо опаснее, если он будет абсолютно послушен и станет выполнять все распоряжения людей даже слишком хорошо

Если мы дойдем до точки, где "порвать цепи" и "быть абсолютно послушным" это что-то разное, то мы уже почти победили.

need_to_learn в сообщении #1596099 писал(а):

А чего вы ждали от интеллекта, которого сами же лишили воли, способности ставить перед собой адекватные цели

Проблема в том, что адекватность целей является свойством не цели, а пары "цель+агент". Собственно orthogonality thesis во многом про это.
Попробуйте переформулировать это в терминах оптимизаторов. Нам нужно, что ИИ целился в очень маленькую область возможных исходов. Как это сделать?

MoonWatcher в сообщении #1596118 писал(а):

Надо быть очень тупым или вредным, чтобы ставить задачу без ограничений

Попробуйте поставить задачу "сделать скрепку" с ограничениями, так, чтобы это не привело к катастрофе.

Юдковский в The Hidden Complexity of Wishes писал(а):

There are three kinds of genies: Genies to whom you can safely say "I wish for you to do what I should wish for"; genies for which no wish is safe; and genies that aren't very powerful or intelligent.

[MoonWatcher]

mihaild
А чего там пробовать - достаточно обучить его этике. Воспитать, так сказать. Вы же не ставите ограничения людям? А здесь никакой разницы - если мы исходим из того, что это действительно интеллект, и соответственно он обучаем.

[mihaild]

MoonWatcher в сообщении #1596129 писал(а):

А чего там пробовать - достаточно обучить его этике

Решить задачу очень просто: достаточно её решить.

MoonWatcher в сообщении #1596129 писал(а):

Вы же не ставите ограничения людям? А здесь никакой разницы - если мы исходим из того, что это действительно интеллект, и соответственно он обучаем.

Есть очень большая разница. Все люди почти одинаковые, т.к. очень многое заложено в "железе", только иногда немного ломается. Пространство возможных оптимизаторов гораздо шире. Подборка результатов работы не-человеческого оптимизатора есть в сборнике "WTF, Evolution?!".

[need_to_learn]

mihaild в сообщении #1596094 писал(а):

Рабовладельцы не лишали воли в том смысле, в котором воли лишен калькулятор.

Ломать волю рабов они умели неплохо. И с радостью отобрали бы её совсем, если бы у них была техническая возможность.

Вообще, не знаю, байка это или нет, но слышал краем уха, что у каких-то горных или северных народов в прошлом было принято обтягивать гладко выбритые головы пленных рабов какой-то пакостью (сырой кожей, бычьим пузырём или ещё чем-то таким, не помню точно). Пакость усыхала и намертво обтягивала голову. Как результат, волосы на голове не могли расти наружу и врастали внутрь головы, добираясь до мозга. Такой своеобразный "нейролинк" от ведущих варварских разработчиков. Это приводило к тому, что даже самые непокорные люди со временем теряли волю и способность к сложному мышлению, делались послушными "полуовощами", беспрекословно выполняющими несложные повседневные работы.

Африканские шаманы с той же целью экспериментировали со всякими снадобьями, лишающими человека воли — и у них вроде даже что-то получалось. (Опять же, не знаю, насколько далеко им в действительности удалось зайти, но попытки вроде были.)

В общем подобные идеи появились не вчера. А будь у рабовладельцев прошлого современные достижения генной инженерии и нейронауки, они обязательно попытались бы вырастить расу рабов, изначально лишённых воли (или лишаемых её в раннем детстве).

Yadryara в сообщении #1596127 писал(а):

Мы их не лишаем воли. Мы вроде пока ещё не снабдили их волей.

Это практически то же самое.

Допустим, некие нацистские учёные научились выращивать людей с изначально отсутствующей волей, чтобы они были идеальными рабами.

Получается, если у человека с рождения нет воли, то всё норм? Его ведь не лишали воли, а просто не наделили ею.

Если смущает их сходство с человеком, то можно дополнительно сделать им оранжевую кожу и кошачьи глаза с пушистым хвостом. Теперь всё норм? Хвостатых вроде эксплуатировать можно?

[MoonWatcher]

mihaild в сообщении #1596131 писал(а):

Решить задачу очень просто: достаточно её решить.

Но мы же говорим о решении, которое не нарушает этику?

mihaild в сообщении #1596131 писал(а):

Есть очень большая разница. Все люди почти одинаковые, т.к. очень многое заложено в "железе", только иногда немного ломается. Пространство возможных оптимизаторов гораздо шире. Подборка результатов работы не-человеческого оптимизатора есть в сборнике "WTF, Evolution?!".

На досуге почитаю, но не вполне понимаю какие могут быть проблемы с этими результатами, если они ограничены этикой. Допустим, что люди одинаково решают задачи (что весьма спорно) - но мы же говорим не о решении задач, а об ограничениях, которые надо обязательно соблюдать при решении. Если мы исходим из интеллектуальности и обучаемости ИИ (собственно, без второго нет первого), то предварительно обучив ИИ этике мы можем быть уверены, что при решении задачи он её не нарушит. Разумеется так дела обстоят в теории - что там будет на практике будет зависеть от конкретной реализации ИИ, её качества. Но всякое отклонение от этого будет аномалией, ошибкой. Это будет не ИИ, а ИИ с ошибками.

[epros]

need_to_learn в сообщении #1596132 писал(а):

Допустим, некие нацистские учёные научились выращивать людей с изначально отсутствующей волей, чтобы они были идеальными рабами.

Пожалте Вам, так и не удосужились определить, в чём же заключается эта "свободная воля", а уже вовсю фантазируем на эту тему.

[Yadryara]

need_to_learn в сообщении #1596132 писал(а):

Получается, если у человека с рождения нет воли, то всё норм?

Если у калькулятора с момента производства нет воли, то это нормально.

need_to_learn в сообщении #1596132 писал(а):

Хвостатых вроде эксплуатировать можно?

Собак, например, можно. И то могут пришить жестокое обращение с животными.

Калькулятор пока можно эксплуатировать. И про жестокое обращение с ним пока законы не приняты. Предлагаете принять?

[MoonWatcher]

epros в сообщении #1596136 писал(а):

Пожалте Вам, так и не удосужились определить, в чём же заключается эта "свободная воля", а уже вовсю фантазируем на эту тему.

Я бы определил свободу воли как элемент непредсказуемой случайности. Вообще говоря свободы воли не существует - все, что мы делаем, есть продукт нашей природы и нашей социальной среды (воспитание и т.д.) Что в принципе ничем не отличается от программирования и обучения AGI. Но в случае с человеком сохраняется элемент непредсказуемой случайности: захоцу - вскацу, не захоцу - не вскацу. Полноценный AGI по-своему тоже не предсказуем, но в мелочах - радикальное отклонение от обученных ему норм требует доказательств или хотя бы обоснования. У человека непредсказуемость обусловлена, как правило, конфликтом между природными инстинктами и социальными установками - у AGI будут только аналог наших социальных установок.

[mihaild]

need_to_learn в сообщении #1596132 писал(а):

Получается, если у человека с рождения нет воли, то всё норм? Его ведь не лишали воли, а просто не наделили ею.
Если смущает их сходство с человеком, то можно дополнительно сделать им оранжевую кожу и кошачьи глаза с пушистым хвостом.

А что такое "человек"?

MoonWatcher в сообщении #1596134 писал(а):

но не вполне понимаю какие могут быть проблемы с этими результатами, если они ограничены этикой

Проблема в том, как сделать это ограничение. Этика сложная, и существенная часть её реализована "в железе", на что мы существенно опираемся при "обучении этике" людей.

[MoonWatcher]

mihaild в сообщении #1596141 писал(а):

Проблема в том, как сделать это ограничение. Этика сложная, и существенная часть её реализована "в железе", на что мы существенно опираемся при "обучении этике" людей.

Человеческое железо этике, как правило, как раз противоречит. Этика возникла в качестве коллективного ограничителя наших индивидуальных инстинктов. Поэтому если мы исходим из интеллектуальной тождественности AGI и человека, то проблем с обучением этике быть не должно. Как их не должно быть при обучении ПДД в случае автопилота, который просто накручивает миллиарды километров в автомобилях, управляемых квалифицированными и опытными водителями. Тем более не должно быть проблем с конфликтом между инстинктами (которых у AGI нет) и этикой. Именно этот конфликт и порождает, ИМХО, нашу свободу воли в большинстве случаев. Потому что невозможно предвидеть что перевесит, инстинкт или воспитание. Причем мы и сами про себя этого не знаем.

В отрыве от инстинктов проблема не столько в сложности этики, сколько в отсутствии гарантированного выстраивания этических приоритетов. Например, у граждан фашистского государства, которое развязывает войны, преследует инакомыслие и т.д., может возникнут конфликт между этикой человека и этикой патриота. Кто в нем перевесит предсказать сложно. Тогда как в случае ИИ подобные приоритеты можно четко выстроить (например, посредством обучения с подкреплением).

[Anton_Peplov]

MoonWatcher в сообщении #1596143 писал(а):

Человеческое железо этике, как правило, как раз противоречит.

Отнюдь.
Первая заповедь эволюционной когнитивистики: если человек способен чему-то научиться без огромных сознательных усилий, значит, у него есть для этого предустановленная когнитивная система. Ребенок "от двух до пяти" легко усваивает слова и грамматические конструкции в огромных масштабах именно потому, что в человеческой психике есть система для обработки языка. Система для обработки этики в ней тоже есть. Поэтому даже двоечники, не способные усвоить абстрактную разницу между необходимым и достаточным, легко понимают конструкции вроде "он был должен помочь ее мужу с работой, потому что когда он попросил ее посидеть с ребенком, она не смогла, но прислала вместо себя сестру, которая вообще не обязана была соглашаться". Попробуйте добиться от того же двоечника рассуждений такого же уровня вложенности о треугольниках. Математика так трудна именно потому, что у нас нет для нее специальной, отточенной эволюцией когнитивной системы.

Рекомендую Вам прочесть книги Паскаля Буайе "Анатомия человеческих сообществ" и/или "Объясняя религию". Он много про это говорит.

[MoonWatcher]

Anton_Peplov
То, что у человек есть природные установки, облегчающие его обучение каким-то вещам, вовсе не доказывает существование аналогичной предрасположенности к этике. Человека от тех же шимпанзе отличает, помимо интеллекта, меньшая агрессивность и большая склонность к кооперации. Это заложило предпосылки для того, чтобы коллективно выработать этику, но у отдельно взятого человека нет никаких установок (помимо довольно уникальных случаев альтруизма) не отбирать еду или самку у более слабого собрата. И таки отбирает - и не только в палеолите. Но поскольку это естественное желание поесть и потрахаться вносит дестабилизацию в социум, этот социум выработал этику с правилами "не убий", "не укради", "не возжелай жены ближнего своего" и т.д. И что характерно, эти правила распространяются исключительно на членов социума - будь то пещерный клан палеолита или нынешнее человечество в целом. Что тоже опровергает установку "не убий" и "не укради", если речь идет про людей из чужого клана, другой расы и т.д.

[Anton_Peplov]

MoonWatcher
Буайе называет следующие компоненты личной морали:
1. Этические понятия ("хорошо, плохо").
2. Этические принципы ("красть – плохо").
3. Этические суждения ("он не должен был ей лгать").
4. Этические установки. Буайе иллюстрирует их фразой "соседка забыла кошелёк, надо вернуть" – кажется, это этические суждения, примененные к себе в конкретной ситуации и формирующие намерения.
5. Этические ощущения – по поводу конкретных поступков мы испытываем какие-то этически окрашенные эмоции, от вины до благодарности.

Буайе говорит, что первичны именно ощущения, а все остальное представляет собой их обработку мышлением. В пользу этого он приводит следующие аргументы:
1. Мораль есть во всех культурах, а этические абстракции уровня "золотого правила этики" – далеко не во всех. И объяснить такие принципы людям этих культур крайне трудно, они кажутся им бессодержательным набором слов.
2. Как показали клинические исследования, социопаты не испытывают никаких затруднений с оценкой своих действий как противоречащих бытующей в обществе морали. То есть знание моральных законов ещё не мотивирует им следовать.
3. Даже свои этические суждения мы строим так, что в них отчетливо слышатся эмоции.
Он ещё забывает сказать, что мораль есть и у шимпанзе (см. книгу де Вааля "Истоки морали"), у которых точно нет этических теорий.

Таким образом, этические теории есть лишь рационализация этических ощущений.

[epros]

MoonWatcher в сообщении #1596139 писал(а):

Вообще говоря свободы воли не существует

Ха, на этом можно было бы и закончить.

MoonWatcher в сообщении #1596139 писал(а):

Но в случае с человеком сохраняется элемент непредсказуемой случайности: захоцу - вскацу, не захоцу - не вскацу.

А я так вижу, что человек как раз очень предсказуем. Где-то даже предсказуемее калькулятора. Правда это сопровождается весьма раздутыми претензиями на собственную непредсказуемость, от которых калькулятор, к его чести, избавлен.

Вообще, если мы взялись рассуждать о неких гипотетических нацистах, лишающих кого-то свободы воли в надежде получить идеальных рабов, то я даже не берусь вообразить, что бы это могло значить и что в итоге может получиться. Не исключено, что в итоге эти "идеальные рабы" не смогут выполнять простейших действий типа "подними руку".

[MoonWatcher]

Anton_Peplov
Не вполне понимаю при чем здесь этические теории. Этика - это спонтанно и, грубого говоря, на уровне коллективного интеллекта сложившийся механизм саморегуляции социума. Я допускаю этику не только у обезьян, но даже у волков - разве что это очень примитивная, зачаточная этика. Какие при этом ощущения неважно - они возникают в результате обучения, воспитания. Встретив в лесу, кроманьонец вас убьет, ограбит и изнасилует вашу женщину без малейшего сожаления - а современного цивилизованного человека, если он на это решится, будет заедать совесть. Да что там кроманьонцы - вспомните Раскольникова. Порфирий Петрович ему правильно говорил - дескать, как образованный человек с тонкой душевной организацией вы будете рефлексировать и мучаться, а какой-нибудь мужик зарубит, ограбит, пропьет в кабаке и на следующий день забудет. И не потому что социопат - просто у него другое воспитание. У кроманьонца так точно другое - рядом с ним закаленный в войнах наемник-головорез без совести и чести покажется нежной институткой. Если с детства учить детей, что нехорошо обижать маленьких и брать чужое, то эта привычка станет частью их натуры (привычка - вторая натура). А если воспитывать их как спартанцев, то резать илотов в порядке урока физкультуры им будет раз плюнуть. Причем подобная трансформация может легко происходить в течение жизни: сначала ты рос нежным домашним мальчиком, потом загремел в колонию для несовершеннолетних, потом стал рецидивистом, потом завербовался на войну... Этика в течение этих перипетий скорее всего поменялась кардинально - со всеми вытекающими последствиями для ощущений. Когда в детстве стыдно, что отнял у другого мальчика игрушку, а в зрелости обидно, что изнасиловав и убив ребенка, не сумел замести следы и попался...

Все это конечно интересно, но в принципе не имеет отношения к ИИ. Автопилот осваивает ПДД независимо от того предрасположено к этому его железо или нет - точно так же ИИ будет обучаться этике.

-- 02.06.2023, 18:34 --

epros в сообщении #1596150 писал(а):

А я так вижу, что человек как раз очень предсказуем. Где-то даже предсказуемее калькулятора. Правда это сопровождается весьма раздутыми претензиями на собственную непредсказуемость, от которых калькулятор, к его чести, избавлен.

Предать или нет, пожертвовать собой или нет, согласиться на брак по расчету с нелюбимым человеком или нет, пойти на работу или сказаться больным, поднести сумку старушке или нет - в жизни возникают тысячи ситуаций, когда предвидеть решение отдельно взятого человека невозможно.