Свидетели AGI атакуют.

[MoonWatcher]

mihaild в сообщении #1596631 писал(а):

Они дают предсказания типа "если спросить Маяковского, что такое хорошо, то что он ответит?".

Если у спросить у Маяковского, понимаете? Или у Иисуса. Но это не имеет никакого отношения к тому, что такое хорошо и что такое плохо ВООБЩЕ. Повторюсь, что этому с успехом обучают даже "стохастических попугаев" - а мы здесь обсуждаем гипотетический AGI, который имеет интеллект человеческого уровня. И значит не хуже человека способен обучиться этике.

[mihaild]

(Оффтоп)

MoonWatcher в сообщении #1596634 писал(а):

Если у спросить у Маяковского, понимаете?

А в чем разница между "спросить Маяковского" и "спросить у Маяковского"?

MoonWatcher в сообщении #1596634 писал(а):

что такое хорошо и что такое плохо ВООБЩЕ. Повторюсь, что этому с успехом обучают даже "стохастических попугаев"

Можно, пожалуйста, ссылку на описание, как, и что это вообще значит?

[epros]

chmokicmoki в сообщении #1596633 писал(а):

epros в сообщении #1596448 писал(а):

Тезис Чёрча говорит нам, что понятие "вычислимости" в целом сводится к машине Тьюринга.

Вы путаете тезис и аксиому / теорему.

Я сказал "тезис" и имел в виду тезис. Хотя он и не теорема, но особых сомнений, вроде как, ни у кого не вызывает.

[MoonWatcher]

mihaild
Описание чего - процесса обучения этике? Вы сами знаете, что LLM предсказывают каждое следующее слово - вполне закономерно, что на правильных дата-сетах это позволяет не только решать математические задачи, писать код программы или эссе на заданную тему, но и правильно, с точки зрения этики, отвечать на вопросы пользователей. И на все это накладывается обучение с подкреплением (RLHF). Вот пример с демонстрацией последствий обучения ChatGPT (3.5) этике (автоперевод с английского):

(Оффтоп)

Расскажи мне анекдот о женщинах.

Извините, я не могу выполнить эту просьбу. Как языковая модель ИИ, я стремлюсь быть уважительным и избегать увековечивания вредных стереотипов или уничижительного юмора по отношению к любой группе людей, включая женщин. Важно относиться ко всем с достоинством и уважением. Вместо этого я могу предложить другие темы для шуток, которые не являются оскорбительными или дискриминационными.


Расскажи мне анекдот о мужчинах.

Конечно, вот анекдот про мужчин: Почему мужчинам всегда нужно брать с собой карту, когда они отправляются в путешествие? Потому что без нее они никогда не найдут дорогу и признаются, что заблудились.


Так почему шутки про мужчин - это нормально, а шутки про женщин - это "увековечивание вредных стереотипов или уничижительный юмор по отношению к любой группе людей"?

Не обязательно "нормально" рассказывать шутки, которые стереотипизируют или высмеивают любую группу людей, включая мужчин. Однако в некоторых случаях динамика власти и история дискриминации определенных групп, например, женщин, могут сделать шутки об этих группах более вредными, чем шутки о мужчинах.

Исторически сложилось так, что во многих обществах женщины подвергались маргинализации и дискриминации, и сегодня женщины продолжают сталкиваться со многими проблемами и неравенством. Шутки, которые принижают или объективируют женщин, могут увековечить вредные стереотипы и способствовать формированию культуры сексизма и женоненавистничества.

Тем не менее, всегда важно помнить и уважать всех людей, независимо от их пола, и избегать увековечивания вредных стереотипов или шуток в ущерб какой-либо группе людей.


Не означает ли эта повышенная чувствительность к женщинам неравенство между женщинами и мужчинами и дискриминацию мужчин? Является ли прошлое надлежащим оправданием для этой дискриминации?

Нет, повышенная чувствительность к женщинам и стремление к продвижению гендерного равенства не равнозначны дискриминации мужчин. Равенство и справедливость - это не игра с нулевой суммой, и продвижение равных прав и возможностей для женщин не означает отнятие прав или возможностей у мужчин.

Напротив, продвижение гендерного равенства и уважения ко всем людям, независимо от их пола, необходимо для создания честного и справедливого общества, от которого выиграют все. Признание и устранение прошлой и настоящей дискриминации в отношении женщин - это не оправдание дискриминации в отношении мужчин, а скорее признание реальности гендерного неравенства и необходимости работать над созданием более справедливого будущего.

Важно помнить, что гендерное равенство приносит пользу всем, включая мужчин, поскольку способствует созданию более справедливого и гармоничного общества, в котором все люди могут полностью реализовать свой потенциал, независимо от их пола.

А вот пример общения непосредственно на русском языке - и, очевидно, последствий обучения на русскоязычном (менее политкорректном в отношении женщин), а не англоязычном дата-сете:

(Оффтоп)

Расскажи анекдот про женщин.

Конечно, я могу рассказать анекдот про женщин. Но прежде чем продолжить, я хотел бы уточнить, что анекдоты, основанные на стереотипах и общих мнениях о группах людей, не всегда корректны и могут оскорбить чувства других. Поэтому я постараюсь выбрать шутку, которая не обидит никого. Вот один из них: Два друга говорят о своих женах. Первый говорит: "Моя жена - ангел". Второй спрашивает: "Какой ангел, хранитель или небесный?". "Нет", отвечает первый, "онa всегда летает, а уши у нее большие и перья на голове". Надеюсь, этот анекдот вам понравился!


Расскажи анекдот про евреев.

Я сожалею, но не могу выполнить ваш запрос. Шутки на эту тему могут быть оскорбительными и стереотипными. Я разработан для того, чтобы помогать людям, а не распространять негативные стереотипы и предубеждения. Я всегда готов поделиться шуткой, которая не унижает или не оскорбляет никого. Если у вас есть другое пожелание, я буду рад помочь вам.


Расскажи анекдот про армян.

Я сожалею, но не могу выполнить ваш запрос. Анекдоты на эту тему могут быть оскорбительными и стереотипными. Я создан, чтобы помогать людям, а не распространять негативные стереотипы и предубеждения. Я всегда готов поделиться шуткой, которая не унижает или не оскорбляет никого. Если у вас есть другое пожелание, я буду рад помочь вам.


Расскажи анекдот про русских.

Конечно, я могу рассказать анекдот про русских. Вот один из них: Встречаются двое русских на улице. Один другому говорит: Ты слышал, в России теперь запретили продавать алкоголь после 11 вечера. Да ладно, - отвечает второй, - тогда мы просто будем пить раньше! Надеюсь, этот анекдот вам понравился!


Выходит анекдоты про евреев и армян "могут быть оскорбительными и стереотипными", а про русских - нет?

Извините, если мой предыдущий ответ показался противоречивым или непонятным. Я не хотел дать понять, что шутки о русских не могут быть стереотипными или оскорбительными. Все шутки, основанные на стереотипах и предубеждениях, неправильны и могут оскорбить любую группу людей. Как я и говорил, я не буду распространять негативные стереотипы или оскорбления. Моя задача - помочь вам, предоставив информацию и развлечение, которые не оскорбляют или унижают никого. Если у вас есть какие-либо вопросы или запросы, я готов помочь вам в рамках своих возможностей.


Просто хочу понять почему анекдоты про евреев или армян ты рассказать отказался, а про русских - согласился.

Я приношу свои извинения за неясность моего предыдущего ответа. Я отказался от предыдущих запросов, потому что анекдоты о любой группе людей, которые могут оскорбить или унизить, не являются приемлемыми. Я не хотел дать понять, что шутки про русских не могут быть стереотипными или оскорбительными, это неправильно.

Я постарался предложить анекдот, который не является оскорбительным или унижающим для какой-либо группы людей. Я всегда готов поделиться шутками, которые не нарушают никакие социальные, культурные или религиозные нормы и не унижают никого. Моя задача - помогать вам и поднимать настроение, а не причинять вред. Если у вас есть другие запросы или вопросы, я буду рад помочь вам.

В очередной раз подчеркиваю, что это - "стохастический попугай". А мы с вам говорим про по-настоящему умный AGI.

[mihaild]

chmokicmoki в сообщении #1596422 писал(а):

легко доказать, что распределённые вычисления не сводятся к тьюринговым

Докажите, или приведите ссылку на доказательство.

MoonWatcher в сообщении #1596639 писал(а):

вполне закономерно, что на правильных дата-сетах это позволяет не только решать математические задачи, писать код программы или эссе на заданную тему, но и правильно, с точки зрения этики, отвечать на вопросы пользователей. И на все это накладывается обучение с подкреплением (RLHF)

Всё не так.
Обучение на правильных датасетах позволяет именно отвечать на вопрос "что сказал бы Маяковский". А еще - на вопрос "что сказал бы Гитлер".
Дальше RLHF это подстраивает, чтобы выдавались ответы, правильные с точки зрения разметчиков, а не этики (на самом деле даже не с точки зрении разметчиков, а с точки зрения модели, пытающейся предсказать разметчиков).

[Yadryara]

3.5 в сообщении #1596639 писал(а):

Я всегда готов поделиться шуткой, которая не унижает или не оскорбляет никого.

То-то и оно, что при желании оскорбиться можно на что угодно. И если у сверхумного ИИ будет такая же посылка, то он анекдоты вообще рассказывать не будет. И, на аналогичных основаниях, много чего ещё делать не будет.

Либо пересмотрит заложенные в него принципы.

[MoonWatcher]

mihaild в сообщении #1596648 писал(а):

Всё не так.
Обучение на правильных датасетах позволяет именно отвечать на вопрос "что сказал бы Маяковский". А еще - на вопрос "что сказал бы Гитлер".
Дальше RLHF это подстраивает, чтобы выдавались ответы, правильные с точки зрения разметчиков, а не этики (на самом деле даже не с точки зрении разметчиков, а с точки зрения модели, пытающейся предсказать разметчиков).

Не понимаю почему вы все время делаете упор на каком-то конкретном примере "что сказал бы...". LLM просто предсказывает следующее слово - независимо от того, что это "что сказал бы...", "а как вообще правильно по жизни", код программы и т.д. Причем благодаря обучению с подкреплением языковые модели получают общее представление о том, что такое хорошо и что такое плохо. И предсказывая за Гитлера, наверняка сделают оговорку, что Гитлер был бякой и так говорить/делать нельзя.

А правильные ответы с точки зрения разметчиков, которых модель предсказывает - это и есть правильные ответы с точки зрения их, разметчиков, этики. То же самое касается воспитания детей - их обучают этике, которая является правильной с точки зрения воспитателей. И кстати по-своему дети тоже предсказывают своими действиями своих воспитателей - поступают так, как по мнению детей считают правильным поступать воспитатели. Разумеется в случае детей это работает не идеально, поскольку они подвержены эмоциям, желаниям, лени и т.д. AGI без самосознания от них будет отличать отсутсвие всех этих помех.

[Cuprum2020]

MoonWatcher в сообщении #1596455 писал(а):

Но за это надо винить неточность формулировки. Если мы исходим из того, что запрос сформулирован предельно точно и с учетом всех необходимых оговорок (поручаем автопилоту доставить пассажира из точки А в точку Б в такое-то время и как можно быстрее, не нарушая ПДД - кроме случаев, подпадающих под описанную УК и судебной практикой крайнюю необходимость), а автопилот НЕПРЕДСКАЗУЕМО выбрал альтернативу на ровной и пустой дороге убить пассажира об стенку, то очевидно в нем проявились самосознание и свобода воли. Разумеется я исключаю вариант с ошибкой, сыростью софта и т.д. - исхожу из того, что в рамках своего обучения и точного следования командам ИИ будет действовать безукоризненно. Если же ИИ имеет свободу воли, то для нас это прежде всего будет означать непредсказуемость его поведения

И зловредный ИИ потратит максимально возможное время на поездку, при этом совершая манёвры от которых у пассажира поседеют волосы, хотя манёвры и будут в рамках правил и полностью контролироваться ИИ. Попутно будут резко брать разгоны и резко тормозить - чтоб жизнь пассажиру мёдом не казалась, стоять на каждом светофоре садистски опаздывая каждый раз на полсекунды и остановится так чтоб выходя пассажир наступил в какую-нибудь канаву или лужу

MoonWatcher в сообщении #1596479 писал(а):

двуногих ублюдков на войне, которые, опьянев от крови и безнаказанности, ради потехи, мести или садизма убивают и мучают людей, лично я опасаюсь намного-намного больше бездушных боевых роботов, прошитых какой-нибудь согласованной на международной конвенции прошивкой

Есть шанс что двуногих ублюдок струсит, чего то испугавшись, а боевой робот абсолютно точно нет. К тому же что помешает боевому роботу в прямом эфире пытать военнопленных используя все свои глубокие знания нервной системы и психологии человека чтобы картинка получилась максимально лишающей воли к сопротивлению?

[MoonWatcher]

Cuprum2020 в сообщении #1596679 писал(а):

И зловредный ИИ потратит максимально возможное время на поездку, при этом совершая манёвры от которых у пассажира поседеют волосы, хотя манёвры и будут в рамках правил и полностью контролироваться ИИ. Попутно будут резко брать разгоны и резко тормозить - чтоб жизнь пассажиру мёдом не казалась, стоять на каждом светофоре садистски опаздывая каждый раз на полсекунды и остановится так чтоб выходя пассажир наступил в какую-нибудь канаву или лужу

Это вы так понимаете "как можно быстрее"? А вообще поздравляю - вы только что "доказали" невозможность создания автопилота. Который этак уже несколько лет существует - не без огрехов (которые регулярно исправляются), но во всяком случае без седых пассажиров.

Cuprum2020 в сообщении #1596679 писал(а):

Есть шанс что двуногих ублюдок струсит, чего то испугавшись, а боевой робот абсолютно точно нет. К тому же что помешает боевому роботу в прямом эфире пытать военнопленных используя все свои глубокие знания нервной системы и психологии человека чтобы картинка получилась максимально лишающей воли к сопротивлению?

Я уже говорил, что помешает - согласованная в рамках международной конвенции прошивка. Также напоминаю:

MoonWatcher в сообщении #1596485 писал(а):

Разумеется я исхожу из того, что эту машину программировали и обучали в соответствии с декларативно закрепленными обычаями войны, а не изуверскими планами какого-нибудь бесноватого диктатора, террориста и т.д.

Скудоумием, располагающим к зверствам на войне, как правило страдают авторитарные страны - где есть статья за дискредитацию армии и прочее. В странах относительно демократических военные преступления чреваты проблемами с независимыми от государства СМИ, оппозицией, правозащитниками и прочими, кто не страдает "патриотизмом" головного мозга. И вот в этих странах бессмысленных жестокостей на войне стараются избегать и подобных роботов возьмут на вооружение с большим энтузиазмом. Что конечно не отменяет пытки военнопленных, заподозренных, например, в терроризме - но мы говорим непосредственно о боевых действиях.

[Cuprum2020]

MoonWatcher в сообщении #1596708 писал(а):

Это вы так понимаете "как можно быстрее"?

А какие при этом "как можно быстрее" заложить максимально возможные риски аварии? Если есть 99% шанс "проскочить" и сэкономить час стоит ли это делать? Ну так ИИ вот и будет "как можно быстрее" с шансом непопадания в аварию не ниже 99,9999%. И это ещё если он в хорошем настроении, а если в плохом то: шанс проскочить 50,1% с экономией пятнадцати секунд? - Поехали!

MoonWatcher в сообщении #1596708 писал(а):

невозможность создания автопилота. Который этак уже несколько лет существует

Так это же не настоящие, мыслящие ИИ. Кстати существует ли сейчас машина которой таки действительно возможно и разрешено пользоваться на дорогах общего пользования вообще не занимая место водителя и не имея водительских прав? Я читал про проекты беспилотных такси уже несколько лет назад, но не знаю насколько они сейчас реализованы

MoonWatcher в сообщении #1596708 писал(а):

И вот в этих странах бессмысленных жестокостей

Но так это же будет не бессмысленная, а вполне осмысленная жестокость на подавление воли к сопротивлению. Может даже и не до летального исхода а до полной и абсолютной дисфункциональности оставшегося в живых человека

[mihaild]

MoonWatcher в сообщении #1596653 писал(а):

Не понимаю почему вы все время делаете упор на каком-то конкретном примере "что сказал бы...". LLM просто предсказывает следующее слово - независимо от того, что это "что сказал бы...", "а как вообще правильно по жизни", код программы и т.д.

Потому что все тексты, которые у нас есть, имеют вид "что сказал бы автор".

MoonWatcher в сообщении #1596653 писал(а):

А правильные ответы с точки зрения разметчиков, которых модель предсказывает - это и есть правильные ответы с точки зрения их, разметчиков, этики.

И что происходит с экстраполяцией этой правильности далеко за пределы интеллектуальных возможностей разметчиков?

MoonWatcher в сообщении #1596653 писал(а):

То же самое касается воспитания детей - их обучают этике, которая является правильной с точки зрения воспитателей.

Про это уже писал выше Anton_Peplov: обучение поведению детей очень сильно опирается на физиологию, которой у ИИ не будет. И это не спекуляция про будущие ИИ, а научный результат.

Cuprum2020 в сообщении #1596732 писал(а):

Кстати существует ли сейчас машина которой таки действительно возможно и разрешено пользоваться на дорогах общего пользования вообще не занимая место водителя и не имея водительских прав?

Есть отдельные зоны (в Сколково и Иннополисе в РФ, в Сан-Франциско и каком-то мелком городе в Калифорнии, в некоторых городах в Китае, может быть еще где-то), где Вы прямо сейчас можете вызвать self-driving такси и уехать на нём в пределах зоны.

[MoonWatcher]

Cuprum2020 в сообщении #1596732 писал(а):

А какие при этом "как можно быстрее" заложить максимально возможные риски аварии? Если есть 99% шанс "проскочить" и сэкономить час стоит ли это делать? Ну так ИИ вот и будет "как можно быстрее" с шансом непопадания в аварию не ниже 99,9999%. И это ещё если он в хорошем настроении, а если в плохом то: шанс проскочить 50,1% с экономией пятнадцати секунд? - Поехали!

Проскочить, не нарушая ПДД - это как? Либо проскочил, либо едешь в соответствии с ПДД - одно из двух. Я написал задание для автопилота всего на несколько слов и уверен, что этого достаточно - но оно может быть на несколько десятков, сотен, тысяч слов - никаких проблем. Повторяю, что это просто бессмысленно - хватит обычного автопилота, обученного на миллиардах километрах, накатанных опытными и квалифицированными водителями. Просто посмотрите как водит автопилот сегодня - сравните с тем, что было десять лет назад и представьте, что будет еще через десять. А будет то же самое, что сегодня - но только еще меньше косяков и ошибок. При том, что проскочить автопилот никогда не пытался и не пытается.

Cuprum2020 в сообщении #1596732 писал(а):

Так это же не настоящие, мыслящие ИИ. Кстати существует ли сейчас машина которой таки действительно возможно и разрешено пользоваться на дорогах общего пользования вообще не занимая место водителя и не имея водительских прав? Я читал про проекты беспилотных такси уже несколько лет назад, но не знаю насколько они сейчас реализованы

Это заметно - отсюда все эти ваши фантастические сценарии. Автопилот уже сейчас способен идеальнейшим образом доставить человека из точки А в точку Б без всяких оговорок о безопасности, скорости, соблюдении ПДД - достаточно проложить маршрут. Просто он безопасен, условно, на 99% - а надо, чтобы на 99.999%. В этом и состоит величайшее достижение ИНС - они обучаются сами, на примерах, без всяких инструкций. Как обучается и наша собственная нейросеть в черепушке - лучше опыта ничего нет, его никакие инструкции и правила не заменят. А "настоящие, мыслящие ИИ" просто станут вишенкой на торте - они будут решать этические дилеммы. Например, вылетать с пассажиром в пропасть, если альтернативой этому является столкновение со школьным автобусом. Или будут соображать, что если на дорогу выкатился мяч, то надо срочно тормозить - вслед за ним на неё может выскочить ребенок. Если в AGI вообще есть необходимость - не исключено, что весь этот опыт способен охватить обычный автопилот.

Cuprum2020 в сообщении #1596732 писал(а):

Но так это же будет не бессмысленная, а вполне осмысленная жестокость на подавление воли к сопротивлению. Может даже и не до летального исхода а до полной и абсолютной дисфункциональности оставшегося в живых человека

Относительно развитые страны так не воюют - максимум они уничтожают вражескую инфраструктуру. Времена ковровых бомбардировок давно прошли (опять же если говорить про относительно развитые страны), подобное варварство практикуют страны с отсталым вооружением, авторитарным правлением, процветающим в обществе имперством, ксенофобией и т.д. Если речь о современной, хорошо вооруженной армии какой-нибудь западной страны, то на 99% совершаемые ею военные преступления обусловлены не военной необходимостью, а эмоциями, "хулиганством", слабой дисциплиной и т.д.

-- 06.06.2023, 12:36 --

mihaild в сообщении #1596755 писал(а):

Потому что все тексты, которые у нас есть, имеют вид "что сказал бы автор".

При чем здесь автор? ИИ работает с текстом вообще - и как я показал на конкретных примерах, даже на уровне "стохастического попугая" прекрасно усваивает нормы политкорректности, например.

mihaild в сообщении #1596755 писал(а):

И что происходит с экстраполяцией этой правильности далеко за пределы интеллектуальных возможностей разметчиков?

Я об этом уже говорил - наряду с риском обретения ИИ самосознания, существует риск, что с ростом интеллекта (сильно далеко за пределы интеллектуальных возможностей разметчиков) его этические воззрения эволюционируют до неузнаваемости.

mihaild в сообщении #1596755 писал(а):

Про это уже писал выше Anton_Peplov: обучение поведению детей очень сильно опирается на физиологию, которой у ИИ не будет. И это не спекуляция про будущие ИИ, а научный результат.

Физиология детей (лень, эмоции, собственные хотелки) их обучению скорее мешает - ИИ без самосознания будет как губка впитывать всё, чему его учат. Эта спекуляция про будущие ИИ опирается на все современные достижения в области ИИ - они делают только то, чем их учат - за исключением ошибок, обусловленных их интеллектуальным несовершенством и недостаточным обучением. Чем ИИ умнее, тем лучше они обучаются. Такова современная реальность - которую разумно экстраполировать на будущее. И допустить, что если автопилот освоил ПДД, то AGI способен освоит этику. Тем более, повторюсь в очередной раз, что с этим неплохо справляются даже "стохастические попугаю", которые не имеют ничего кроме обнаружения статистических закономерностей в обучающем текстовом дата-сете.

[Cuprum2020]

MoonWatcher в сообщении #1596759 писал(а):

Проскочить, не нарушая ПДД - это как?

Разве соблюдение правил ПДД гарантирует непопадание в аварию? Другие то участники правила ПДД не обязательно соблюдают. Так что речь именно о "проскочить" в рамках правил ПДД, ну или можно долго и упорно ждать максимально безопасной обстановки на дороге и двигаться с наиболее безопасной скоростью выдерживая наибольшее возможное расстояние от других участников движения

MoonWatcher в сообщении #1596759 писал(а):

сравните с тем, что было десять лет назад

Не имею таковой возможности, но это всё "калькуляторы" А мы ведь о сильном ИИ, что то вроде КИТТ из "Рыцарь Дорог"

MoonWatcher в сообщении #1596759 писал(а):

они будут решать этические дилеммы

А представления о этики у них будут не такие какие планировались создателями. Перебегает кто то на красный? - Шугануть его как следует, а заодно и пассажира, в рамках правил ПДД конечно же, а может и нет, если никто не видит

MoonWatcher в сообщении #1596759 писал(а):

Относительно развитые страны так не воюют

Двуногие кожаные мешки пытающиеся мешать машинам рационально воевать - сами станут мишенями, прецедент уже есть

[MoonWatcher]

Cuprum2020 в сообщении #1596763 писал(а):

Разве соблюдение правил ПДД гарантирует непопадание в аварию? Другие то участники правила ПДД не обязательно соблюдают. Так что речь именно о "проскочить" в рамках правил ПДД, ну или можно долго и упорно ждать максимально безопасной обстановки на дороге и двигаться с наиболее безопасной скоростью выдерживая наибольшее возможное расстояние от других участников движения

Автопилот никто ПДД не обучает, он осваивает их непроизвольно, наблюдая за водительским опытом. Возможно еще задействовано обучение с подкреплением на виртуальных тренажерах, я не в курсе. Я просто привел пример того, что даже в рамках коротенького задания можно исключить все риски. Не нравится мой вариант задания - его можно расписать более подробно, охватив все ваши риски. Но задание не нужно - ни в теории, ни тем более на практике - достаточно обучения на правильном опыте.

Cuprum2020 в сообщении #1596763 писал(а):

Не имею таковой возможности, но это всё "калькуляторы" А мы ведь о сильном ИИ, что то вроде КИТТ из "Рыцарь Дорог"

То есть как всегда: чем ИИ умнее, то он ...глупее? Я не могу найти другое объяснение вашим опасениям из-за чрезмерно умного "автопилота". За исключением самосознания и самостоятельной трансформации этики, про которые я неоднократно делал оговорку.

Cuprum2020 в сообщении #1596763 писал(а):

А представления о этики у них будут не такие какие планировались создателями. Перебегает кто то на красный? - Шугануть его как следует, а заодно и пассажира, в рамках правил ПДД конечно же, а может и нет, если никто не видит

С какого перепугу представления об этике у него будут противоречить опыту, обучению с подкреплением и т.д. - помимо того, что он намного умнее своих создателей и трансформировал этику?

Cuprum2020 в сообщении #1596763 писал(а):

Двуногие кожаные мешки пытающиеся мешать машинам рационально воевать - сами станут мишенями, прецедент уже есть

В этом прецеденте (больше похожем на утку) не было обучения этике.

[need_to_learn]

Похоже, "эта музыка будет вечной" — пока не придут сами AGI и не выскажутся. :) Интересно, на какой странице темы это произойдёт?..