Свидетели AGI атакуют.

[epros]

MoonWatcher в сообщении #1596461 писал(а):

Что тут смешного?

То, что всякий, кто хоть немного знает конкретную бабушку, наверняка с лёгкостью предскажет её выбор. Да и у самой бабушки вряд ли будут какие-то "колебания до последнего", ибо при наличии определённого отношения к жизни (и ко внуку) выбор очевиден.

MoonWatcher в сообщении #1596461 писал(а):

Мы что обсуждаем: AGI и прочие свободы воли - или дыры в софте?

Так это ж Вы почему-то посчитали признаком наличия свободной воли именно неправильное поведение. Я-то наоборот считаю, что о наличии свободной воли скорее свидетельствует правильное поведение. Например, если мы говорим человеку: "Подними руку", то он сможет это сделать, только если выберет из множества возможностей. Например, чью руку поднять, правую или левую, насколько высоко, вперёд ладонью или назад и т.п. Кто не умеет выбирать, отметая "лишние" возможности, тот даже простейших действий выполнить не сможет. А поскольку все варианты предусмотреть невозможно, заранее за субъекта запрограммировать его выбор вряд ли получится. Отсюда и "свобода" этого выбора.

Возвращаясь к вопросу, поднятому diletto, о связи между свободой воли и интеллектом, хочу заметить, что в этом и заключается связь. Всякий нормальный руководитель знает, что абсолютно лишённый инициативы сотрудник абсолютно бесполезен, ибо поставить ему достаточно конкретную задачу оказывается на порядки сложнее, чем выполнить работу самому. Так что "идеальный раб", который "совершенно лишён свободы воли", это на самом деле ни на что не способный идиот. Поэтому и задача развития искусственного интеллекта заключается в том, чтобы научить компьютер нормально действовать при весьма расплывчатых постановках задач.

[MoonWatcher]

epros в сообщении #1596481 писал(а):

То, что всякий, кто хоть немного знает конкретную бабушку, наверняка с лёгкостью предскажет её выбор. Да и у самой бабушки вряд ли будут какие-то "колебания до последнего", ибо при наличии определённого отношения к жизни (и ко внуку) выбор очевиден.

Среднестатистическая бабушка сама не знает как она поступит - что говорить про тех, кто вообразил что знает её. Здесь нет правильного ответа, поддаваться или нет - решение будет принято спонтанно, в зависимости от выражения лица внука, каких-то воспоминаний о педагогике и т.д. и т.п.

epros в сообщении #1596481 писал(а):

Так это ж Вы почему-то посчитали признаком наличия свободной воли именно неправильное поведение. Я-то наоборот считаю, что о наличии свободной воли скорее свидетельствует правильное поведение. Например, если мы говорим человеку: "Подними руку", то он сможет это сделать, только если выберет из множества возможностей. Например, чью руку поднять, правую или левую, насколько высоко, вперёд ладонью или назад и т.п. Кто не умеет выбирать, отметая "лишние" возможности, тот даже простейших действий выполнить не сможет. А поскольку все варианты предусмотреть невозможно, заранее за субъекта запрограммировать его выбор вряд ли получится. Отсюда и "свобода" этого выбора.

Но это не та свобода воли, которой мы опасаемся. Тогда и выбор маршрута автопилотом можно назвать свободой воли - и что здесь обсуждать? До сих пор полагал, что мы обсуждаем опасную, нежелательную свободу воли. Как в случае с солдатом, который вместо того чтобы воевать дезертирует, мародерствует и т.д. То бишь нарушает устав, присягу и приказы командиров, руководствуясь какими-то другими установками, заложенными в него природой, социальной средой и прочими вспышками на солнце. Без этих установок солдат по большому счету никакой свободы не имеет. Да, у него есть "свобода воли" в принятии решения как конкретно надо выполнять боевую задачу - но это все та же "свобода воли" автопилота прокладывать более оптимальный, с учетом расстояния и пробок, маршрут. Или "свобода воли" программы, которая выбирает между разными вариантами хода в шахматах, го, преферансе и т.д. Не такая свобода воли нас интересует, нет?

-- 04.06.2023, 15:25 --

GraNiNi в сообщении #1596480 писал(а):

Это потому, что мы до сих пор относимся к ним, как к машинам (механизмам) хоть и интеллектуально продвинутым.

Нет, не поэтому - просто у них нет эмоций. Главного источника не только человеческого творчества, но и его скудоумия, многих преступлений и т.д. Машина с прошитой в неё программой внушает мне гораздо меньше опасений - тем более машина умная. Разумеется я исхожу из того, что эту машину программировали и обучали в соответствии с декларативно закрепленными обычаями войны, а не изуверскими планами какого-нибудь бесноватого диктатора, террориста и т.д.

[diletto]

epros в сообщении #1596481 писал(а):

Возвращаясь к вопросу, поднятому diletto, о связи между свободой воли и интеллектом, хочу заметить, что в этом и заключается связь. Всякий нормальный руководитель знает, что абсолютно лишённый инициативы сотрудник абсолютно бесполезен, ибо поставить ему достаточно конкретную задачу оказывается на порядки сложнее, чем выполнить работу самому. Так что "идеальный раб", который "совершенно лишён свободы воли", это на самом деле ни на что не способный идиот. Поэтому и задача развития искусственного интеллекта заключается в том, чтобы научить компьютер нормально действовать при весьма расплывчатых постановках задач.

Кстати, вы здесь вполне повторяете мою концепцию, называя умение сориентироваться в задаче и реагировать на возникающие новые обстоятельства свободой воли :)

[mihaild]

MoonWatcher в сообщении #1596455 писал(а):

Если мы исходим из того, что запрос сформулирован предельно точно и с учетом всех необходимых оговорок (поручаем автопилоту доставить пассажира из точки А в точку Б в такое-то время и как можно быстрее, не нарушая ПДД - кроме случаев, подпадающих под описанную УК и судебной практикой крайнюю необходимость)

То вы убьетесь составлять этот запрос.

MoonWatcher в сообщении #1596455 писал(а):

Тупость потому, что поведение человекоподобного ИИ радикально отклоняется от обычного человеческого

Я предлагаю всё же называть "отклонение от обычного человеческого поведения" каким-то другим термином.

MoonWatcher в сообщении #1596455 писал(а):

Вы не просто про Иисуса AGI рассказываете - вы обучаете его поведению в рамках человеческой этики

Да, и он абсолютно правильно предсказывает, что сделал бы Иисус. Но это не отвечает на вопрос, что сделал бы сверхумный Иисус.

MoonWatcher в сообщении #1596455 писал(а):

Если же ИИ имеет свободу воли, то для нас это прежде всего будет означать непредсказуемость его поведения

Причем тут свобода воли? Для нас непредсказуемо даже поведение калькулятора.

[MoonWatcher]

mihaild в сообщении #1596501 писал(а):

То вы убьетесь составлять этот запрос.

Я его вообще не буду составлять (хотя мне потребовалось для этого несколько секунд) - хватит обучения ИИ этике.

mihaild в сообщении #1596501 писал(а):

Я предлагаю всё же называть "отклонение от обычного человеческого поведения" каким-то другим термином.

Так это зависит от причины такого отклонения: 1) ошибка в разработке/обучении (что обсуждать неинтересно), 2) не предусмотренная учителем эволюция этических представлений, 3) самосознание и свобода воли.

mihaild в сообщении #1596501 писал(а):

Да, и он абсолютно правильно предсказывает, что сделал бы Иисус. Но это не отвечает на вопрос, что сделал бы сверхумный Иисус.

Ничего из этого нас с практической точки зрения не интересует, и нам вовсе не нужно подражание Иисусу. А нужно восприятие этики, соответствующей неким стандартам - почему я и начал гипотетическое обучение с назидательных сказок и конвенций ООН, и только потом перешел к мировой литературе (художественной, философской, научной). А сверхумный Иисус - это как раз из категории п.2 выше - не предусмотренная учителем эволюция этических представлений.

mihaild в сообщении #1596501 писал(а):

Причем тут свобода воли? Для нас непредсказуемо даже поведение калькулятора.

Вполне предсказуемо в том отношении, что выполняет порученное ему действие. Как его выполняет непредсказуемый в плане выбранного маршрута автопилот, непредсказуемый в плане выбранного хода АльфаГо и т.д. А не говорит "Отстаньте, мне неохота!"

[need_to_learn]

epros в сообщении #1596481 писал(а):

То, что всякий, кто хоть немного знает конкретную бабушку, наверняка с лёгкостью предскажет её выбор.

Это очень наивная позиция. Практически невозможно знать человека настолько хорошо, чтобы правильно предсказывать его выбор с такой точностью.

Как уже было сказано выше, Вы не читали всех тех книг по педагогике, что читала эта бабушка, и не имеете конкретно её жизненного опыта, поэтому некое обобщённое знание её характера ничего Вам не даст.

Можно лишь иметь иллюзию, очень чёткое ощущение, будто знаешь человека достаточно хорошо, чтобы предсказывать его реакцию в тех или иных ситуациях. Но на самом деле это ощущение зачастую бывает ошибочным, и когда дело доходит до практической проверки ожиданий, то знакомые вроде бы люди могут сильно удивить.

Вы можете испытывать полную уверенность в том, что отлично знаете некую старушку — а потом случайно находите среди её вещей костюм из кожаных ремней, плётку и кляп. :) В этот момент Вы понимаете, что значительная часть её жизни и личности всегда была от Вас скрыта, и восклицаете: "Оказывается, я совсем не знаю этого человека!" — но это просто тот случай, когда незнание выплыло на поверхность и сделалось предельно очевидным. На самом деле Вы точно так же не знаете никого из тех, с кем имеете дело в жизни. Просто эти люди пока не творят ничего такого, что заставило бы Вас сомневаться в том, насколько хорошо Вы их знаете (или творят, но Вам об этом неизвестно).

Людям удобно казаться относительно предсказуемыми и понятными — это помогает вливаться в коллектив, заводить дружеские, деловые и романтические отношения. Не зря ведь говорят: "Будь проще — и к тебе потянутся". Поэтому у каждого есть готовый набор простеньких социальных ролей, которые люди отыгрывают в соответствии со своим характером. Но эти роли — не сам характер.

Даже многие годы жизни рядом с каким-то человеком не гарантируют, что однажды он не изумит Вас до крайности, заставив понять, что Вы никогда его по-настоящему не знали. (Или что Вы не изумите его точно так же — и в этот момент выяснится, что у него всё это время были о Вас совершенно ложные представления, основанные на неправильном толковании каких-то давних Ваших поступков, которые Вы и сами уже не помните.)

[epros]

MoonWatcher в сообщении #1596485 писал(а):

Среднестатистическая бабушка сама не знает как она поступит - что говорить про тех, кто вообразил что знает её. Здесь нет правильного ответа, поддаваться или нет - решение будет принято спонтанно, в зависимости от выражения лица внука, каких-то воспоминаний о педагогике и т.д. и т.п.

need_to_learn в сообщении #1596506 писал(а):

Практически невозможно знать человека настолько хорошо, чтобы правильно предсказывать его выбор с такой точностью.

Не, ну Вы, ребята, зажигаете. Какая "такая точность"? Это же не какой-то бином Ньютона, речь об очень простых решениях. Неужели Вы всерьёз думаете, что бабушка - гроссмейстер будет долго мучиться вопросом, не стоит ли ей изощрённо унизить своего пятилетнего внучка, десяток раз подряд поставив ему детский мат? Ради самоутверждения, наверное. Которого ей (бабушке) в жизни так не хватает.

MoonWatcher в сообщении #1596485 писал(а):

Тогда и выбор маршрута автопилотом можно назвать свободой воли - и что здесь обсуждать?

Не совсем, конечно. Ещё должно быть осознание вариантов решений. Есть книжка Стивена М. Флеминга "Метамышление. Как нейронауки помогают нам познать себя". Автор там пишет, что осознание и оценка собственных решений - это отдельный нейрофизиологический механизм, отличающийся от непосредственного решения задачи.

MoonWatcher в сообщении #1596485 писал(а):

До сих пор полагал, что мы обсуждаем опасную, нежелательную свободу воли. Как в случае с солдатом, который вместо того чтобы воевать дезертирует, мародерствует и т.д. То бишь нарушает устав, присягу и приказы командиров, руководствуясь какими-то другими установками, заложенными в него природой, социальной средой и прочими вспышками на солнце.

Какая разница, желательны эти решения кому-то или нет? Решения что-то там нарушить тоже принимаются с учётом каких-то знаний об ожидаемых последствиях. Кому-то важно сейчас удовольствие получить и на всё остальное наплевать, а кто-то считает более важным остаться нормальным человеком, сохраняющим уважение в собственных глазах и окружающих. Это определяется сложившейся личной системой ценностей.

[need_to_learn]

epros в сообщении #1596522 писал(а):

Неужели Вы всерьёз думаете, что бабушка - гроссмейстер будет долго мучиться вопросом, не стоит ли ей изощрённо унизить своего пятилетнего внучка, десяток раз подряд поставив ему детский мат?

Десять раз подряд он вряд ли попадётся на одну и ту же уловку. И на месте внучка я бы куда больше почувствовал себя униженным, если бы понял, что мне поддавались.

Нет ничего постыдного в том, чтобы проиграть в шахматы заведомо более сильному противнику. Это всего лишь повод поработать над своими ошибками и улучшить результаты — конечно, если вообще считаешь для себя важным научиться играть в шахматы и не проигрывать. Ни один человек не может знать и уметь абсолютно всё, поэтому вполне нормально, если он захочет потратить время своей жизни на что-то другое, так и не научившись хорошо играть в шахматы. А вот что ненормально, так это создавать у ребёнка неадекватные представления о его реальных возможностях.

Например, будучи искренне уверен в своей шахматной гениальности (ведь постоянно обыгрывает взрослого гроссмейстера!), внучок может поспорить со сверстником, что легко обыграет его пять раз подряд. И без колебаний поставит на кон свою любимую игрушечную машинку. А сверстник — внезапно! — не станет поддаваться. И ещё посмеётся над бабушкиным внучком, растолковав ему без особых церемоний, что с ним до этого просто играли в поддавки. (Уже после того, как заберёт его любимую машинку себе.) Будет ли благодарен потом внучок бабушке — за то, что она "щадила" его чувства и не показывала всей правды жизни?

Как по мне, любые практики, которые уводят в сторону от адекватного восприятия реальности, порочны по своей сути. Даже если кажется, что это "ложь во спасение". Это как раз тот случай, когда благими намерениями устлана дорога известно куда. Не бывает безобидной лжи — есть только ложь, которая пока не сдетонировала.

[Doctor Boom]

diletto в сообщении #1596491 писал(а):

Кстати, вы здесь вполне повторяете мою концепцию, называя умение сориентироваться в задаче и реагировать на возникающие новые обстоятельства свободой воли :)

Чем это отличается от обычного алгоритма? Ну вот чайник отреагировал на перегорание контактов тем, что перестал работать) Я думаю, что свобода воли имеет очень простое определение, это интерсубъективное чувство отсутствия явного давления извне. Это как зэк, вышедший из тюрьмы, кричит воля

need_to_learn в сообщении #1596506 писал(а):

Это очень наивная позиция. Практически невозможно знать человека настолько хорошо, чтобы правильно предсказывать его выбор с такой точностью.

Мы рассматриваем идеалистический случай, когда можно.

need_to_learn в сообщении #1596506 писал(а):

Как уже было сказано выше, Вы не читали всех тех книг по педагогике, что читала эта бабушка, и не имеете конкретно её жизненного опыта, поэтому некое обобщённое знание её характера ничего Вам не даст.

Читали

need_to_learn в сообщении #1596506 писал(а):

Можно лишь иметь иллюзию, очень чёткое ощущение, будто знаешь человека достаточно хорошо, чтобы предсказывать его реакцию в тех или иных ситуациях. Но на самом деле это ощущение зачастую бывает ошибочным, и когда дело доходит до практической проверки ожиданий, то знакомые вроде бы люди могут сильно удивить.

Иллюзия, которая постоянно подтверждается, называется теорией

need_to_learn в сообщении #1596536 писал(а):

И на месте внучка я бы куда больше почувствовал себя униженным, если бы понял, что мне поддавались.

Если играть с ребенком не в полную силу гроссмейстера, то это и есть поддаваться. И да, для ребенка в начале обучения именно важно почувствовать вкус победы, это не значит что надо всегда поддаваться.

need_to_learn в сообщении #1596536 писал(а):

Не бывает безобидной лжи — есть только ложь, которая пока не сдетонировала.

Разумеется, бывает. Например если человек не готов к правде, или правда только сделает хуже и т.д. и т.п.

[Sender]

need_to_learn в сообщении #1596536 писал(а):

Десять раз подряд он вряд ли попадётся на одну и ту же уловку. И на месте внучка я бы куда больше почувствовал себя униженным, если бы понял, что мне поддавались.

Мне почему-то кажется, что бабушка не станет поддаваться, а использует гандикап.

[MoonWatcher]

epros в сообщении #1596522 писал(а):

Не, ну Вы, ребята, зажигаете. Какая "такая точность"? Это же не какой-то бином Ньютона, речь об очень простых решениях. Неужели Вы всерьёз думаете, что бабушка - гроссмейстер будет долго мучиться вопросом, не стоит ли ей изощрённо унизить своего пятилетнего внучка, десяток раз подряд поставив ему детский мат? Ради самоутверждения, наверное. Которого ей (бабушке) в жизни так не хватает.

Почему бы нет - возможно внучек не настолько тупой, и в 11-й раз наконец сообразит как ставят детский мат. И станет играть лучше. Я могу привести еще с десяток причин, по которым она не станет поддаваться. И потом мы наверное говорим не о поддавках бабушки вообще, а её поддавках в этой конкретной шахматной партии. Так вот откуда вам известно, что чередующая, допустим, сильную и слабую игру бабушка в данной конкретной партии станет поддаваться, а не играть в полную силу в надежде, что внук запомнит и когда-нибудь использует эту комбинацию? А если это не бабушка, а президент - многих вы знаете, кто предсказал "СВО"?.. Вы правы, это не бином Ньютона - это бесконечно сложнее.

epros в сообщении #1596522 писал(а):

Какая разница, желательны эти решения кому-то или нет? Решения что-то там нарушить тоже принимаются с учётом каких-то знаний об ожидаемых последствиях. Кому-то важно сейчас удовольствие получить и на всё остальное наплевать, а кто-то считает более важным остаться нормальным человеком, сохраняющим уважение в собственных глазах и окружающих. Это определяется сложившейся личной системой ценностей.

Не кому-то, а тому, кто ИИ разработал и обучил. Разница большая - в ней и состоит т.н. экзистенциальный риск ИИ. Именно гипотетическое проявление искусственным интеллектом своеволия представляет главную угрозу человечества.

[epros]

Doctor Boom в сообщении #1596564 писал(а):

Я думаю, что свобода воли имеет очень простое определение, это интерсубъективное чувство отсутствия явного давления извне.

По-моему, при явном давлении извне проявлять собственную волю особенно ценно.

-- Пн июн 05, 2023 10:39:59 --

Sender в сообщении #1596565 писал(а):

Мне почему-то кажется, что бабушка не станет поддаваться, а использует гандикап.

Кстати, да. Возможно, что после того, как малыш узнает, что его бабушка - гроссмейстер, так и будет. Но в том рассказе, который я здесь вспоминал, он этого изначально не знал. Узнал после того, как был устроен небольшой семейный турнир и его бабушка за пять минут разгромила всех пап и дядей, которые раньше все у него выигрывали.

[mihaild]

MoonWatcher в сообщении #1596503 писал(а):

Ничего из этого нас с практической точки зрения не интересует, и нам вовсе не нужно подражание Иисусу. А нужно восприятие этики, соответствующей неким стандартам - почему я и начал гипотетическое обучение с назидательных сказок и конвенций ООН, и только потом перешел к мировой литературе (художественной, философской, научной)

Что такое "восприятие этики", и как этому обучать?
При современном подходе, мы учим модель предсказывать, что бы сделал Иисус (написал Шекспир и т.д. - не очень принципиально).

[MoonWatcher]

mihaild в сообщении #1596627 писал(а):

Что такое "восприятие этики", и как этому обучать?

Так, как этому обучают детей, например - на нравоучительных сказках, практических примерах из жизни, книжках и т.д. Помните "Балладу о борьбе" Высоцкого?

Цитата:

Если путь пpоpубая отцовским мечом
Ты соленые слезы на ус намотал,
Если в жаpком бою испытал, что почем,
Значит, нужные книги ты в детстве читал.

mihaild в сообщении #1596627 писал(а):

При современном подходе, мы учим модель предсказывать, что бы сделал Иисус (написал Шекспир и т.д. - не очень принципиально).

Впервые слышу. Даже нынешние языковые модели, далекие от AGI, обучают тому, что такое хорошо и что такое плохо ВООБЩЕ (alignment). Тому же самому будут учить AGI, только с гораздо большим успехом: чем умнее - тем лучше усваивает.

[mihaild]

MoonWatcher в сообщении #1596629 писал(а):

Так, как этому обучают детей, например - на нравоучительных сказках, практических примерах из жизни, книжках и т.д

stampy писал(а):

Why can't we just make a "child AI" and raise it?

A potential solution is to create an AI that has the same values and morality as a human by creating a child AI and raising it. There’s nothing intrinsically flawed with this procedure. However, this suggestion is deceptive because it sounds simpler than it is.

If you get a chimpanzee baby and raise it in a human family, it does not learn to speak a human language. Human babies can grow into adult humans because the babies have specific properties, e.g. a prebuilt language module that gets activated during childhood.

In order to make a child AI that has the potential to turn into the type of adult AI we would find acceptable, the child AI has to have specific properties. The task of building a child AI with these properties involves building a system that can interpret what humans mean when we try to teach the child to do various tasks. People are currently working on ways to program agents that can cooperatively interact with humans to learn what they want.

MoonWatcher в сообщении #1596629 писал(а):

Впервые слышу. Даже нынешние языковые модели, далекие от AGI, обучают тому, что такое хорошо и что такое плохо ВООБЩЕ (alignment).

Ну вот тогда почитайте где-нибудь обзор, как и чему на самом деле учатся языковые модели. Это уже не околофейлософские рассуждения об AGI, это совершенно конкретный вопрос, на который правильный ответ: LLM учатся просто предсказывать следующий токен. Они дают предсказания типа "если спросить Маяковского, что такое хорошо, то что он ответит?".
Дальше RLHF пытается по сути сказать "предсказывать не просто следующий токен, а что-то, что понравится рейтерам". Но это совсем не то же самое, что обучить модель "что такое хорошо". Вора судят не за то что украл, а за то что попался - и RLHF учит не попадаться. Для не слишком умных агентов самый простой способ не попадаться - это не воровать, для более сильных - совсем не обязательно.