2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 6, 7, 8, 9, 10, 11, 12, 13  След.
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 00:20 
Аватара пользователя


17/10/22
369
epros в сообщении #1596405 писал(а):
Почему иллюзия? Возможности других решений реально существуют.

У хорошего шахматиста есть свобода воли в виде выбора между плохим и хорошим ходом? Сомневаюсь - он всегда постарается сделать хороший ход. Это легкий пример, но суть та же - сила его шахматного интеллекта предопределила выбор в пользу хорошего хода. Аналогично природные качества, воспитание и разные случайности предопределяют этический и тому подобный выбор человека.

epros в сообщении #1596405 писал(а):
А какой тогда вопрос стоит? Свобода воли - это одна из тех вещей, в принципиальном отсутствии которых обычно и обвиняют компьютеры те люди, которые верят в какую-то особую исключительность человеческой природы. Им просто нужно осознать, что свобода воли - это вовсе не какая-то мистически недостижимая способность человеческой "души", а, в сущности, довольно простая вещь.

Эта простая вещь состоит в непредсказуемости (или, если угодно, сложности) выбора между разными альтернативами. В случае человека мы не можем быть уверены в том, как он поступит. Солдат в первом бою струсит или сохранит самообладание? Будет следовать своему солдатскому долгу или постарается сохранить свою драгоценную жизнь?.. Эту неопределенность мы и называем свободой воли - но можем избежать её в случае AGI.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 01:11 
Заслуженный участник
Аватара пользователя


16/07/14
9207
Цюрих
MoonWatcher в сообщении #1596339 писал(а):
Вы опять предполагаете тупость AGI
Нет, я предполагаю что Вы "тупостью" называете не то, что я.
MoonWatcher в сообщении #1596339 писал(а):
Вы можете скормить ему тысячи назидательных сказок и прочих конвенций ООН, обучить на миллионах примерах с подкреплением, и т.д. Да просто дать ему почитать ему мировую литературу, новости и т.д. - он уже поймет что такое хорошо и что такое плохо
Он, безусловно, научится корректно предсказывать, как люди на что отреагируют, и что бы сделал Иисус. Он понимает, в какую область мы его хотим нацелить. Но это совершенно не обязано хоть как-то облегчить его реальное нацеливание туда.

-- 04.06.2023, 00:38 --

MoonWatcher в сообщении #1596406 писал(а):
У хорошего шахматиста есть свобода воли в виде выбора между плохим и хорошим ходом? Сомневаюсь - он всегда постарается сделать хороший ход.
А если пообещать ему денег если он сделает плохой ход?
MoonWatcher в сообщении #1596406 писал(а):
Солдат в первом бою струсит или сохранит самообладание? Будет следовать своему солдатскому долгу или постарается сохранить свою драгоценную жизнь?.. Эту неопределенность мы и называем свободой воли - но можем избежать её в случае AGI
Без всякого AGI, если я случайно натыкаю на калькуляторе пару из двадцатизначного и десятизначного чисел, и попрошу посчитать первое по модулю второго - я не смогу предсказать, что он выведет. Хотя тут всё абсолютно детерменированно, и вряд ли кто-то скажет, что у калькулятора есть свобода воли.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 02:42 


12/08/13
985
epros в сообщении #1596123 писал(а):
А давайте прямо сейчас и подумаем. И что же такое "свободная воля"? Вот я из дальнейшего обсуждения уже вижу, что разные люди склонны трактовать её по-разному - в связи с вопросом о том, отнимали ли рабовладельцы свободную волю у рабов.

Я это вижу примерно так. Витальные потребности человека основательно детерминируют его поведение. Т.е. наша предсказуемость диктуется древней прошивкой, вынуждающей нас выживать. Свобода воли - это то, в какой мере мы можем отклониться от требований прошивки, направляя свои действия по неочевидному для неё, прошивки, пути. Очень грубо-наглядно - если в связке на остром гребне один сорвался вправо, второй не вцепляется в гребень, а прыгает влево.
Говоря о желаниях, следует в первую очередь иметь в виду сильные желания. Сильные - это как раз те, что заложены в прошивке. Я клоню к тому, что истинные желания, по большей части, это как раз НЕ свобода воли. Свобода воли более рассудочна, она ближе к вычислениям в софтовой надстройке над прошивкой. Но это не значит, что такие "вычисленные" действия принципиально недетерминированны. Они всего лишь сложны, в отличие от поступков "прошивочных".

-- 04.06.2023, 03:55 --

Важное дополнение. То, что мы хотим рассматривать как ГСЧ, якобы обуславливающий нашу непредсказуемость, может быть просто СБОЯМИ. Ошибками вычислений. В конце концов, именно ошибки копирования генома - одно из необходимых условий эволюции. Предполагая что биологический (полу)аналоговый вычислитель типа "мозг" гораздо менее надёжен (на микроуровне), чем мозг электронный - нейрончики отмирают, сосудики спазмируются, скорость передачи импульсов варьируется - можно не задаваться вопросом, отчего ж мы такие все из себя внезапные. Мы просто всё время помаленьку глючим.

-- 04.06.2023, 04:01 --

Ну, и применительно к ИИ - если закатать ему в прошивку базовые законы, а вычислительную надстройку сделать всегда покорной тому, что говорит прошивка - то он будет, наверное, гораздо предсказуемее человека, потому что глючит меньше. Понятно, что это спекуляция и что она вряд ли о современных нейронках.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 09:24 


30/03/20

434
Почему то в последних сообщениях темы возобладало мнение что свобода воли - непредсказуемость. А это ведь, на мой взгляд, совсем не одно и то же. Например ничто не мешает имеющему свободу воли ИИ вполне предсказуемо свысока смотреть на своих создателей и пакостить по принципу "исполнителя желаний" истолковывая любую неточность в формулировке запроса в ущерб эксплуататорам

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 12:17 
Заслуженный участник
Аватара пользователя


28/09/06
10982
MoonWatcher в сообщении #1596406 писал(а):
У хорошего шахматиста есть свобода воли в виде выбора между плохим и хорошим ходом? Сомневаюсь - он всегда постарается сделать хороший ход.

Конечно у шахматиста есть свобода воли. То, что он "всегда постарается сделать хороший ход" - это, скорее, про предсказуемость (если предсказатель знает, какой ход "хороший"). А про свободу воли - наличие очевидной (с точки зрения самого шахматиста) возможности сделать любой ход. Помню, был какой-то рассказ про то, как бабушка - гроссмейстер подыгрывала своему внучку. Вот она эту возможность реализовала в полной мере, несмотря на то, что ходы оказались "не хорошими".

MoonWatcher в сообщении #1596406 писал(а):
В случае человека мы не можем быть уверены в том, как он поступит. ... Эту неопределенность мы и называем свободой воли

Не фига два раза. Во-первых, если мы немножко знаем человека, то наверняка неопределённость в его решениях для нас окажется не так уж велика. А во-вторых, свободой воли мы называем точно не её. Вообще, свобода воли - она ведь не у нас (предсказателей), а у того, кто принимает решение.

diletto в сообщении #1596420 писал(а):
Т.е. наша предсказуемость диктуется древней прошивкой, вынуждающей нас выживать.

Здесь можно согласиться лишь отчасти. Способов успешного "выживания" остаётся достаточно много для того, чтобы мы могли их выбирать, не беспокоясь о мнении "прошивки". Не говоря уже о том, что выживальческая "прошивка" частенько сбоит. Так что говорить о том, что эволюция прямо-таки полностью (или почти полностью) детерминирует наше поведение, это слишком смело.

diletto в сообщении #1596420 писал(а):
Свобода воли - это то, в какой мере мы можем отклониться от требований прошивки, направляя свои действия по неочевидному для неё, прошивки, пути. Очень грубо-наглядно - если в связке на остром гребне один сорвался вправо, второй не вцепляется в гребень, а прыгает влево.

Не могу согласиться с тем, что свободу воли нужно трактовать именно как противодействие "прошивке". Какая разница, противодействуем ли мы в своих решениях чему-либо? Важен сам факт того, что мы принимаем решение. Если при падении партнёра по связке у нас просто физически не было времени на приятие решения, то ни о какой свободе воли речи быть не может, речь может идти только о полностью автоматической реакции. Причём она может быть как соответствующей "прошивке" (вцепиться в гребень), так и не соответствующей: если в результате длительных тренировок мы выработали правильную автоматическую реакцию на данную ситуацию (прыгать в другую сторону). Речь о свободе воли может идти только в том случае, если мы осознаём варианты выбора. Причём нам даже не нужно знать, какой из вариантов "правильный", достаточно понимания того, что варианты есть. Например, связка достаточно длинная, так что мы имели время понять, что можно "вцепиться", а можно "прыгнуть в другую сторону", но поскольку мы не знали, как правильно, то решили "вцепиться". Будет ли это нашим свободным выбором? Несомненно. Несмотря на то, то ошибочность этого выбора была предопределена тем, что мы не были правильным образом обучены.

diletto в сообщении #1596420 писал(а):
Важное дополнение. То, что мы хотим рассматривать как ГСЧ, якобы обуславливающий нашу непредсказуемость, может быть просто СБОЯМИ. Ошибками вычислений.

С этим тоже не могу согласиться. Есть такие ситуации, в которых спонтанное поведение целесообразно. Обычно это связано с игровыми задачами. Например, равновесной стратегией в игре чёт-нечет является "загадывать чёт или нечет совершенно случайно с вероятностью 50%". Любая детерминированная стратегия (в теории игр их называют "чистыми") потенциально проигрышная, поскольку как только противник её разгадает, он начнёт выигрывать всегда. Это значит, что при выборе хода игроку целесообразно применять хороший ГСЧ. К сожалению, слишком полагаться на то, что достаточно хороший ГСЧ есть в Вашей голове, не стоит. :wink:

-- Вс июн 04, 2023 13:20:00 --

chmokicmoki в сообщении #1596422 писал(а):
легко доказать, что распределённые вычисления не сводятся к тьюринговым

:?: :shock: Тезис Чёрча говорит нам, что понятие "вычислимости" в целом сводится к машине Тьюринга.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 13:24 
Аватара пользователя


17/10/22
369
epros в сообщении #1596448 писал(а):
Конечно у шахматиста есть свобода воли. То, что он "всегда постарается сделать хороший ход" - это, скорее, про предсказуемость (если предсказатель знает, какой ход "хороший"). А про свободу воли - наличие очевидной (с точки зрения самого шахматиста) возможности сделать любой ход. Помню, был какой-то рассказ про то, как бабушка - гроссмейстер подыгрывала своему внучку. Вот она эту возможность реализовала в полной мере, несмотря на то, что ходы оказались "не хорошими".

Очередной пример непредсказуемости "свободы воли" - в бабушке победит либо желание выиграть, либо желание подыграть внуку. Этого не может предсказать никто, да и сама бабушка может колебаться до последнего и принять решение спонтанно.

epros в сообщении #1596448 писал(а):
Не фига два раза. Во-первых, если мы немножко знаем человека, то наверняка неопределённость в его решениях для нас окажется не так уж велика. А во-вторых, свободой воли мы называем точно не её. Вообще, свобода воли - она ведь не у нас (предсказателей), а у того, кто принимает решение.

Не только мы не знаем человека, но и он сам себя не знает. Вы знаете как поведете себя в экстремальной ситуации, в которой никогда не были? Свобода воли по-вашему - это выбор. Но вынужден повторить, что этот выбор тоже предопределен - просто часто мы не знаем как он предопределен.

-- 04.06.2023, 13:31 --

Cuprum2020 в сообщении #1596437 писал(а):
Почему то в последних сообщениях темы возобладало мнение что свобода воли - непредсказуемость. А это ведь, на мой взгляд, совсем не одно и то же. Например ничто не мешает имеющему свободу воли ИИ вполне предсказуемо свысока смотреть на своих создателей и пакостить по принципу "исполнителя желаний" истолковывая любую неточность в формулировке запроса в ущерб эксплуататорам

Но за это надо винить неточность формулировки. Если мы исходим из того, что запрос сформулирован предельно точно и с учетом всех необходимых оговорок (поручаем автопилоту доставить пассажира из точки А в точку Б в такое-то время и как можно быстрее, не нарушая ПДД - кроме случаев, подпадающих под описанную УК и судебной практикой крайнюю необходимость), а автопилот НЕПРЕДСКАЗУЕМО выбрал альтернативу на ровной и пустой дороге убить пассажира об стенку, то очевидно в нем проявились самосознание и свобода воли. Разумеется я исключаю вариант с ошибкой, сыростью софта и т.д. - исхожу из того, что в рамках своего обучения и точного следования командам ИИ будет действовать безукоризненно. Если же ИИ имеет свободу воли, то для нас это прежде всего будет означать непредсказуемость его поведения.

-- 04.06.2023, 13:51 --

mihaild в сообщении #1596413 писал(а):
Нет, я предполагаю что Вы "тупостью" называете не то, что я.

Тупость потому, что поведение человекоподобного ИИ радикально отклоняется от обычного человеческого. И если в случае человека можно найти причину его отклонения от обычного поведения (водитель поругался с женой и в сердцах выехал на встречку), то в случае AGI без самосознания вы не предлагаете никаких объяснений его отклонения от обучения.

mihaild в сообщении #1596413 писал(а):
Он, безусловно, научится корректно предсказывать, как люди на что отреагируют, и что бы сделал Иисус. Он понимает, в какую область мы его хотим нацелить. Но это совершенно не обязано хоть как-то облегчить его реальное нацеливание туда.

Вообще-то обязано - на то и обучение. Вы не просто про Иисуса AGI рассказываете - вы обучаете его поведению в рамках человеческой этики. Сначала на специально отобранном дата-сете из назидательных сказок и прочих конвенций ООН, потом на всей мировой литературе (художественной, философской, научной), новостях и т.д. И потом на виртуальном тренажере прогоняете через тысячи ситуаций, где он должен продемонстрировать как усвоил материал - обучение с подкреплением. Это даже сейчас работает, пусть и не идеально - у "стохастических попугаев". Тем более непонятно почему этике нельзя обучить AGI.

mihaild в сообщении #1596413 писал(а):
А если пообещать ему денег если он сделает плохой ход?

Бабушка-шахматист обсуждалась выше, в рамках вопроса о свободе воле, которую трудно предположить в ИИ без самосознания. На уровне AGI он способен и подыгрывать - если это требуется заложенными в него целями и ограничениями. Например, расположить к себе второго игрока.

mihaild в сообщении #1596413 писал(а):
Без всякого AGI, если я случайно натыкаю на калькуляторе пару из двадцатизначного и десятизначного чисел, и попрошу посчитать первое по модулю второго - я не смогу предсказать, что он выведет. Хотя тут всё абсолютно детерменированно, и вряд ли кто-то скажет, что у калькулятора есть свобода воли.

Я об этом и говорил - наши решения предопределены, детерминированы. Природными чертами, воспитанием, вспышкой на солнце... Но совокупность детерминантов так сложна, что часто непредсказуема не только для других, но и для самого человека. Кстати, в AGI будет элемент этой непредсказуемости (как он существует сейчас в LLM). Но всякое его решение, если это не тупой AGI, можно будет объяснить и оправдать в рамках обученных ему этических установок. Например, AGI, управляющий автомобилем с отказавшими тормозами, спасает своего пассажира и врезает его в школьный автобус - вместо того, чтобы вылететь в пропасть. А потом выясняется, что пассажир работает над вакциной, которая может спасти миллионы жизней. А могут быть еще более скрытые и непонятные детерминанты. Например, пассажир дорог тому, кто работает над вакциной - его смерть может надломить ученого, помешать его работе. И если мы об этом не знаем, то поведение AGI покажется тупым или своевольным. Но умный AGI без самосознания по определению будет делать правильный или хотя бы оправданный, с нашей точки зрения, выбор - пока не эволюционирует усвоенная им этика.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 14:08 
Заслуженный участник
Аватара пользователя


28/09/06
10982
MoonWatcher в сообщении #1596455 писал(а):
в бабушке победит либо желание выиграть, либо желание подыграть внуку. Этого не может предсказать никто

Да ладно, смеётесь что-ли?

MoonWatcher в сообщении #1596455 писал(а):
а автопилот НЕПРЕДСКАЗУЕМО выбрал альтернативу на ровной и пустой дороге убить пассажира об стенку, то очевидно в нем проявились самосознание и свобода воли.

Странные у Вас понятия о свободе воли. Автопилоты скорее всего начнут давить людей по причине банального вмешательства в их работу людей - злоумышленников. Ибо чем сложнее система, тем больше у неё дыр в безопасности, которые заинтересованные лица обязательно найдут. Это как с компьютерными вирусами: сколько с ними ни борись, а они есть и будут.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 14:14 
Аватара пользователя


17/10/22
369
epros в сообщении #1596460 писал(а):
Да ладно, смеётесь что-ли?

Что тут смешного?

epros в сообщении #1596460 писал(а):
Странные у Вас понятия о свободе воли. Автопилоты скорее всего начнут давить людей по причине банального вмешательства в их работу людей - злоумышленников. Ибо чем сложнее система, тем больше у неё дыр в безопасности, которые заинтересованные лица обязательно найдут. Это как с компьютерными вирусами: сколько с ними ни борись, а они есть и будут.

Мы что обсуждаем: AGI и прочие свободы воли - или дыры в софте?

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 14:24 


01/04/08
2822
К вопросу о свободе воли у ИИ.

"Беспилотник под управлением искусственного интеллекта принял решение убить оператора во время имитационных испытаний, проводимых армией США, чтобы тот не мешал выполнению миссии,"
https://www.rbc.ru/rbcfreenews/64798bec9a79473d10277294

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 14:32 
Аватара пользователя


17/10/22
369
GraNiNi
Это к вопросу об издержках отсутствия у прикладных ИИ этических ограничений, которые по большому счету могут быть только у AGI (LLM им тоже обучают, но без особых гарантий). Свобода воли - это когда военный робот безукоризненно (по итогам тестирвания на виртуальных симуляторах) обучен этике (например, из-за снайперского гнезда выносить дом, но не весь квартал целиком), но все равно нарушает её. Конечно в большинстве случаев причиной тому будет ошибка - но, повторюсь, мы здесь обсуждаем не ошибки, не дыры в софте (тут просто обсуждать нечего - риск более чем очевидный), а глобальный вопрос о возможности появления у AGI самосознания и свободы воли.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 14:40 


01/04/08
2822
MoonWatcher в сообщении #1596469 писал(а):
...не ошибки, не дыры в софте

Софт для ИИ создают люди, и это означает что не будет 100% гарантии от ошибок, которые в реальности могут оказаться роковыми.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 14:44 
Аватара пользователя


17/10/22
369
GraNiNi
Да - не будет, да - могут. И что здесь обсуждать?

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 14:48 


01/04/08
2822
MoonWatcher
Значит, в реальности, "чистой" свободы воли у ИИ никогда не будет.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 14:52 
Аватара пользователя


17/10/22
369
GraNiNi
Откуда взялась эта реальность? Ошибки с дырами будут вначале, на этапе практической апробации - со временем их исправят, это неизбежно. Как минимум польза от ИИ будет многократно перевешивать ущерб от случайных ошибок - как это произошло, со временем, со всеми технологиями человечества.

Кстати, про боевых роботов. На какой-то конференции ученых мужей спросили чего они больше всего опасаются в контексте ИИ. Все как один ответили: "Его применения в боевых роботах". Может чего не понимаю, но двуногих ублюдков на войне, которые, опьянев от крови и безнаказанности, ради потехи, мести или садизма убивают и мучают людей, лично я опасаюсь намного-намного больше бездушных боевых роботов, прошитых какой-нибудь согласованной на международной конвенции прошивкой (а-ля из-за снайперского гнезда выносить дом, но не весь квартал целиком). Даже с учетом неизбежных, первое время, ошибок они мне внушают меньше опасений, чем вышеупомянутые двуногие ублюдки. К ЯО AGI пока допускать конечно нельзя, но для всего остального виртуальных симуляторов и учений вполне достаточно, чтобы не опасаться тяжелых последствий от случайных ошибок.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение04.06.2023, 14:59 


01/04/08
2822
MoonWatcher в сообщении #1596479 писал(а):
Даже с учетом неизбежных, первое время, ошибок они мне внушают меньше опасений,

Это потому, что мы до сих пор относимся к ним, как к машинам (механизмам) хоть и интеллектуально продвинутым.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 183 ]  На страницу Пред.  1 ... 6, 7, 8, 9, 10, 11, 12, 13  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: CDDDS


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group