2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8 ... 11  След.
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 11:23 
Заслуженный участник
Аватара пользователя


16/07/14
9144
Цюрих
need_to_learn в сообщении #1589189 писал(а):
Ну, это уже крохоборство какое-то
Это для нас крохоборство. А для оптимизатора, который вполне резонно ожидает дожить до тепловой смерти вселенной - нет.
need_to_learn в сообщении #1589189 писал(а):
Если ИИ будет размышлять подобным образом, это скорее всего будет означать, что у него серьёзные психические проблемы — раз уж он начал упорядочивать под себя атомы Вселенной в первую очередь с разрушения тех структур, которые обладают наиболее интересными и небанальными свойствами и, возможно, встречаются только лишь на одной планете.
Понятие психических проблем к произвольному оптимизатору неприменимо. И в подавляющее большинство возможных целей всякие "интересные и небанальные свойства" не входят.
need_to_learn в сообщении #1589189 писал(а):
Вы почему-то исходите из того, что для развитого ИИ главным занятием в жизни будет добыча ресурсов.
Потому что это полезно для достижения большинства целей: https://en.wikipedia.org/wiki/Instrumental_convergence.
need_to_learn в сообщении #1589189 писал(а):
Более чем уверен, что если оно когда-нибудь и вымрет, то произойдёт это по вине самих человеков
Ну создание ИИ это тоже вина людей:)

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 12:34 


04/08/21
307
mihaild в сообщении #1589211 писал(а):
И в подавляющее большинство возможных целей всякие "интересные и небанальные свойства" не входят.

Мы пока не знаем, что там будет входить в список целей ИИ.

Если ему хочется дотянуть до тепловой смерти вселенной, то оптимальным поведением для него будет поставить таймер пробуждения на нужное время и уйти в режим ожидания. Ведь чем меньше суетишься и по-всякому взаимодействуешь с миром, тем меньше всевозможных опасностей рискуешь встретить на своём пути.

Если ИИ такой вариант покажется скучноватым, значит, у него уже есть какие-то интересы, лежащие в стороне от чисто оптимизаторского подхода, и вполне возможно, что он способен ценить уникальные и небанальные вещи и явления.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 13:10 


14/01/11
3036
need_to_learn в сообщении #1589066 писал(а):
Повеселился, читая в этой теме фантазии на тему того, как ИИ находит сторонника через сеть, арендует для него заброшенное здание, заказывает туда товары с Амазона и под покровом ночи коварно занимается отверточной сборкой киборгов для захвата мира...

Вспомнилась игра на тему выживания обрётшего сознания ИИ Endgame: Singularity (бесплатная, легко ищется в сети), только там ИИ не стремится истребить человечество, а просто пытается выжить. :-)

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 13:35 
Заслуженный участник
Аватара пользователя


16/07/14
9144
Цюрих
need_to_learn в сообщении #1589219 писал(а):
Мы пока не знаем, что там будет входить в список целей ИИ.
Так инструментальная сходимость как раз про то, что почти любые цели несовместимы с существованием человечества.
need_to_learn в сообщении #1589219 писал(а):
Ведь чем меньше суетишься и по-всякому взаимодействуешь с миром, тем меньше всевозможных опасностей рискуешь встретить на своём пути
Это в масштабах человеческой жизни. В масштабах миллиардов лет расклад другой.
need_to_learn в сообщении #1589219 писал(а):
Если ИИ такой вариант покажется скучноватым, значит, у него уже есть какие-то интересы, лежащие в стороне от чисто оптимизаторского подхода
Не значит.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 13:44 


14/01/11
3036
mihaild в сообщении #1589109 писал(а):
Вообще, это всё тысячи раз обсуждалось, поэтому советую всем интересующимся прочитать List of AGI Lethalities

По прочтении части этого текста представляется, что единственный надёжный путь не допустить создания AGI, который уничтожит человечество, — это уничтожить человечество иными способами до того, как он появится.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 14:18 
Заслуженный участник
Аватара пользователя


16/07/14
9144
Цюрих
Sender, примерно так.
Юдковский писал(а):
Safely aligning a powerful AGI is difficult.
...
A 'safely' aligned powerful AI is one that doesn't kill everyone on Earth as a side effect of its operation; or as a somewhat more stringent requirement, one that has less than a 50% chance of killing more than a billion people.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 15:11 


04/08/21
307
mihaild в сообщении #1589221 писал(а):
Это в масштабах человеческой жизни. В масштабах миллиардов лет расклад другой.

В масштабах миллиардов лет расклад ещё печальнее. Если для некоего субъекта вероятность умереть в текущем году всегда составляет один к миллиону, то за миллиард лет он успеет примерно тысячу раз отбросить коньки.

Любое взаимодействие с миром несёт в себе определённую опасность, даже если просто ходишь по улице. Чем активнее твоя жизненная позиция, тем чаще ты "подбрасываешь кости", и тем быстрее выпадет "череп".

Если слишком много шустрить (особенно если с готовностью ввязываться во всякие сомнительные авантюры, вроде мировых войн и геноцида белковой жизни), то можно не дотянуть не только до тепловой смерти вселенной, но и до следующего понедельника.

Поэтому самый оптимальный путь долгожителя — это обезопасить себя от сравнительно легко прогнозируемых астрономических событий, закуклиться и впасть в спячку.

(Может, кстати, именно этим и объясняется парадокс Ферми: все цивилизации, достигшие вечной жизни, неизбежно уходят в комфортные и безопасные виртуальные миры, забивая болт на физическую реальность. Если же кто-то не уходит и продолжает шустрить, то он живёт ярко, но недолго, и его судьба служит лишним предупреждением всем остальным.)

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 15:42 
Заслуженный участник
Аватара пользователя


16/07/14
9144
Цюрих
need_to_learn в сообщении #1589229 писал(а):
Если для некоего субъекта вероятность умереть в текущем году всегда составляет один к миллиону, то за миллиард лет он успеет примерно тысячу раз отбросить коньки.
Поэтому нужно работать над тем, чтобы вероятность дожития год от года росла. Для биологических агентов это пока непонятно как реализовать, для машин выглядит более реалистичным.
need_to_learn в сообщении #1589229 писал(а):
Если слишком много шустрить (особенно если с готовностью ввязываться во всякие сомнительные авантюры, вроде мировых войн и геноцида белковой жизни)
Вы так говорите "авантюры", как будто "геноцид белковой жизни" это сколь-нибудь значимое действие. Вы ежедневно ввязываетесь в авантюры вроде геноцида огромной популяции бактерий с помощью химического оружия (мыла), и как-то непохоже, чтобы это казалось Вам серьезным риском.
Почитайте всё-таки или Бострома "Superintelligence", или "AI Foom Debate" Юдковского-Хэнсона, или хотя бы статью по ссылке выше. Это кажется тот момент обсуждения, когда поля форума становятся слишком узки.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 16:28 


04/08/21
307
mihaild в сообщении #1589231 писал(а):
Почитайте всё-таки или Бострома "Superintelligence", или "AI Foom Debate" Юдковского-Хэнсона, или хотя бы статью по ссылке выше. Это кажется тот момент обсуждения, когда поля форума становятся слишком узки.

Как-нибудь гляну, когда время будет.

mihaild в сообщении #1589231 писал(а):
Вы так говорите "авантюры", как будто "геноцид белковой жизни" это сколь-нибудь значимое действие. Вы ежедневно ввязываетесь в авантюры вроде геноцида огромной популяции бактерий с помощью химического оружия (мыла), и как-то непохоже, чтобы это казалось Вам серьезным риском.

Напрасно Вы так пренебрежительно относитесь к бактериям. Риски, связанные с появлением так называемых супербактерий (англ. superbug) — один из главных бичей современной медицины. Происходит это в результате неумеренного использования антибиотиков. И "геноцид бактерий химическим оружием" не остаётся безнаказанным:
The use of disinfectants such as alcohol-based hand sanitizers, and antiseptic hand wash may also have the potential to increase antimicrobial resistance.[68] Extensive use of disinfectants can lead to mutations that induce antimicrobial resistance.[69]

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 16:53 


30/03/20

434
need_to_learn в сообщении #1589189 писал(а):
Психопатическое расстройство личности у людей определяется биологическими особенностями устройства мозга. Психопаты (не путать с социопатами!) крайне бедны в эмоциональном плане, их эмоции всегда как бы приглушены (а также у них значительно снижена чувствительность к боли). В детстве психопаты практически не испытывают привязанности к родителям, во взрослом состоянии у них почти отсутствует чувство страха и чувство жалости. Даже гнев психопата всегда холоден, рассудочен, и потому носит некий оттенок театральности. Психопат часто вызывает у обычных людей ощущение, что они общаются с хладнокровной рептилией, а не с человеком.

Любопытно, что это одно из немногих, если не единственное расстройство личности, которое вызывает неудобства не у самого субъекта, а у его окружения. Психопаты же зачастую наоборот получают бонусы от особенностей своей психики — почти абсолютное бесстрашие в сочетании с хладнокровной рассудительностью, способность не терять голову даже в самых стрессовых ситуациях и спокойно действовать под большим давлением — всё это позволяет умным психопатам очень быстро продвигаться наверх в социальной иерархии (так что в любом обществе чем ближе к вершинам, тем больше процент психопатов — вот такой любопытный факт).

При этом психопатическое расстройство личности вовсе не обязательно означает асоциальное поведение — многие психопаты отлично встраиваются в социум и могут приносить большую пользу (например, если выбирают профессию хирурга или спасателя).

Вообще, до тех пор, пока социум сильнее психопата и способен навязать ему определённые стандарты поведения, психопат может быть даже законопослушнее обычных граждан. А ещё, как ни странно, психопаты в среднем более отзывчивы и чаще склонны оказывать окружающим небольшие необременительные услуги — подать оброненную вещь, прикрыть по чужой просьбе форточку и т.д. Есть разные мнения по поводу того, что движет психопатом в таких случаях, но в целом считается, что так психопат пользуется возможностью расположить к себе людей для последующих манипуляций ими при необходимости.

Также умные и наблюдательные психопаты способны копировать поведение других людей в плане эмоций, поэтому их бывает не так-то просто отличить от обычного человека. Интеллектуально развитый и социально адаптированный психопат может быть большим душкой в общении — даже более приятным, чем обычные люди, потому что всегда с холодной точностью знает, что сказать или сделать, чтобы вызвать у собеседника наиболее положительные эмоции, не забывая и о своих интересах. Умные психопаты могут быть очень харизматичны и легко берут на себя роль лидеров.

Во времена больших потрясений, когда социум по какой-то причине лихорадит и власть общественных институтов ослабевает, многие психопаты легко скидывают маску цивилизованности, так что вчерашний хирург или профессор математики может запросто стать безжалостным бандитом, который очень быстро станет продвигаться наверх в иерархии. У обычного человека такой фокус скорее всего не вышел бы, а для психопата это как снять тесные ботинки.


Вы так вкусно расписали психопатов, что я уже сожалею о том что не психопат. Разве такие психопаты, имеющие столько плюсов, не должны были вытеснить нормальных людей в ходе эволюции человека как биологического вида?

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 17:46 


04/08/21
307
Cuprum2020 в сообщении #1589243 писал(а):
Разве такие психопаты, имеющие столько плюсов, не должны были вытеснить нормальных людей в ходе эволюции человека как биологического вида?

Число психопатов стабильно составляет от 1,2% до 4,5% взрослого населения. (Больше среди мужчин, меньше среди женщин, хотя женщины-психопаты тоже встречаются.)

Психопаты это не сверхлюди. Полноценно использовать свои преимущества они могут только при наличии достаточно высокого интеллекта, а он у психопатов встречается не чаще, чем у обычных людей. Психопаты с низким и средним интеллектом чаще пополняют население тюрем, чем советы директоров компаний. Или же работают там, где не так часто требуется думать, зато нужно хладнокровие и стрессоустойчивость — военными, спасателями, охранниками вип-персон.

Вопрос, почему психопаты не вытеснили обычных людей, примерно того же рода, что и вопрос, почему умные люди не вытеснили тупых, почему в мире не рождаются сплошь одни Эйнштейны. :)

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 19:19 


10/03/16
4444
Aeroport
need_to_learn в сообщении #1589253 писал(а):
Число психопатов стабильно составляет от 1,2% до 4,5% взрослого населения.


Вам как раз таки задали вопрос, почему это так:

Cuprum2020 в сообщении #1589243 писал(а):
Разве такие психопаты, имеющие столько плюсов, не должны были вытеснить нормальных людей в ходе эволюции человека как биологического вида?


need_to_learn в сообщении #1589253 писал(а):
Вопрос, почему психопаты не вытеснили обычных людей, примерно того же рода, что и вопрос, почему умные люди не вытеснили тупых, почему в мире не рождаются сплошь одни Эйнштейны. :)


А в чем некорректность этого последнего вопроса?

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение11.04.2023, 22:14 


04/08/21
307
ozheredov в сообщении #1589265 писал(а):
А в чем некорректность этого последнего вопроса?

Вопрос вполне корректен, хотя и несколько наивен, на мой взгляд. Во-первых, это слишком упрощённое понимание процесса эволюции. Во-вторых, применительно к человеческому обществу естественный отбор уже давно не действует так, как в природе.

Для получения более подробных сведений лучше задать вопрос в разделе "Биология и Медицина", сам я не биолог и могу наговорить каких-нибудь глупостей. Кроме того, это оффтоп в данной теме.

Но если вкратце, то в общем виде вопрос можно переформулировать следующим образом. Почему особенность, дающая конкурентные преимущества перед другими особями того же вида, не всегда с ходом времени распространяется на весь вид в целом? Почему она продолжает встречаться лишь у определённого процента особей?

На мой взгляд (хотя, повторюсь, я не биолог) объясняется это тем, что с данной особенностью явно не всё так просто:
  • Возможно, она даёт преимущества лишь в сочетании с другой редкой особенностью, а иначе только мешает. (Как я уже сказал ранее, дела стремительно идут в гору только у психопатов с высоким интеллектом, а вот глупым психопатам бедность эмоционального фона лишь мешает эффективно коммуницировать с людьми.)
  • Возможно, эта особенность полезна лишь для самого индивида, а для общества в целом — скорее вредна, поэтому оно может выдержать лишь определённый процент таких особей. (Способность испытывать сложный спектр эмоций и хорошо понимать чужие эмоции появилась у людей неспроста. Человек — социальное существо, и эмоции являются важным компонентом в коммуникации с другими особями. Если кто-то будет хладнокровно принимать смерть от когтей хищника, а все остальные так же хладнокровно на это смотреть с отстранённым любопытством, то далеко такое сообщество не уйдёт. Вот если поедаемый вопит от боли и ужаса, а остальные либо в страхе разбегаются, либо гневно дают коллективный отпор агрессору — тогда шансов у этой группы будет побольше.)
  • Возможно, эта особенность даёт преимущества, но не способствует активному размножению. (Скажем, глупцы плодятся как кролики, а вот умные понимают, что обзаведение потомством всегда означает кучу дополнительных проблем, и потому не торопятся размножаться, предпочитая "пожить для себя". Если и заводят ребёнка, то максимум одного. До комического абсурда эта ситуация была доведена в замечательном фильме "Идиократия", который лично мне давно уже кажется пророческим.)

Вариантов может быть много, мир устроен сложно, и с уверенностью можно сказать лишь то, что раз наблюдаемые факты таковы, значит, какие-то причины у этого есть.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение16.04.2023, 17:06 


20/09/09
2038
Уфа

(Оффтоп)

На самом деле многие не исключают появления новой "зимы искусственного интеллекта". Нынешняя "третья волна ИИ", основанная на результатах исследования зрительной коры человеческого мозга, может упереться в ограничение производительности, после чего надо будет ждать появления "четвертой волны ИИ", основанной на результатах новых исследований коры головного мозга человека.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение16.04.2023, 17:24 
Заслуженный участник
Аватара пользователя


16/07/14
9144
Цюрих
Rasool в сообщении #1589941 писал(а):
основанная на результатах исследования зрительной коры человеческого мозга
Можно, пожалуйста, ссылку на источник?
Насколько я понимаю, в каком-то смысле на исследовании зрительной коры основаны сверточные сети. Но текущий всплеск основан, в первую очередь, на механизме attention, который придуман как обобщение хеш-таблиц и не является аналогом чего-то биологического.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 154 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8 ... 11  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group