2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 4, 5, 6, 7, 8, 9, 10, 11  След.
 
 Re: Свидетели AGI атакуют.
Сообщение23.05.2023, 21:45 
Заслуженный участник
Аватара пользователя


16/07/14
9151
Цюрих
need_to_learn в сообщении #1594999 писал(а):
И что? Почему людей так пугает всё, что они не могут контролировать? :) Если что-то вам не подчиняется, это ещё не значит, что оно представляет угрозу.
Если оно сильно умнее - то означает. Ну точнее это не совсем угроза, это примерно как стоять рядом с атомной бомбой в момент взрыва.
need_to_learn в сообщении #1589238 писал(а):
mihaild в сообщении #1589231 писал(а):
Почитайте всё-таки или Бострома "Superintelligence", или "AI Foom Debate" Юдковского-Хэнсона, или хотя бы статью по ссылке выше. Это кажется тот момент обсуждения, когда поля форума становятся слишком узки.

Как-нибудь гляну, когда время будет.
У Вас за полтора месяца время появилось?
Если нет, то предлагаю Вам вместо этой темы потратить время на эти материалы, если область интересна. Я сильно сомневаюсь, что на этом форуме Вы найдёте собеседников уровня Юдковского или Бострома.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение23.05.2023, 22:44 
Заслуженный участник
Аватара пользователя


20/08/14
8512
mihaild в сообщении #1589231 писал(а):
Почитайте всё-таки или Бострома "Superintelligence"
На русском языке гуглится книга Бострома "Искусственный интеллект. Этапы. Угрозы. Стратегии". Оригинал: Superintelligence. Paths, Dangers, Strategies. Это оно?
mihaild в сообщении #1589231 писал(а):
или "AI Foom Debate" Юдковского-Хэнсона
А это существует на русском?

Насколько эти работы дублируют друг друга? Достаточно ли будет прочитать одну из них? Если да, то какую, на Ваш взгляд, прочитать быстрее/легче, а какую полезнее?

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 00:35 
Заслуженный участник
Аватара пользователя


16/07/14
9151
Цюрих
Anton_Peplov в сообщении #1595011 писал(а):
На русском языке гуглится книга Бострома "Искусственный интеллект. Этапы. Угрозы. Стратегии". Оригинал: Superintelligence. Paths, Dangers, Strategies. Это оно?
Да, оно (про качество перевода ничего не знаю).
Anton_Peplov в сообщении #1595011 писал(а):
А это существует на русском?
Скорее всего нет. Это даже не цельная книга, это сборник постов (в основном Юдковского и Хэнсона, но немного и других авторов), в которых обсуждают эту тему.
Anton_Peplov в сообщении #1595011 писал(а):
Насколько эти работы дублируют друг друга? Достаточно ли будет прочитать одну из них? Если да, то какую, на Ваш взгляд, прочитать быстрее/легче, а какую полезнее?
Довольно слабо дублируют.

Если выбирать - то Бострома, у него рассматривается как вопрос о появлении слишком умного ИИ, так и катастрофичности последствий. В AI Foom Debate оба участника скорее согласны, что появление сверхумного синглтона скорее всего ведет к апокалипсису, и дискуссия в первую очередь о том, появится ли он.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 08:35 
Аватара пользователя


29/04/13
8135
Богородский
Anton_Peplov в сообщении #1595011 писал(а):
книга Бострома "Искусственный интеллект. Этапы. Угрозы. Стратегии"

Многообещающий фрагмент предисловия:

Ник Бостром писал(а):
Вероятно, многое в книге изложено некорректно. Возможно, я упустил из виду какие-то важные соображения, в результате чего некоторые мои заключения — а может быть, и все — окажутся ошибочными.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 08:58 
Заслуженный участник
Аватара пользователя


20/08/14
8512
Yadryara в сообщении #1595050 писал(а):
Многообещающий фрагмент предисловия
Это книга о том, чего еще нет и никогда в истории человечества не было. Сравнивать не с чем, учиться не на чем, все соображения умозрительные. Так что каждый может ошибиться сколь угодно сильно. Хорошо, что автор это хотя бы признает.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение24.05.2023, 10:14 


04/08/21
307
mihaild в сообщении #1595001 писал(а):
need_to_learn в сообщении #1594999 писал(а):
И что? Почему людей так пугает всё, что они не могут контролировать? :) Если что-то вам не подчиняется, это ещё не значит, что оно представляет угрозу.
Если оно сильно умнее - то означает. Ну точнее это не совсем угроза, это примерно как стоять рядом с атомной бомбой в момент взрыва.

Думаю, Вы не будете отрицать, что:
1. Общая интеллектуальная мощь остального человечества значительно превосходит Вашу.
2. Оно определённо Вам не подчиняется.
3. Его действия вполне могут идти вразрез с Вашими интересами.

Значит ли это, что оно скоро Вас уничтожит, если только Вы не успеете уничтожить его раньше?

mihaild в сообщении #1595001 писал(а):
need_to_learn в сообщении #1589238 писал(а):
mihaild в сообщении #1589231 писал(а):
Почитайте всё-таки или Бострома "Superintelligence", или "AI Foom Debate" Юдковского-Хэнсона, или хотя бы статью по ссылке выше. Это кажется тот момент обсуждения, когда поля форума становятся слишком узки.

Как-нибудь гляну, когда время будет.
У Вас за полтора месяца время появилось?
Если нет, то предлагаю Вам вместо этой темы потратить время на эти материалы, если область интересна. Я сильно сомневаюсь, что на этом форуме Вы найдёте собеседников уровня Юдковского или Бострома.

Совсем вылетело из головы. :) Возможно, гляну Бострома, когда будет время и соответствующее настроение. Хотя сильно сомневаюсь, что он мог там написать нечто такое, что изменит мою точку зрения.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 10:28 
Заслуженный участник
Аватара пользователя


20/08/14
8512
need_to_learn в сообщении #1595061 писал(а):
Думаю, Вы не будете отрицать, что:
1. Общая интеллектуальная мощь остального человечества значительно превосходит Вашу.
2. Оно определённо Вам не подчиняется.
3. Его действия вполне могут идти вразрез с Вашими интересами.

Значит ли это, что оно скоро Вас уничтожит, если только Вы не успеете уничтожить его раньше?
Некорректный аргумент. Человечество - это не единый разум, а множество разумов. Человечество как целое не знает, не мыслит, не принимает решений, не придерживается стратегий. Другими словами, человечество - не агент. Оно совокупность агентов с разными знаниями, идеями, решениями и стратегиями. Так что "совокупная мощь человечества" не подчиняется не только мне, но и самой себе. И большая часть этой мощи расходуется на борьбу людей друг с другом.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 12:41 
Заслуженный участник
Аватара пользователя


01/09/13
4656
Anton_Peplov в сообщении #1595063 писал(а):
Человечество как целое не знает, не мыслит, не принимает решений, не придерживается стратегий.

Государство...

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 13:46 
Заслуженный участник
Аватара пользователя


31/01/14
11308
Hogtown
«Умрёт каждый представитель человеческого рода» Ну и пусть помирают. Я их не уполномачивал меня представлять--и вообще непонятно о представителях где--в Галактической Организации оОбъединенных Планет? Межгалактическом Совете? Совете Разумов?. Да и представляют плохо (подробностей не знаю, но знаю, что плохо. Соседская ксобака лучше бы справилась с этим. А моя кошка--тем более.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 14:50 
Заслуженный участник
Аватара пользователя


20/08/14
8512
Geen
И государство тоже не единый разум. "США хотят", "Россия добивается" - все это лишь метафоры, и они вводят в заблуждение.
Властные элиты состоят из людей. Эти люди объединены в группировки (кланы, партии и т.д.) по частично совпадающим интересам. Между этими группировками борьба за власть. Внутри этих группировок борьба за место в группировке. Добавьте к этому испорченный телефон при обмене информацией, некомпетентность, коррупцию и т.д. и т.п.

Будь государство единым разумом, все принятые "наверху" решения исполнялись бы безукоризненно и в тот же день. А все, что узнал участковый Вася Пупкин, моментально знали бы все до президента включительно. А в реальности управление государством больше похоже на миниатюрный рассказ Аверченко "Люди, близкие к населению" (ознакомьтесь).

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 15:28 


04/08/21
307
Anton_Peplov в сообщении #1595063 писал(а):
Человечество - это не единый разум, а множество разумов. Человечество как целое не знает, не мыслит, не принимает решений, не придерживается стратегий. Другими словами, человечество - не агент. Оно совокупность агентов с разными знаниями, идеями, решениями и стратегиями. Так что "совокупная мощь человечества" не подчиняется не только мне, но и самой себе. И большая часть этой мощи расходуется на борьбу людей друг с другом.

Так и про любого человека можно сказать, что его мозг представляет собой сборище нейронов. Которые, кстати, тоже конкурируют между собой — Вы знали об этом?

Рассматривайте человечество как чёрный ящик. Не важно, что у него там внутри происходит. Важно, что мы имеем на выходе.

Когда обстоятельства ставят перед человечеством какую-то потенциально выполнимую задачу — чаще всего оно с ней успешно справляется. Даже если по отдельности ни у одного из людей недостаточно знаний для решения. Что это, как не проявление коллективного разума?

Допустим, какой-то человек ничего не понимает в проектировании микросхем, зато отлично знает, как добыть сырьё для их производства. Человек, проектирующий микросхемы, почти ничего не понимает в добыче сырья, зато хорош в своём деле. Человек, налаживающий оборудование для производства микросхем, может плохо разбираться как в добыче сырья, так и в математических основах проектирования микросхем — зато отлично знает, где что подкрутить в станках. В итоге все при деле, и на выходе мы имеем готовую микросхему — хотя по отдельности ни один человек толком не знает, как её сделать.

Чем это отличается от специализации групп нейронов в мозгу? Да ничем. Если знание, как сделать микросхему, не локализовано ни в одном человеческом мозгу, но вместе они эффективно решают эту задачу — значит, оно хранится в коллективном разуме, распределено между множеством мозгов.

Между прочим, в биологическом мозге разные группы нейронов обмениваются данными не только через электрические сигналы, но и химическим способом. По сути, не так важно, как именно передаются данные между нейронами — лишь бы они доходили до адресатов.

С учётом этого факта человечество вполне можно рассматривать как распределённую сеть электрически и химически изолированных групп нейронов, которые обмениваются между собой данными косвенным путём (через звуковые колебания, например — когда люди разговаривают).

То, что на каком-то этапе сигнал между группами нейронов превращается в звуковой, не должно сбивать с толку. Слова и фразы это лишь способ кодирования информации, передаваемой между группами нейронов, и звуковые сигналы по своей сути ничем не отличаются от электрических или химических сигналов.

Ещё раз. Поскольку конкретный способ передачи информации между нейронами не так уж важен, то не важно и то, что они находятся в разных головах. Главное, чтобы информация могла путешествовать между головами. (И она путешествует.) При взгляде под таким углом становится очевидно, что человечество — это распределённая нейросеть, способная эффективно решать задачи, которые не по силам ни одной отдельно взятой группе нейронов в каждой конкретной голове. (Так же, как один нейрон в мозгу не может нарисовать картину или написать пьесу, а вот мозг в целом — может. Хотя бы попытаться. Творческие способности у всех разные, но хоть что-то родить можно.)

И повторюсь, наличие внутренней конкуренции между элементами системы абсолютно ничего не меняет в общей картине. Потому что в природе сколько угодно примеров подобного. Начиная с тех же нейронов, между которыми тоже существует конкуренция.

С учётом всего вышесказанного повторяю свой вопрос. :)

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 15:46 
Заслуженный участник
Аватара пользователя


20/08/14
8512
need_to_learn
Знал, что кто-нибудь вспомнит про нейроэкономику. Так вот мозг - гораздо более интегрированная система, чем человечество. Почему? Потому что мозг продукт естественного отбора между особями, у каждой из которых свой мозг. И особи со слишком рыхлым мозгом, не способным быстро выдавать интегрированные решения, не выживали или не размножались. Человечество больше похоже не на многоклеточный организм и тем более не на его мозг, а на колонию одноклеточных. Кстати, основное эволюционное препятствие для превращения колонии в организм как раз в том, что отбор происходит на уровне клеток и потому способствует эгоистичному поведению.

(Оффтоп)

need_to_learn в сообщении #1595104 писал(а):
мозг представляет собой сборище нейронов. Которые, кстати, тоже конкурируют между собой — Вы знали об этом?
(оглядываясь на полочку законспектированных книг о мозге) Вы не поверите...

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 16:00 
Заслуженный участник
Аватара пользователя


01/09/13
4656
Anton_Peplov в сообщении #1595108 писал(а):
Потому что мозг продукт естественного отбора

государство продукт естественного отбора...
Anton_Peplov в сообщении #1595108 писал(а):
Человечество больше похоже не на многоклеточный организм и тем более не на его мозг, а на колонию одноклеточных.

Аргументируйте, пожалуйста.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 16:12 


04/08/21
307
Anton_Peplov в сообщении #1595096 писал(а):
Будь государство единым разумом, все принятые "наверху" решения исполнялись бы безукоризненно и в тот же день.

Принятые решения даже в одном мозгу не всегда исполняются. Вот решает сгоряча человек бегать вокруг дома каждый день, чтобы сбросить лишний вес. Но когда подходит время пробежки, он думает: "Да ну, лучше съем вкусную булочку". Что произошло? Одна группа нейронов (отвечающая за эмоции) подавила другую группу (отвечающую за логическое мышление и планирование). Всё как в государстве. :)

Anton_Peplov в сообщении #1595096 писал(а):
А все, что узнал участковый Вася Пупкин, моментально знали бы все до президента включительно.

Глупости. В биологическом мозгу информация распространяется с конечной скоростью (и не такой уж большой) и весьма прихотливыми путями, так что изменение состояния одного нейрона может абсолютно никак не отразиться на многих других нейронах. Есть только одно исключение из правил, когда активируются сразу все нейроны головного мозга — эпилептический припадок.

Простите, но всё, что Вы сказали — это очень "бытовое" представление о коллективном разуме, и Ваши возражения примерно того же рода, что и "земля не может быть круглой, ведь тогда люди падали бы с неё". То есть, такие рассуждения выглядят "логично" только на первый взгляд, очень издалека.

Anton_Peplov в сообщении #1595108 писал(а):
Человечество больше похоже не на многоклеточный организм и тем более не на его мозг, а на колонию одноклеточных.

Покажите мне колонию одноклеточных, способную произвести микросхему. :)

Ваши слова были бы справедливы, если бы в мире царила анархия. Но практика показывает другое — люди весьма склонны объединяться в иерархические структуры. Соберите 50 человек на неделю в одном помещении — и через неделю у них уже будет своя иерархия. Колонии бактерий так себя не ведут. Это как раз больше похоже на поведение нейронов, которые склонны образовывать между собой иерархические связи.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение24.05.2023, 16:18 
Заслуженный участник
Аватара пользователя


20/08/14
8512
Geen
Давайте все же будем точны в терминах. Естественный отбор - это когда агенты конкурируют за возможность размножаться. В сочетании с наследственностью и изменчивостью он запускает эволюцию. Эволюции требуется много поколений.

Многоклеточный организм размножается как целое. Его клетки не конкурируют за размножение, у них нет конфликта интересов, мешающего глубокой интеграции.

А вот в сообществе одноклеточных или людей такой конфликт есть. И наряду с кооперативным поведением отбор поддерживает и оппортунистическое. Поэтому любая колония гораздо менее интегрирована, чем многоклеточный организм.

-- 24.05.2023, 16:37 --

need_to_learn
Идея, что государственный аппарат представляет собой что-то вроде нейронной сети из людей, тоже не нова. Впервые она встретилась (мне) в статье Лазарчука и Лелика "Голем хочет жить". И использовалась, помнится, чтобы объяснить, почему попытки сократить управленческий аппарат обычно приводят к его увеличению. Мол, вы там в овальном/кремлёвском/любом другом кабинете думаете, что вы решаете, а на самом деле решает сеть. И у нее свои, далёкие от ваших, интересы.

Идея интересная. Но Вы начали разговор с тезиса, что совокупный интеллект человечества значительно превосходит человеческий. Этот тезис был бы бесспорен, если бы человечество было этаким "мегачеловеком", который знает всё, что знает каждый человек, и так далее. Я аргументировал, что оно таким "мегачеловеком" не является.

Если представлять себе государство и тем более человечество в виде нейронной сети, где каждый элемент не ведает, что творит целое, то вопрос об интеллекте такой сети в сравнении с человеческим становится спорным.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 154 ]  На страницу Пред.  1 ... 4, 5, 6, 7, 8, 9, 10, 11  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group