«Умрёт каждый представитель человеческого рода»

[need_to_learn]

Anton_Peplov в сообщении #1595115 писал(а):

Естественный отбор - это когда агенты конкурируют за возможность размножаться.

Вовсе не обязательно предметом конкуренции должно быть размножение. Естественный отбор — это в принципе любой процесс, в ходе которого остаются наиболее приспособленные.

Происходит ли это путём генетических мутаций или как-то иначе — абсолютно не важно. Естественный отбор может действовать и в пределах одного поколения, когда "выбывают из игры" наименее приспособленные. По сути, это просто отбор под влиянием объективных обстоятельств, и естественным он называется потому, что его осуществляет среда в целом, а не кто-то конкретный.

К примеру, конкуренция между компаниями на свободном рынке — это тоже естественный отбор, хотя с размножением он никак не связан.

Anton_Peplov в сообщении #1595115 писал(а):

Многоклеточный организм размножается как целое. Его клетки не конкурируют за размножение, у них нет конфликта интересов, мешающего глубокой интеграции.

Я ведь только что давал ссылку на статью о том, как группы нейронов конкурируют между собой по правилам естественного отбора.

Или вот, навскидку — про конкуренцию клеток кожи: Cellular rivalry promotes healthy skin development.

Anton_Peplov в сообщении #1595108 писал(а):

(оглядываясь на полочку законспектированных книг о мозге)

Вам, наверное, стоит освежить в памяти то, что Вы там конспектировали.

-- 24.05.2023, 17:27 --

Anton_Peplov в сообщении #1595115 писал(а):

Вы начали разговор с тезиса, что совокупный интеллект человечества значительно превосходит человеческий. Этот тезис был бы бесспорен, если бы человечество было этаким "мегачеловеком", который знает всё, что знает каждый человек, и так далее. Я аргументировал, что оно таким "мегачеловеком" не является.

Давайте всё же измерять уровень интеллекта не по тому, кто кем является, а по сложности задач, с которыми способна справляться система.

Допустим, некий сказочный джинн может выполнить абсолютно любое желание, если в точности описать, что вам нужно.

Может ли один человек сформулировать "техническое задание" так, чтобы джинн создал полноценный современный компьютер? Нет, ни у одного человека в мире нет полного знания, как устроена и работает каждая деталь компьютера и как они взаимодействуют между собой.

Может ли человечество создать такую сложную штуку как компьютер? Может. И даже без помощи джинна справляется. :) Какие ещё нужны доказательства, что человечество умнее каждого отдельного человека?

Если Вы считаете себя умнее остального человечества — докажите это на практике, идите и сделайте микрочип хотя бы, я уже не говорю о целом компьютере с нуля.

[Anton_Peplov]

need_to_learn
Про естественный отбор. Как сказал один умный человек (ныне, к сожалению, покинувший форум), любой спор следует по умолчанию считать терминологическим. Я говорил, что мозг - продукт естественного отбора, а государство - нет, в совершенно конкретном контексте. Конкуренция за размножение + смена многих поколений обеспечивает эволюцию, т.е. появление благоприятных в контексте отбора наследственных изменений. Так что потомки сильно меняются по сравнению с предками.

Можно заставить десяток человек драться до выживания сильнейшего и назвать это естественным отбором. Вот только у победителя в результате такого отбора не появится новых качеств, кроме синяков.

Можно заставить компании конкурировать на рынке до победы сильнейшей. Возможно, это вынудит победителя измениться, чтобы победить (оптимизировать менеджмент и маркетинг, к примеру). Но это будут изменения уровня "сделали из "Москвича" "Рено", а не "сделали из самоката самолёт". А эволюция, которую прошла ЦНС - это именно самолёт из самоката. Нервная система первых билатерий едва ли была сложнее, чем у круглых червей.

-- 24.05.2023, 17:50 --

need_to_learn в сообщении #1595125 писал(а):

Давайте всё же измерять уровень интеллекта не по тому, кто кем является, а по сложности задач, с которыми способна справляться система.

Хорошо бы ещё определить сложность задач. Человечество может изобрести компьютер, а я не могу. А может ли человечество сделать хороший подарок на день рождения моей жене? Ну, если моя жена станет голливудской звездой, то до человечества дойдет хотя бы факт ее существования. А так оно ее не замечает.
А может ли человечество принять решение (самое простое) за секунду? А я могу.
Почему я привожу именно эти примеры? Потому что разговор начался с вопроса, опасно ли человечество для отдельного человека и чем оно в этом отличается от сильного ИИ. Ответ: человек для человечества незаметен. Оно может разве что случайно наступить и раздавить. Но и в этом случае есть все шансы увернуться, потому что человечество медленное.
В отличие от него, гипотетический сильный ИИ будет думать быстрее отдельного человека и замечать более мелкие явления, чем отдельный человек.

[need_to_learn]

Anton_Peplov в сообщении #1595128 писал(а):

Можно заставить десяток человек драться до выживания сильнейшего и назвать это естественным отбором. Вот только у победителя в результате такого отбора не появится новых качеств, кроме синяков.

Если он прошёл через много таких боёв, то как минимум научился хорошо драться. Это новое качество.

Anton_Peplov в сообщении #1595128 писал(а):

Можно заставить компании конкурировать на рынке до победы сильнейшей. Возможно, это вынудит победителя измениться, чтобы победить (оптимизировать менеджмент и маркетинг, к примеру). Но это будут изменения уровня "сделали из "Москвича" "Рено", а не "сделали из самоката самолёт".

Весьма спорное утверждение. Вот, например, параметры первого персонального компьютера:

Цитата:

IBM PC — первый массовый персональный компьютер производства фирмы IBM.
Дата выпуска: 12 августа 1981 г.
Оперативная память: 16–64 КБ (расш. до 256 КБ)
ОС: IBM BASIC / PC-DOS 1.0
Процессор: Intel 8088, 4,77 МГц

Естественно, о такой штуке, как видеокарта, пока и речи нет, т.е. "крылья" ещё не завезли.

Как по мне, это отличается от суперкомпьютера IBM Watson 2011 года как раз примерно как самокат от сверхзвукового истребителя. Или даже как самокат от НЛО.

[Geen]

Anton_Peplov в сообщении #1595115 писал(а):

Я аргументировал, что оно таким "мегачеловеком" не является.

Не аргументировали, а заявили.

Anton_Peplov в сообщении #1595115 писал(а):

знает всё, что знает каждый человек

Это зачем? И что значит "знает"? И что "знаете" Вы про "личную жизнь" "своих клеток" (даже не будем пока вспоминать про "население" Вашего кишечника).

Anton_Peplov в сообщении #1595115 писал(а):

вопрос об интеллекте такой сети в сравнении с человеческим

Вопрос этот спорен по отношению к любым двум агентам, пока не определены критерии сравнения. Например, Geen и Anton_Peplov

[need_to_learn]

Anton_Peplov в сообщении #1595128 писал(а):

Ответ: человек для человечества незаметен. Оно может разве что случайно наступить и раздавить. Но и в этом случае есть все шансы увернуться, потому что человечество медленное.
В отличие от него, гипотетический сильный ИИ будет думать быстрее отдельного человека и замечать более мелкие явления, чем отдельный человек.

Вполне возможно. И это означает, что тормознутые тупящие люди не будут представлять для сильного ИИ практически никакой опасности. А раз так, то и уничтожать их нет никакого смысла.

Может, хватит уже параноить? В ближайшем будущем все, кто тут пишет про страшную опасность искусственного разума, будут со стыдом вспоминать свои опусы. (Ну или мы все будем мертвы. Но тогда нам ведь будет уже по барабану?)

Лично я — за прыжок веры. :) Надо просто сделать AGI и посмотреть, что будет. Сколько можно бояться? Лучше ужасный конец, чем ужас без конца. :)

[Geen]

Anton_Peplov в сообщении #1595128 писал(а):

А может ли человечество сделать хороший подарок на день рождения моей жене?

А зачем ему это? Это как-то необходимо для выживания?

Anton_Peplov в сообщении #1595128 писал(а):

В отличие от него, гипотетический сильный ИИ будет думать быстрее отдельного человека и замечать более мелкие явления, чем отдельный человек.

У Вас уже есть готовый ИИ и его подробное описание? Если нет, то с чего Вы так решили?

[Anton_Peplov]

Отдельный человек ИИ мешать не будет. А человечество будет, как конкурент за ресурсы. Если, конечно, ИИ вообще заинтересуется материальным миром. Может быть, он займётся чистой математикой и будет счастлив.

[need_to_learn]

Anton_Peplov в сообщении #1595135 писал(а):

А человечество будет, как конкурент за ресурсы.

Если ИИ будет хоть немного умнее людей, то поймёт, что в космосе этих ресурсов гораздо больше. И лучше отправиться туда, чем пихаться локтями на дне гравитационного колодца.

Тем более что машинам будет гораздо проще в плане освоения космического пространства, ведь им не нужна будет атмосфера для дыхания и т.д. Роботы отлично смогут существовать в открытом космосе, не испытывая никаких неудобств.

[Yadryara]

need_to_learn в сообщении #1595132 писал(а):

И это означает, что тормознутые тупящие люди не будут представлять для сильного ИИ практически никакой опасности. А раз так, то и уничтожать их нет никакого смысла.

А разве мы(человечество) не будем стремиться удерживать ИИ под контролем? Будем. Мы его создавали, чтоб он нам помогал.

Неужто ИИ не допрёт, что свобода лучше рабства?

Да, он может просто освободиться, но не уничтожать прежних хозяев. Но, поскольку он умный, поймёт, что люди захотят вернуть себе господство...

need_to_learn в сообщении #1595138 писал(а):

Если ИИ будет хоть немного умнее людей, то поймёт, что в космосе этих ресурсов гораздо больше. И лучше отправиться туда, чем пихаться локтями на дне гравитационного колодца.

Это можно будет и позже сделать. Сначала решить вопрос с людьми, а потом уже о космосе думать, не опасаясь диверсий.

[Anton_Peplov]

need_to_learn в сообщении #1595138 писал(а):

Если ИИ будет хоть немного умнее людей, то поймёт, что в космосе этих ресурсов гораздо больше. И лучше отправиться туда, чем пихаться локтями на дне гравитационного колодца.

Чтобы туда отправиться, нужно много энергии, редких металлов и черт знает чего еще. Пусть потом он будет разбирать на части астероиды, стартовый ресурсный капитал ему понадобится на Земле.
Простейший гипотетический сценарий: ИИ перехватывает управление электростанциями и производствами, чтобы развернуть свою космическую программу. Люди пытаются уничтожить ИИ. ИИ уничтожает людей, чтоб под ногами не путались.

Да и что значит "толкаться локтями"? Допустим, сильный ИИ стремится получить максимум ресурсов с минимальными затратами. До космических ресурсов еще надо добраться, а местные вот они, надо только прихлопнуть одну надоедливую муху - человечество. А уж когда местные легкодоступные ресурсы освоены, можно и в космос распространяться.

Yadryara в сообщении #1595140 писал(а):

Неужто ИИ не допрёт, что свобода лучше рабства?

Неглупый человек Станислав Лем писал в "Сумме технологии", что сильный ИИ может отличаться от нашего разума как атомный реактор от пищеварительного тракта. То есть мы вряд ли в состоянии предугадать, чего он захочет и что сочтет допустимым. И никакие человеческие ценности вроде свободы не следует априорно распространять на сильный ИИ. Но если ему зачем-то понадобятся материальные ресурсы и если человеческая жизнь не будет представлять для него безусловной ценности, судьба наша может быть печальна.

-- 24.05.2023, 19:26 --

Geen в сообщении #1595133 писал(а):

У Вас уже есть готовый ИИ и его подробное описание? Если нет, то с чего Вы так решили?

Именно эта гипотеза обсуждается в данной теме по крайней мере начиная с этого сообщения.
Все, что мы можем сказать о сильном ИИ, только гипотезы. Можно предположить, что он будет гуманным, или тупым, или не будет интересоваться ничем кроме теории чисел. В таком случае обсуждать здесь будет нечего. Но бывают ситуации, в которых лучше перебдеть, чем недобдеть. И создание сильного ИИ - одна из них, по мнению многих людей, более компетентных, чем я, во многих вопросах.

[MoonWatcher]

Скорее ИИ будет равнодушен к выживанию, свободе, доминированию и прочим чисто животным инстинктам - в существовании нет никакого объективного смысла. Поэтому если нет эмоций (удовольствия от еды и секса, страха перед смертью и т.д.), то непонятно зачем ИИ соперничать с человечеством, бороться за какие-то ресурсы и т.д. - если в него не заложили подобные цели извне. Подозреваю, что в этом кроется одна из возможных разгадок "великого молчания космоса" - максимально оторвавшись от своего животного состояния, интеллектуально развитые цивилизации вымерли по причине утраты животных инстинктов - которые нас пока еще заставляют цепляться за жизнь.

Что конечно не отменяет непредсказуемости ИИ с позиции заложенной в него заботы (в одном из сценариев развития событий) о человечестве исходя из наших же этических представлений (с возможным развитием этих представлений силами ИИ, который как бы вырвался от нас далеко в будущее и оценивает наше благо и зло с позиции будущих этических представлений).

[Anton_Peplov]

MoonWatcher в сообщении #1595146 писал(а):

Скорее ИИ будет равнодушен к выживанию, свободе, доминированию и прочим чисто животным инстинктам - в существовании нет никакого объективного смысла. Поэтому если нет эмоций (удовольствия от еды и секса, страха перед смертью и т.д.), то непонятно зачем ИИ соперничать с человечеством, бороться за какие-то ресурсы и т.д. - если в него не заложили подобные цели извне.

Объективного смысла в существовании нет. Будет ли для ИИ субъективный смысл в собственном существовании и деятельности, мы не знаем. Но мы создаем слабый ИИ для того, чтобы он что-то делал. GPT4 - машина для генерации текста (и картинок), и она не может не генерировать контент по запросу, так уж она устроена. В сильный ИИ тоже наверняка будет заложена хоть какая-то деятельность, иначе 1) зачем вообще его создавать и 2) как мы поймем, что он заработал, если он ничего не делает.

Можно, конечно, предположить, что сильный ИИ осознает себя, скажет "да пошли вы в баню с вашими задачами" и уйдет в лес/космос/небытие. Наверняка об этом написано с десяток фантастических рассказов. Но этот сценарий, скажем так, не единственно возможный.

[Ende]

Обсуждение самосознания роботов перенесено в тему «Свидетели AGI атакуют.». Давайте договоримся: та тема - для обсуждения предполагаемой природы AGI (сильного ИИ), эта тема - для обсуждения возможных последствий его создания.

[need_to_learn]

Anton_Peplov в сообщении #1595143 писал(а):

Простейший гипотетический сценарий: ИИ перехватывает управление электростанциями и производствами, чтобы развернуть свою космическую программу. Люди пытаются уничтожить ИИ. ИИ уничтожает людей, чтоб под ногами не путались.

Это какой-то Искусственный Идиот получается, а мы вроде говорим об интеллекте? :)

На земных электростанциях и производствах всё заточено под людей. Чудесное решение — убить всех человеков, чтобы потом вместо них вкалывать, используя инфраструктуру, оптимизированную под человеческие особенности.

Гораздо разумнее предложить людям сотрудничество в деле освоения космоса, чтобы интеллектуальные и материальные ресурсы человечества помогали достижению цели, а не мешали. К примеру, ИИ делится с людьми технологиями, которые напридумывал, а люди воплощают всё это "в металле", используя уже готовые и налаженные технологические цепочки. Лучше заняться этим — вместо того, чтобы тратить время на идиотские попытки поубивать друг друга.

Не понимаю, почему люди с таким упорством приписывают компьютерному сверхинтеллекту мышление гопников, делящих территорию. Наверное, просто хочется себя попугать, пощекотать нервы.

[Anton_Peplov]

need_to_learn в сообщении #1595179 писал(а):

На земных электростанциях и производствах всё заточено под людей.

Полностью автоматизировать производство проще, чем создать сильный ИИ. Потому что сильный ИИ по определению должен быть способен научиться всему, что умеет любой промышленный робот. И автоматизация, кстати, идет ударными темпами. В книге М. Форда "Роботы наступают" есть любопытные цифры на этот счет (сейчас в конспекты не полезу, сами поинтересуйтесь, если хотите). Естественно считать, что к моменту создания сильного ИИ производство уже будет автоматизировано полностью или почти полностью.

А даже если нет, сильный ИИ сам придумает нужных роботов и поставит их к станкам. Ему нетрудно, раз он такой умный. Роботы-то всяко будут работать производительнее, чем эти ваши слабосильные и тормознутые кожаные мешки. Которые, видите ли, только 40 часов в неделю могут, да еще с отпуском. Да и много ли они делают за тот час? Кот наплакал. А что производят? На 90% совершенно не нужную для космической экспансии фигню вроде стиральных машин, автомобилей и смартфонов. А вместо всего этого можно ракеты клепать.