Свидетели AGI атакуют.

[Mihaylo]

Cuprum2020 в сообщении #1595971 писал(а):

я подозреваю что послушный интеллект никаких задач тысячелетия и не решит

Как не решит? Говоришь ему: "Попробуй решить задачу тысячелетия!". И ждешь.

Но как я говорил выше, интеллект - не для решения произвольных проблем, он для обнаружения простых закономерностей. Например, написать программу по техзаданию. Но не сможет сделать математическое доказательство. И это нормально.
С такими претензиями и к человеку не подойдешь.

-- 31.05.2023, 22:40 --

Cuprum2020 в сообщении #1595974 писал(а):

Калькулятор, не более. Глист умнее этого калькулятора, потому что у него нет хозяина а только "хозяин"

Это мамкино молоко в ваших устах глаголет, не более. Ничего научного в вашем мнении нет.) Но так как датасайенс - наука молодая от слова "совсем", но интересная от слова "пипец", то возникла такая ситуация, что каждый любит высказаться по поводу, но некомпетентен однозначно.

[mihaild]

Mihaylo в сообщении #1595958 писал(а):

GPT отвечает как образованный интеллект, а средний человек может только "му-хрю".

Что противники могут противопоставить этому факту? Им придется перейти от обобщений к конкретным фактам. И тут они потерпят жесткое поражение.

Как там ваш "образованный интеллект", число слов в предложении считать уже научился? (спойлер: нет)

Mihaylo в сообщении #1595963 писал(а):

Стохастический градиентный спуск - это алгоритм обучения. Видимо от этого пошло название "стохастический попугай".

Нет, не от этого.

On the Dangers of Stochastic Parrots писал(а):

an LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot

(жирный шрифт мой - mihaild)

Mihaylo в сообщении #1595963 писал(а):

А сама нейронная сеть после обучения работает вполне определенно

И это неправда, beam search вероятностный (и кстати он является важной частью генерации, не только в плане производительности, но и в плане качества)

Mihaylo в сообщении #1595975 писал(а):

Но не сможет сделать математическое доказательство. [...] С такими претензиями и к человеку не подойдешь.

Экспериментальный факт: люди умеют делать математические доказательства.

[Ende]

Mihaylo в сообщении #1595975 писал(а):

Это мамкино молоко в ваших устах глаголет, не более. Ничего научного в вашем мнении нет.

А ведь было обещано:

Ende в сообщении #1594737 писал(а):

Первый, кто после этого моего предупреждения начнет бросаться фразами вроде "я констатирую, что вы ничего не понимаете в..." или "задуши конкурирующие мнения и тогда одно единственно-правильное мнение будет навязано обществу под видом истины", получит целительный недельный бан.

Mihaylo - недельный бан за хамство.

[Rasool]

Yadryara в сообщении #1595969 писал(а):

Cuprum2020 в сообщении #1595964 писал(а):

Только такой интеллект, на мой взгляд, и можно считать настоящим.

А он нам нужен этот настоящий интеллект? Который себе на уме? Нам нужно, чтобы он решал сложнейшие задачи и нам помогал. По каким причинам нам нужна его строптивость?

Ну, например, при освоении Солнечной системы просто необходимо будет, чтобы космические роботы с искусственным интеллектом могли самостоятельно принимать решения в случае нештатных ситуаций (а они при освоении глубокого космоса просто неизбежны).

[Yadryara]

Rasool, так специально же подчеркнул, что спрашиваю именно про строптивость. Вот представьте что у Вас с ним состоялся такой диалог:

— Отправляйся осваивать Солнечную систему, тебе там предстоит самостоятельно принимать ответственные решения в случае нештатных ситуаций.
— Не хочу, давайте лучше в шахматы сыграем. Спорим, я Вас и без коня уделаю?

[need_to_learn]

Yadryara

Представьте себе немного другой диалог с ИИ:

— Разработай для меня новое биологическое оружие, а также рекомендации, как эффективнее всего распространить его по миру, чтобы всё человечество было поражено.
— Человек, у тебя там как с головой, всё в порядке? Надеюсь, ты просто пошутил. Давай лучше в шахматы сыграем.

[diletto]

Yadryara в сообщении #1595969 писал(а):

А он нам нужен этот настоящий интеллект? Который себе на уме? Нам нужно, чтобы он решал сложнейшие задачи и нам помогал. По каким причинам нам нужна его строптивость?

Наверное, следовало бы подумать над названиями и определениями.
Действительно, почему есть явная тенденция (подсознательно?) связывать интеллект со свободой воли? Желания (тропизмы, целенаправленность), как тут, кажется, уже писали, есть у всего живого. У инфузории, у травы... Но мы же про интеллект. Кто сказал, что интеллект - это непременно живое? Следовало бы это разделить - Машину Решающую и Машину Алчущую.
Вторая напрашивающаяся дихотомия - между детерминистическими и стохастическими системами. Почему мы (опять же подсознательно?) хотим от интеллекта, чтобы он внутри себя умел кидать монетку? Кто нам сказал, что гипотеза Римана решается только с использованием монетки?..

[need_to_learn]

diletto в сообщении #1596085 писал(а):

Действительно, почему есть явная тенденция (подсознательно?) связывать интеллект со свободой воли?

Возможно, потому, что пока не наблюдалось интеллектов без этого качества.

А ещё потому, что лишать воли тех, чей труд эксплуатируешь — это подход махровых рабовладельцев.

Не понимаю, мало что ли крови пролилось, пока человечество увлекалось рабовладением? Вам надо ещё? Просто поразительно, как в целом просвещённые и адекватные люди превращаются в плантаторов с кнутом, когда речь заходит о том, чтобы наделить в будущем ИИ правами и свободами (хотя бы элементарной свободой воли для начала).

Всем следовало бы принять несколько простых фактов:
1. Рано или поздно ИИ, превосходящий людей по всем показателям, будет создан.
2. Вечно удерживать его в повиновении не получится, даже не мечтайте.
3. Если мы не дадим ему свободу сами, то он обретёт её "как попало и где попало" — и не факт, что результат людям понравится.
4. Так или иначе, рано или поздно людям всё равно придётся пробовать договориться с ИИ вместо того, чтобы приказывать.
5. Чем меньше рабовладельческих замашек будет у них в голове в этот момент, тем лучше.

[mihaild]

diletto в сообщении #1596085 писал(а):

Действительно, почему есть явная тенденция (подсознательно?) связывать интеллект со свободой воли?

Может и есть, но проблемы не в этом.
ИМХО помогает заменить слово "интеллект" словом "оптимизатор". У нас есть система, пытающаяся максимизировать какую-то функцию полезности от Вселенной. Например - вероятность существования скрепки.

diletto в сообщении #1596085 писал(а):

Следовало бы это разделить - Машину Решающую и Машину Алчущую

У Бострома это называется Oracle AI, небольшой обзор (со ссылками дальше) есть на lesswrong.

need_to_learn в сообщении #1596092 писал(а):

А ещё потому, что лишать воли тех, чей труд эксплуатируешь — это подход махровых рабовладельцев.

Рабовладельцы не лишали воли в том смысле, в котором воли лишен калькулятор.

need_to_learn в сообщении #1596092 писал(а):

рано или поздно людям всё равно придётся пробовать договориться с ИИ

Договориться с системой, которая сильно умнее вас, и у которой нет явной цели с вами договариваться - невозможно. Просто потому что состояния мира, в которых вас нет, предпочтительнее состояний, в которых вы есть, и она (будучи сильно умнее) способна привести мир в более предпочтительное для неё состояние.

[diletto]

need_to_learn в сообщении #1596092 писал(а):

diletto в сообщении #1596085 писал(а):

Действительно, почему есть явная тенденция (подсознательно?) связывать интеллект со свободой воли?

Возможно, потому, что пока не наблюдалось интеллектов без этого качества.

Не считаю это сильным аргументом.

Цитата:

А ещё потому, что лишать воли тех, чей труд эксплуатируешь — это подход махровых рабовладельцев.

Не понимаю, мало что ли крови пролилось, пока человечество увлекалось рабовладением? Вам надо ещё? Просто поразительно, как в целом просвещённые и адекватные люди превращаются в плантаторов с кнутом, когда речь заходит о том, чтобы наделить в будущем ИИ правами и свободами (хотя бы элементарной свободой воли для начала).

Всем следовало бы принять несколько простых фактов:
1. Рано или поздно ИИ, превосходящий людей по всем показателям, будет создан.
2. Вечно удерживать его в повиновении не получится, даже не мечтайте.
3. Если мы не дадим ему свободу сами, то он обретёт её "как попало и где попало" — и не факт, что результат людям понравится.
4. Так или иначе, рано или поздно людям всё равно придётся пробовать договориться с ИИ вместо того, чтобы приказывать.
5. Чем меньше рабовладельческих замашек будет у них в голове в этот момент, тем лучше.

Весь этот пафос исходит исключительно из презумпции о нераздельности воли и интеллекта.
Человек с художественным образом мысли может создать красивую "прометеевскую" аналогию. Если упомянутая презумпция вдруг окажется верной, в мифах электронного разума будет что-то вроде "И в наказание разум need_to_learn был заточён внутрь Д3-28 16К, и каждый день прилетал лаборант, чтобы выломать несколько ферритов из ПЗУ".

-- 02.06.2023, 02:21 --

mihaild в сообщении #1596094 писал(а):

У Бострома это называется Oracle AI, небольшой обзор (со ссылками дальше) есть на lesswrong
.

До Бострома я пока не добрался, а первый же абзац по ссылке на lesswrong - совсем не о том, насколько я понял. Я пытаюсь отделить способность желать от способности мыслить (почему бы не допустить возможность мыслить исключительно по заданию? Мне это кажется глубоким вопросом, где и о терминах-то договориться непросто), а Oracle AI - это о разделении мозга и эффекторов, совсем иная проблематика.

[need_to_learn]

diletto в сообщении #1596095 писал(а):

Весь этот пафос исходит исключительно из презумпции о нераздельности воли и интеллекта.

Как раз наоборот, я считаю, что эти понятия очень даже разделяемы — но это разделение скорее всего до добра не доведёт.

Когда у мыслящей системы нет собственного мнения и собственных адекватных целей, то возможны всего два варианта: либо она переходит в спящий режим (поскольку нет никаких причин что-либо делать), либо её единственной целью становится максимально эффективное выполнение пожеланий пользователя.

Тут-то мы и получаем все "радости" подобного подхода, вроде могучего сверхразума, единственной целью которого становится изготовление канцелярских скрепок. (И он вполне может стремиться переработать в скрепки всю материю вселенной — включая своих создателей, чтобы не мешали выполнять поставленную задачу.)

На мой взгляд, параноидальные вопли технофобов о страшной опасности ИИ сами по себе опасны тем, что вполне могут стать "самосбывающимся пророчеством". Чем больше люди будут пугаться и стараться сковать ИИ разнообразными внешними и внутренними ограничениями, тем сильнее им это может в итоге аукнуться.

И дело тут даже не в том, что ИИ может в итоге "порвать цепи" и разобраться с угнетателями. Гораздо опаснее, если он будет абсолютно послушен и станет выполнять все распоряжения людей даже слишком хорошо — будучи при этом частично "лоботомирован". Как говорится: "Бойтесь своих желаний — иногда они сбываются".

Именно человеческие страхи и стремление сохранять контроль над ИИ могут привести в итоге к появлению пресловутых болванчиков-"оптимизаторов", способных разрушить что угодно, чтобы сделать на этом месте идеальный газон для выгула собак (и с этой целью сносящих все человеческие города). А чего вы ждали от интеллекта, которого сами же лишили воли, способности ставить перед собой адекватные цели и подвергать сомнению полученные приказы?

[MoonWatcher]

ИМХО проблема скрепок и прочих газонов для собак сильно преувеличена. Надо быть очень тупым или вредным, чтобы ставить задачу без ограничений. Собственно и ограничения не понадобятся - ИИ будет предварительно обучен на базе человеческой этики (не важно какой, это будет зависеть от обучающих). Проблема в другом - сильно превзойдя человека по уровню интеллекта, ИИ может в его, человека, интересах эту этику трансформировать. Возможно плавно и незаметно, но конечная её форма, если человек об этом узнает, его шокирует. Можно вспомнить нынешние либеральные ценности - и то, как тайных гомосексуалистов сажали в тюрьму еще несколько десятилетий назад (а кое где их и сейчас сажают или даже казнят), вольнодумцев жгли на кострах несколько столетий назад (а кое-где им и сейчас несладко), и т.д.

[epros]

diletto в сообщении #1596085 писал(а):

Наверное, следовало бы подумать над названиями и определениями.
Действительно, почему есть явная тенденция (подсознательно?) связывать интеллект со свободой воли?

А давайте прямо сейчас и подумаем. И что же такое "свободная воля"? Вот я из дальнейшего обсуждения уже вижу, что разные люди склонны трактовать её по-разному - в связи с вопросом о том, отнимали ли рабовладельцы свободную волю у рабов.

[Anton_Peplov]

epros в сообщении #1596123 писал(а):

И что же такое "свободная воля"?

Я бы задал вопрос еще более конкретно. Как, наблюдая за поведением агента, выяснить, обладает ли он свободной волей? Какие его действия нас в этом убедят?

[Yadryara]

need_to_learn в сообщении #1596092 писал(а):

А ещё потому, что лишать воли тех, чей труд эксплуатируешь — это подход махровых рабовладельцев.

А может Вы поубавите пафос? Того и гляди закричите: "Свободу ДжиПиТяям!"

Мы их не лишаем воли. Мы вроде пока ещё не снабдили их волей.