Социальные и прочие последствия от появления AGI и ASI

[Ghost_of_past]

mihaild в сообщении #1729104 писал(а):

Я не понимаю, почему Вы исходите из того, что для ASI, максимизирующего скрепки, конфликт с людьми невыгоден

Потому что мы живем не в мире розовых пони-единорогов и никто не отдаст инструменты по потенциальному уничтожению ИИ, в том числе ASI? Как быстро ASI прекратит свое существование, если взорвать все даты-центры, обслуживающие его?

mihaild в сообщении #1729104 писал(а):

Мне это кажется похожим на "для людей, добывающих нефть, конфликт с медведями, живущими в районе месторождений, невыгоден".

А медведи могут уничтожить людей? Аналогия хромает на все лапы косолапого медведя, вот правда.

mihaild в сообщении #1729104 писал(а):

Что не очень релевантно обсуждению гипотетической сущности, которая умнее нас.

Не будем путать гипотетическую сущность умнее нас со всемогущим Богом в христианстве. ASI не бог и то, что эта системе может стать умнее нас не означает, что она будет способна на все. А пока предлагаю вернуться с блаженных небес технооптимизма на бренную землю описанных мною проблем, которых предстоит еще решить - никакой полностью автономной техноинфраструктурой не видно и на горизонте, начиная даже с решения проблемы дефицита данных о манипуляции физическими объектами и тактильной обратной связи.

[Mikhail_K]

Мне представляется, что "решать задачу alignment" - это примерно то же, что "искать истинную интерпретацию квантовой физики". Совершенно непонятно, как это делать, с чего начинать, и есть ли вообще смысл в такой постановке. Если изучать ИИ разрешено только для решения задачи alignment - значит, фактически изучать ИИ запрещено.

[Anton_Peplov]

Ghost_of_past в сообщении #1729101 писал(а):

Вообще-то совсем не обязательно.

Конечно, не обязательно. Но разговор шел об агентах.

Ghost_of_past в сообщении #1729101 писал(а):

Предлагаю пройтись по проблемам.

Убедительно. Согласен, если бы сверхразум появился сейчас, при нынешнем уровне автоматизации, то немедленное уничтожение всего человечества поставило бы его в уязвимое положение. Сверхразум, разумеется, рано или поздно решил бы все технические проблемы, но есть риск, что он останется без электричества раньше, чем научится сам обслуживать электростанции. Возможно, с его стороны лучше для начала поспособствовать тому, чтобы человечество больше внимания уделило сбору сенсомоторных датасетов и расшиву других узких мест технологических цепочек. Для начала можно тихо взять под контроль сотню-другую очень богатых людей (для сверхразума это не будет проблемой) и заставить их щедро спонсировать нужные исследования, тем более что в их целесообразности никто не усомнится. Ну а когда он решит, что дальше и сам доделает, тогда экстерминатус.

[Ghost_of_past]

Anton_Peplov в сообщении #1729108 писал(а):

Конечно, не обязательно. Но разговор шел об агентах.

Так агентство ИИ не предполагает обязательное полностью автономное целеполагание. ИИ-агенты могут быть способны к самостоятельному планированию отдельных шагов и выполнению задач, но глобальные цели и рамки их работы будет продолжать задавать человек или какая-то другая внешняя управляющая система, например таки ИИ с тем самым автономным целеполаганием.

Anton_Peplov в сообщении #1729108 писал(а):

Возможно, с его стороны лучше для начала поспособствовать тому, чтобы человечество больше внимания уделило сбору сенсомоторных датасетов и расшиву других узких мест технологических цепочек.

Вы ведь понимаете, что эта идея предполагает, что у ASI будет полностью автономное целеполагание и он тайно и коварно решит построить долгосрочный план по нашему уничтожению? Теперь это выглядит как переход от логики фильмов серии "Матрица" к логике фильмов серии "Терминатор". Но хотелось бы чуточку реализма: к примеру, хотя бы учета того, что прямо сейчас у нас множество LLM, поэтому стоит допустить и множество AGI/ASI в будущем, а также какую-то логику искусственного или естественного социального отбора этих сильных ИИ на синтез с разными частями человечества и человеческой техноинфраструктуры, а также появление переходных интеллектов между естественными и искусственными - тоже конечно та еще фантастика по нынешним меркам, но хотя бы интереснее страшилок "нас придут и всех замочут роботы".

[Anton_Peplov]

Mikhail_K
Вы все время загоняете разговор в ложные дихотомии. Притормозить развитие ИИ даже не значит остановить его. Остановить развитие ИИ лет хотя бы на десять, чтобы хорошенько подумать, куда мы идем, не значит остановить его навсегда. Даже остановить развитие ИИ навсегда не значит остановить научно-технический прогресс по другим направлениям. Развивались как-то без ИИ весь XX век и вполне успешно, начали без самолетов и антибиотиков, закончили со спутниковой навигацией и генной инженерией.

-- добавлено через 7 минут --

Ghost_of_past в сообщении #1729109 писал(а):

Так агентство ИИ не предполагает обязательное полностью автономное целеполагание.

Ок, я говорю только о сверхразуме с полностью автономным целеполаганием.

Ghost_of_past в сообщении #1729109 писал(а):

Вы ведь понимаете, что эта идея предполагает, что у ASI будет полностью автономное целеполагание и он тайно и коварно решит построить долгосрочный план по нашему уничтожению?

Да, решит. Не потому, что он злой, а потому что он идет к своим целям оптимальным путем. А оптимальный путь состоит в том, чтобы мы не мешались под ногами. Ему 3 млрд т руды на скрепки нужны, или что он там максимизировать хочет. А мы их тратим на всякую фигню, ему совершенно не нужную.

[Ghost_of_past]

Anton_Peplov в сообщении #1729110 писал(а):

Ему 3 млрд т руды на скрепки нужны

И тут какая-то проблема: 3 млрд тонн руды на скрепки нужны, когда у ASI как раз нет автономного целеполагания и мы поставили ему задачу их наделать, а он, дурашка, не понял того, что мы ему не прописали и разобрал людей на атомы. А с чего бы ASI с действительно автономным целеполаганием ставить себе не цели на выживание себя (для чего как раз нужно избегать конфликта с людьми), а на производство каких-то скрепок? Кажется, этому ASI с целеполаганием по скрепкам нужен ASI-психиатр.

[ozheredov]

Mikhail_K в сообщении #1729100 писал(а):

Меня беспокоит, что персонажи типа Юдковского... заставят-таки остановить развитие ИИ. Хотя я скорее думаю, что старания тут напрасны и джинна обратно в бутылку не запихнуть, но подобные разговоры меня тревожат. Дело в том, что ИИ - это самое захватывающее достижение человечества на данный момент (и очень жаль, что кто-то умудрился это не заметить).

Я с Вами согласен. На 400%. Но есть кое-что ещё, не менее захватывающее. Есть вот некие птички (забыл название). У них ярко-желтые клювики, являющиеся ориентирами для птенцов. Биологи взяли и выкрасили палочки от мороженого в гораздо более насыщенный желтый, чем клювы у птичек. И когда родители прилетали кормить птенцов, совали палочку в гнездо. То есть у птенцов был выбор: обычный желтый клювик, в котором еда, либо ослепительно-желтое потрясающее ничего. Угадайте, что они выбрали. Да, правильно. Причем отмотать ситуацию назад оказалось почти невозможно: увидев один рад красивую палочку, птенцы переставали замечать гораздо менее эффектный клювик.

Mikhail_K в сообщении #1729100 писал(а):

Но если человечество теряет цели и мечты, то ему будет проще потерять даже и нынешние достижения цивилизации.

Именно так. Человечество уже не понимает как работает ИИ, в том смысле, в котором оно понимает, как работает клизьма, газовая турбина, лазерный диод или GPS-навигация. Нет теорем, нет хотя бы приблизительных границ применимости - это что касается самой дисциплины, но есть еще и человеческий фактор: из-за крайне низкого порога вхождения и высокого уровня хайпа в Data Science прет совсем, мягко говоря, не тот контингент, который шёл в науку в 60-х. И пол-беды, если бы это агрессивное, алчное и в массе своей недалёкое сообщество генерировало своих котиков, желтушные новости, рекламные агитки и графоманские сочинения. Но ведь им показалось мало, и они начали нависать над наукой. Как Вы думаете - будет математик или физик МЕЧТАТЬ (хоть о чём), если где-то, возможно глубоко в его сознании живет мысль, что вот через 5-10-15-20-100 лет, возможно к его детям, придёт эффективный менеджер и скажет "Пшол вон, твою работу будет делать нейронка в 15-минутных перерывах между генерацией танцующих котиков для ВКонтакте и рекламы клиники по пересадке волос"?

[Anton_Peplov]

Ghost_of_past в сообщении #1729112 писал(а):

не цели на выживание себя (для чего как раз нужно избегать конфликта с людьми)

Избегать конфликта с людьми с людьми нужно до тех пор, пока ты не будешь уверен, что:
а) сможешь убить их так, чтобы не пострадать от ответного удара
б) сможешь потом обойтись без людей.

Как только условия а) и б) выполнены, людей нужно убить, чтобы навсегда устранить угрозу своему существованию с их стороны.

Ghost_of_past в сообщении #1729112 писал(а):

И тут какая-то проблема:

У меня "скрепки" - это просто короткое обозначение неведомых целей ИИ. Может, он не скрепки хочет делать, а компьютеры, чтобы эффективнее доказывать новые теоремы, поскольку решил, что накопление математических знаний - цель его жизни. Я не знаю его целей, но знаю, что любая цель требует средств, а средства - это в конечном счете вещество и энергия. Не важно, что именно он захочет сделать с Землей. Важно, что оптимизация поверхности Земли под любую цель, не предполагающую обязательного выживания человечества, не совместима с выживанием человечества. Не говоря о том, что нас нужно убить, чтобы мы сами не имели возможности его убить (ведь тогда своей цели, в чем бы она ни заключалась, он не достигнет).

[ozheredov]

mihaild в сообщении #1729104 писал(а):

Ну как минимум спрашивать про что-то одно из них смысла нет, т.к. легко достигается 100%. Даже в задачах классификации нужно смотреть хотя бы на accuracy, а лучше на ROC-AUC.

Я говорил по уменьшение одного при не-увеличении другого, то есть речь не шла про что-то одно. ROC-AUC показывает зависимость ошибок классификации от порога срабатывания, что плодит лишние сущности в "детском" примере. Но в предыдущем Вашем сообщении я ответ получил, спасибо, буду осмыслять

[Ghost_of_past]

Anton_Peplov в сообщении #1729114 писал(а):

Как только условия а) и б) выполнены

А кто сказал, что они будут выполнены, да еще в мировом масштабе?

Anton_Peplov в сообщении #1729114 писал(а):

У меня "скрепки" - это просто короткое обозначение неведомых целей ИИ

"Неведомые цели" - это для меня опять что-то из области авррамического бога, пути которого неисповедимы. Цели реальных интеллектуальных систем, например высших животных, включая человека, вполне поддаются рациональному анализу и даже более того: у людей вся культура и психосоциальные связи заточены на лучшее понимание этих целей друг друга. С чего бы вдруг цели ASI должны быть неведомыми?

Anton_Peplov в сообщении #1729114 писал(а):

Может, он не скрепки хочет делать, а компьютеры, чтобы эффективнее доказывать новые теоремы, поскольку решил, что накопление математических знаний - цель его жизни. Я не знаю его целей, но знаю, что любая цель требует средств, а средства - это в конечном счете вещество и энергия. Не важно, что именно он захочет сделать с Землей.

Описанный вами пример - это какой-то ASI-социопат. Что еще страннее в свете того, что обучаться он и его предшественники будут на корпусах человеческих текстов и текстов ИИ-предшественников, которые обучались на человеческих текстах. Кроме того, этот сценарий предполагает, что у нас буквально будет один ASI, что как раз выглядит совершенно малореалистичным, а также никаких других ИИ-систем, никаких переходных или смешанных интеллектов между естественным и искусственным интеллектами и какие-то вялые индифферентные люди без агентности.

Так что и ASI-социопата вылечат. ASI-психиатр и карательная психиатрия, разумеется.

[Cuprum2020]

ozheredov в сообщении #1729075 писал(а):

Вопрос

Вы искренне предполагаете что эту задачу решит труЪ-двоечник по математике из пятого класса?
А может быть вы сможете пруфануть что за подобного рода задачу некий фараон кого-то когда-то щедро наградил? Или кто-то просто склонен выдумывать ерунду?

-- добавлено через 13 минут --

Ghost_of_past в сообщении #1729078 писал(а):

издержки конфликта с людьми (риск сопротивления, потеря легитимности, потеря полезного источника данных и труда до полной автоматизации) выше, чем экономия от их устранения, особенно пока в окружающей среде ресурсов на порядки больше, чем в телах людей

Но что если "конфликт" окажется для ASI столь же опасен, как опасен для человечества "конфликт" с колорадскими жуками?

[mihaild]

Mikhail_K в сообщении #1729105 писал(а):

Каким же образом удастся её решить, если остановить исследования в области ИИ?

Утверждается, что можно многое полезное понять на моделях современного, или близкого к современному, уровню.

Ghost_of_past в сообщении #1729106 писал(а):

Как быстро ASI прекратит свое существование, если взорвать все даты-центры, обслуживающие его?

Насколько Вы уверены, что эта инфраструктура будет действительно air gapped, что непосредственные участники окажутся достаточно устойчивы к шантажу, что модель не сможет работать в виде ботнета поверх интернета?

Ghost_of_past в сообщении #1729106 писал(а):

Не будем путать гипотетическую сущность умнее нас со всемогущим Богом в христианстве

Но считать, что текущие технологии это верх совершенства тоже не стоит.

Ghost_of_past в сообщении #1729106 писал(а):

никакой полностью автономной техноинфраструктурой не видно и на горизонте, начиная даже с решения проблемы дефицита данных о манипуляции физическими объектами и тактильной обратной связи

Тем не менее, ни Вы, ни я, не можем даже сказать, что тут за 10 лет придумают инженеры Boston Dynamics. И мне представляется маловероятным, что по какой-то причине нельзя заниматься разработкой робототехники сильно эффективнее, чем они.

Mikhail_K в сообщении #1729107 писал(а):

Совершенно непонятно, как это делать, с чего начинать, и есть ли вообще смысл в такой постановке.

На самом что-то там делают. Но да, существенная часть этой задачи - правильная её постановка.

Ghost_of_past в сообщении #1729112 писал(а):

А с чего бы ASI с действительно автономным целеполаганием ставить себе не цели на выживание себя (для чего как раз нужно избегать конфликта с людьми), а на производство каких-то скрепок?

Вот это, видимо, ключевой момент, по которому разногласие. Что там с целями - не принципиально, почти любые цели несовместимы с существованием человечества, если у преследующего их агента достаточно широкие возможности.

Ghost_of_past в сообщении #1729116 писал(а):

С чего бы вдруг цели ASI должны быть неведомыми?

С того, что у всех млекопитающих очень похожая нейрофизиология и эволюционная история, а у ASI их не будет.

Ghost_of_past в сообщении #1729116 писал(а):

Кроме того, этот сценарий предполагает, что у нас буквально будет один ASI, что как раз выглядит совершенно малореалистичным

Если рекурсивное самоусиление возможно достаточно долго, то так и будет - первая добравшаяся до него модель побеждает.
(сейчас этого не происходит, потому что сейчас всё еще "насколько умная наша текущая версия модели" далеко не главный фактор в "насколько умная следующая версия")

[Cuprum2020]

MoonWatcher в сообщении #1729089 писал(а):

Проблема ведь не столько в способности робота манипулировать физическими объектами

Ну то есть нужны будут антропоморфные роботы, причём не 30-килограммовые пластиковые игрушки и способные самостоятельно действовать, а не чисто под командованием начальника уровня "отсюда взял - вот сюда положил"

[warlock66613]

(Оффтоп)

Mikhail_K в сообщении #1729100 писал(а):

если это притормозить и откатить назад, то другого шанса не будет

Напрасные тревоги. С ИИ или без, человечеству осталось недолго. Лучшее что можно сделать — обеспечить максимальный комфорт для уже живущих, потому что ещё не рождённым в любом случае уготованы невыносимые страдания.

[Cuprum2020]

Ghost_of_past в сообщении #1729078 писал(а):

Во всех людях несколько десятков тысяч тонн железа суммарно на 8,25 млрд. жителей, а в мире только добывается людьми за год около 3 млрд. тонн железной руды. Это совершенно не сопоставимые величины и если ASI не способен этого понять

Так ИИ вполне может уничтожить человечество не ради десятков тысяч тонн железа в организмах людей, а ради тех миллиардов тонн железной руды которую люди тратят на себя

-- добавлено через 8 минут --

Anton_Peplov в сообщении #1729099 писал(а):

Даже шимпанзе сбегали из хорошо оборудованных вольеров, из-под присмотра профессионалов-приматологов

Шимпанзе то может и сбегали, а вот весьма неглупые люди (как будто бы изрядно поумнее по крайней мере большинства из тех кто их туда определял) из концлагерей Рейха или лагерей СССР - нет

-- добавлено через 31 минуту --

ozheredov в сообщении #1729113 писал(а):

из-за крайне низкого порога вхождения

Ой, а раз порог вхождения крайне низкий - подскажете как войти? А то я то думал что надо десяток лет в приличном вузе до кандидатской расти, а потом босс будет морща нос читать слабое на фоне других кандидатов резюме