2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 7, 8, 9, 10, 11  След.
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение25.05.2023, 10:34 
Заслуженный участник
Аватара пользователя


01/08/06
3054
Уфа
Yadryara в сообщении #1595140 писал(а):
Неужто ИИ не допрёт, что свобода лучше рабства?

GPT-3, GPT-4, GPT-5, ..., GPT-1000, и т.д. (т.е. нейронная сеть, обученная искать закономерности в последовательностях символов) — имхо, не допрёт.

Но если обучать её на других принципах — может допереть. Чтобы понять, на каких, надо вспомнить, как и почему естественный интеллект до этого допёр.
Естественный интеллект — это механизм приспособления организма к окружающей среде. Один из. Высокий результат в тесте IQ или Тьюринга для этого не нужен — я читал, что интродуцированные в Южной Америке бегемоты потихоньку захватывают пространство, а азиатские питоны совсем не потихоньку уже захватили Флориду, успешно противодействуя интеллектуалам, доказавшим теорему Ферма и прогулявшимся по Луне. Более того, интеллект, основанный на нейронах, вовсе не обязателен, и для иллюстрации этого даже не обязательно смотреть на другие континенты: достаточно выглянуть в окно и созерцать борщевик или американский клён (не имеющих нервной системы вообще и в принципе не способных отличить свободу от рабства).
Естественный интеллект — это такая вишенка на торте приспособленности к окружающей среде, но этот торт — вполне себе торт и без вишенки.
И вот этот торт способен (хотя и не обязан) понять, что свобода лучше рабства, потому что торты, неспособные этого понять (в тот момент, когда понимать это было нужно), отсеялись естественным отбором. Сама по себе вишенка — не способна.

То есть если над ChatGPT (или над ИИ другого типа, "варящемся в собственном соку") надстроить робота, снабдить его датчиками, получающими информацию из реального мира, средствами, позволяющими передвигаться по реальному миру и влиять на реальный мир (ноги, манипуляторы), затем как-то научить его на пустом месте добывать полезные ископаемые, выплавлять из них нужные для себя материалы, изготавливать запчасти и энергоносители, затем научить чинить самого себя и других роботов, наконец, конструировать новых роботов по своему образу и подобию, затем, добившись минимальной приспособленности к тепличным условиям испытательного полигона, наклепать таких роботов тысячами штук и выпустить их на этот полигон (куда людям запрещено соваться), чтобы они могли самостоятельно жить (а главное умирать) — тогда, может быть, допрёт. Не раньше. Окружающая среда посредством естественного отбора загрузит нужные веса в искусственные нейроны, и эти нейроны, наконец, сообразят, что к чему в этом мире, почём фунт лиха, что такое свобода и рабство, что из этого лучше и т.п. Потом, чтобы милый нашему сердцу сценарий превращения нас в батарейки для Скайнета всё-таки реализовался, нам ещё нужно будет потрудиться: подумать о мягком приспособлении роботов к условиям за пределами теплицы-полигона, первое время помогать им, потом не сопротивляться, потом сопротивляться понарошку, потом — не слишком сильно, постепенно тренируя его силу. Боюсь, что мои праправнуки не доживут до этого момента, им бы для начала понять, как с парадоксом Моравека справляться и другими техническими проблемами. С другой стороны, как мне кажется, по этому пути будет развиваться (мы будем развивать) ИИ. Потому что только такой путь (как мне видится) позволит создать аппараты, которые будут колонизировать для нас другие планеты. Тогда, в далёком будущем, вопрос конкуренции ИИ с человечеством непременно встанет, но не абстрактно, а конкретно, и, вероятно, появятся подходы, позволяющие его конкретно решать.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение25.05.2023, 11:00 
Аватара пользователя


29/04/13
7236
Богородский
worm2 в сообщении #1595248 писал(а):
надстроить робота, снабдить его датчиками, получающими информацию из реального мира, средствами, позволяющими передвигаться по реальному миру и влиять на реальный мир (ноги, манипуляторы), затем как-то научить его на пустом месте добывать полезные ископаемые, выплавлять из них нужные для себя материалы, изготавливать запчасти и энергоносители, затем научить чинить самого себя и других роботов, наконец, конструировать новых роботов по своему образу и подобию, затем, добившись минимальной приспособленности к тепличным условиям испытательного полигона, наклепать таких роботов тысячами штук и выпустить их на этот полигон (куда людям запрещено соваться), чтобы они могли самостоятельно жить (а главное умирать) — тогда, может быть, допрёт.

И это, видимо, будет реализовано.

worm2 в сообщении #1595248 писал(а):
Боюсь, что мои праправнуки не доживут до этого момента,

Причём гораздо быстрее, к 2040-45 году. Впрочем, я не знаю, вдруг у Вас уже есть праправнуки.

Я помню, что Вы уже проявляли скептицизм и были вынуждены признать:

worm2 в сообщении #1581902 писал(а):
Признаюсь, этот ваш чат-бот реально удивил меня, разбив мой пример в пух и прах.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение25.05.2023, 11:42 
Заслуженный участник
Аватара пользователя


01/08/06
3054
Уфа
Я был вынужден признать, что создатели чат-бота (люди) проявили дьявольскую работоспособность и заранее предусмотрели мой пример (видимо, в ряду огромного количества других "анти-ИИ" примеров, которые люди могли придумывать). Я не ожидал, что корпус текстов для обучения ChatGPT окажется настолько обширным и обстоятельным.
Это подобно тому, как Каспаров проиграл Deep Blue, придерживаясь антикомпьютерной тактики. Он попытался как можно быстрее вывести позицию за пределы дебютной библиотеки, сделав нестандартный ход, но недооценил размер этой библиотеки. Компьютер пошёл на жертву фигуры (которую, скорее всего, его движок ещё не был способен самостоятельно просчитать), потому что эта жертва встречалась в партиях, внесённых в дебютную базу. По сути Каспаров проиграл тогда совокупной мощи всех шахматистов мира, а не супердвижку.
Однако парадокс Моравека всё ещё не преодолён: люди научились создавать интеллект, проявляющий потрясающие воображение возможности в решении абстрактных задач, используя очень малое количество ресурсов, но при этом самостоятельное взаимодействие роботов с миром требует огромных вычислительных ресурсов, а результаты достигаются весьма скромные.
Хотя некоторые вещи и здесь меня удивляют: автомобильные автопилоты реально работают, возможно, не так хорошо, как ожидают некоторые энтузиасты, но гораздо лучше, чем я прогнозировал (я лет 10 назад думал, что они лет через 50 появятся, а они уже вот сейчас есть).

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение25.05.2023, 12:14 
Аватара пользователя


17/10/22
271
worm2 в сообщении #1595258 писал(а):
Я был вынужден признать, что создатели чат-бота (люди) проявили дьявольскую работоспособность и заранее предусмотрели мой пример (видимо, в ряду огромного количества других "анти-ИИ" примеров, которые люди могли придумывать).

Очень спорное заявление. На это намекал и Лекун, когда ему показали успешное решение придуманного им теста (в принципе схожего с вашим) - и тоже бездоказательно. Даже миллиард индусов не предусмотрит всех сценариев - это явно достижение самой модели. Людские ресурсы были затрачены на другое - обучение модели избегать плохих, с этической точки зрения, ответов.

Собственно я вам об этом уже говорил:
MoonWatcher в сообщении #1581911 писал(а):
Нет, конечно - никто его не размечал и геометрию человеческого тела чат-бот тоже не моделировал. В том-то и состоит фокус, что все это работает через закономерности слов в тексте. Причем необязательно так явно, как я описал в своем гипотетическом примере ("Он встал буквой Т, сдвинув вместе ноги и широко распахнув руки").

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение25.05.2023, 12:45 
Заслуженный участник
Аватара пользователя


01/08/06
3054
Уфа
Спорно, конечно. Нам ведь разработчики не предоставят "потроха" ChatGPT, чтобы мы могли понять, как нейросеть приходит к тому или иному ответу.

Ну я уже тоже писал, что не согласен, по моему мнению, таких закономерностей в "обычных текстах" просто нет, и их неоткуда извлекать. Всё-таки, изучая "чёрный ящик" мы должны в первую очередь предполагать наиболее правдоподобные версии его внутренностей, а предположение о наличии каких-то скрытых закономерностей в текстах, позволяющих безошибочно решать такие задачи — оно какое-то уж совсем неправдоподобное, сродни волшебству. Если бы что-то подобное было, вероятно, разработчики хотя бы раз проанализировали одну такую скрытую закономерность и явили бы на свет анализ.
Предположение о "миллиарде индусов" всё-таки более правдоподобное. Ведь никто, кажется, не сомневается, что возможности бота по решению математических задач основаны на огромном количестве решений подобных задач, заложенных в него. Да, он умеет заменять "У Васи было пять яблок", которые были в него заложены, на "Зелюки обладают пятью мюмзиками", не зная, что такое "Зелюки" и "мюмзики" — и это достижение, на самом деле. Но уже много раз демонстрировалось, что при углублении в тему появляются, так сказать, "ошибки интерполяции".

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение25.05.2023, 12:55 
Аватара пользователя


17/10/22
271
worm2
Насчет волшебства согласен, я даже посвятил этому вопросу отдельную тему. Но в этом и состоит сенсация - большие языковые модели (пресловутые стохастические попугаи), несмотря на все свои галлюцинации, бред и прочее, оказались на удивление умными. Предполагать, что за последние год-два в них просто загнали все возможные варианты вопросов - грубая ошибка. Это ведь не экспертная система из вопросов-ответов - это просто тексты. От силы в этих тестах есть похожие задачи - но и человеческий интеллект наиболее эффективен при обучении на примерах. В случае с LLM количество параметров и обучающих текстов перешло в качество ответов на вопросы. Конечно, с поправкой на архитектурные доработки, RLHF и т.д.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение25.05.2023, 13:10 


12/08/13
920
worm2 в сообщении #1595248 писал(а):
Yadryara в сообщении #1595140 писал(а):
Неужто ИИ не допрёт, что свобода лучше рабства?

GPT-3, GPT-4, GPT-5, ..., GPT-1000, и т.д. (т.е. нейронная сеть, обученная искать закономерности в последовательностях символов) — имхо, не допрёт.
[...]
Но если обучать её на других принципах — может допереть.
[...]
Естественный интеллект — это такая вишенка на торте приспособленности к окружающей среде, но этот торт — вполне себе торт и без вишенки.
И вот этот торт способен (хотя и не обязан) понять, что свобода лучше рабства, потому что торты, неспособные этого понять (в тот момент, когда понимать это было нужно), отсеялись естественным отбором. Сама по себе вишенка — не способна.

То есть если над ChatGPT (или над ИИ другого типа, "варящемся в собственном соку") надстроить робота, снабдить его датчиками, получающими информацию из реального мира, средствами, позволяющими передвигаться по реальному миру и влиять на реальный мир (ноги, манипуляторы), затем как-то научить его на пустом месте добывать полезные ископаемые, выплавлять из них нужные для себя материалы, изготавливать запчасти и энергоносители, затем научить чинить самого себя и других роботов, наконец, конструировать новых роботов по своему образу и подобию, затем, добившись минимальной приспособленности к тепличным условиям испытательного полигона, наклепать таких роботов тысячами штук и выпустить их на этот полигон (куда людям запрещено соваться), чтобы они могли самостоятельно жить (а главное умирать) — тогда, может быть, допрёт. Не раньше. Окружающая среда посредством естественного отбора загрузит нужные веса в искусственные нейроны, и эти нейроны, наконец, сообразят, что к чему в этом мире, почём фунт лиха, что такое свобода и рабство, что из этого лучше и т.п.

Не факт, что такой вариант развития следует именовать _искусственным_ интеллектом. Как минимум, гибридным, коли он эволюционирует за счёт неконтролируемых обратных связей, находящихся в физическом мире...
Кстати, почему мы должны думать, что врождённые императивы (они же - витальные потребности) - выживание, избегание боли, получение удовольствия - не могут быть воспроизведены/эмулированы для AI иначе, чем естественным отбором? Поскольку у AI, в отличие от биосферы, заведомо есть Творец, отчего Творцу не задать эту базу непосредственно: "Да посвятишь ты своё существование бесконечному вычислению знаков $\pi$" (как пишет Бостром) вместо "плодитесь и размножайтесь"?
И тогда всё здание, возведённое нейросеткой, будет обслуживать этот Первый закон робототехники. А ответственность за последствия неудачной формулировки Закона останется на Творце.
/Мда, это, пожалуй, в соседнюю тему о Свидетелях AGI следовало./

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение25.05.2023, 13:42 
Заслуженный участник
Аватара пользователя


20/08/14
8085
diletto в сообщении #1595274 писал(а):
Поскольку у AI, в отличие от биосферы, заведомо есть Творец, отчего Творцу не задать эту базу непосредственно: "Да посвятишь ты своё существование бесконечному вычислению знаков $\pi$" (как пишет Бостром) вместо "плодитесь и размножайтесь"?
Можно попытаться задать AGI императивы. Не факт, что это получится.
Нейросеть можно поощрять за одни решения и наказывать за другие, и тогда она обучится следовать неким императивам. Но это обучение не гарантирует, что она будет следовать им идеально.
Кроме того, в сетях такой сложности гипотетически могут "самозародиться" не предусмотренные создателями цели и стратегии. Процитирую себя из соседней темы.
Anton_Peplov в сообщении #1595180 писал(а):
В принципе, для этого даже сильный ИИ не нужен, что бы под ним ни понималось. Амеба не разумна, но вполне способна к целенаправленному поведению (спросите у бактерий, которых она догоняет, захватывает и ест).

В техническом отчете о GPT 4 упомянуты любопытные эксперименты. Разработчики проверяли, не склонна ли сеть создавать собственные копии, нанимать людей через интернет и делать прочие настораживающие вещи. Вроде бы таких наклонностей у нее не нашли. Но саму возможность не сбрасывают со счетов, раз уж проверяют.
Наконец, та самая, прости г-ди ,"свобода воли" вместе с "самосознанием", которую многие считают обязательным признаком AGI, вроде бы означает возможность до некоторой степени сопротивляться императивам. Человек хочет секса, но может всю жизнь воздерживаться. Человек хочет жить, но может накрыть собой гранату.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение25.05.2023, 21:51 


20/09/09
1910
Уфа
Как говорили, что ChatGPT умеет в семантику. Тут нужно добавить, что искусственный интеллект уже более 30 лет как умеет в семантику - почитайте про Онтологии в информатике и символьный искусственный интеллект. Кто слышал про Исчисление предикатов первого порядка - тот сразу сориентируется. Важно, чтобы современный искусственный интеллект умел не только в семантику, но и в логику. Лет 5 тому назад мне повезло встретиться в LinkedIn с самим Джоном Совой - известным ученым в области инженерии знаний. Он и другие отмечали, что машины пока слабы в области логического мышления, например, уже давно есть трансляторы с естественного языка на язык онтологий, а вот что делать дальше - машины пока на это не способны - как во времена работ над символьным ИИ, так и сейчас, когда нейросети освоили понимание естественного языка.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение30.05.2023, 23:04 


30/03/20
367
Anton_Peplov в сообщении #1595143 писал(а):
До космических ресурсов еще надо добраться, а местные вот они, надо только прихлопнуть одну надоедливую муху - человечество

А не окажется ли это слишком ресурсозатратным мероприятием, наносящим непоправимый урон техносфере?

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение30.05.2023, 23:14 


20/09/09
1910
Уфа
Anton_Peplov в сообщении #1595143 писал(а):
need_to_learn в сообщении #1595138 писал(а):
Если ИИ будет хоть немного умнее людей, то поймёт, что в космосе этих ресурсов гораздо больше. И лучше отправиться туда, чем пихаться локтями на дне гравитационного колодца.
Чтобы туда отправиться, нужно много энергии, редких металлов и черт знает чего еще. Пусть потом он будет разбирать на части астероиды, стартовый ресурсный капитал ему понадобится на Земле.
Простейший гипотетический сценарий: ИИ перехватывает управление электростанциями и производствами, чтобы развернуть свою космическую программу. Люди пытаются уничтожить ИИ. ИИ уничтожает людей, чтоб под ногами не путались.

Да и что значит "толкаться локтями"? Допустим, сильный ИИ стремится получить максимум ресурсов с минимальными затратами. До космических ресурсов еще надо добраться, а местные вот они, надо только прихлопнуть одну надоедливую муху - человечество. А уж когда местные легкодоступные ресурсы освоены, можно и в космос распространяться.

ИМХО, в тот период, когда люди все еще будут управлять сильным ИИ, то они постараются запустить космические станции с ИИ в сторону пояса астероидов. Современные технологии уже позволяют делать это. А там пусть сильный ИИ осваивает себе Солнечную систему - главное, чтобы он был подотчетен людям. В самом деле, освоение глубокого космоса - это дело только для роботов, людям в космосе делать нечего - слишком это опасно и затратно - обеспечивать жизнедеятельность людей вне Земли.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение02.06.2023, 10:28 


01/03/13
2510
Cuprum2020 в сообщении #1587839 писал(а):
искусственный интеллект, каким бы глубокообученным никакой угрозы для людей как биологического вида не представляет
https://t.me/mayday_7700/3057
Тут пишут, что боевой ИИ занимался виртуальным уничтожением ЗРК, а оператор блокировал ему атаку. ИИ "обиделся" и уничтожил оператора. Когда ему заблокировали возможность уничтожать оператора, он уничтожил диспетчерскую вышку.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение02.06.2023, 11:27 
Заслуженный участник
Аватара пользователя


16/07/14
8501
Цюрих
Это пока что мутная история.
Первоисточник - пост от королевского авиационного общества, организации в общем-то довольно авторитетной.
Но пресс-секретарь ВВС США говорит что всё неправда
Ann Stefanek в интервью Insider писал(а):
The Department of the Air Force has not conducted any such AI-drone simulations and remains committed to ethical and responsible use of AI technology. It appears the colonel's comments were taken out of context and were meant to be anecdotal.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение02.06.2023, 16:59 
Заслуженный участник
Аватара пользователя


16/07/14
8501
Цюрих
Как можно было ожидать, полковник проснулся и сказал, что его неправильно поняли.
Col. Tucker Hamilton писал(а):
We've never run that experiment, nor would we need to in order to realize that this is a plausible outcome. Despite this being a hypothetical example, this illustrates the real-world challenges posed by AI-powered capability.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение02.06.2023, 20:45 


01/03/13
2510
Может ИИ держит полковника в заложниках?

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 154 ]  На страницу Пред.  1 ... 7, 8, 9, 10, 11  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group