Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1 ... 13, 14, 15, 16, 17, 18, 19 ... 22  След.
 Re: Социальные и прочие последствия от появления AGI и ASI
 !  Убедительная просьба перестать мериться научностью.

 Re: Социальные и прочие последствия от появления AGI и ASI
Аватара пользователя
Ghost_of_past в сообщении #1729078 писал(а):
а RLI не особо
Fable там 15.88%, а Opus 4.8 - 8.33%. Вроде прогресс есть.
Плюс т.к. там SxS против людей, то к прогрессу у моделей, пока они хуже людей, это число не особо чувствительно. А рейтинг Эло для моделей после 2025 года они, вроде бы, не публиковали.
Ghost_of_past в сообщении #1729078 писал(а):
Это совершенно не сопоставимые величины и если ASI не способен этого понять, то это и есть сверхтупость
Он может быть в состоянии это понять, и, тем не менее, иметь план, как осмысленно потратить лишние 10 тонн поверх нескольких сотен миллионов.
Ghost_of_past в сообщении #1729078 писал(а):
у него есть возможность посчитать, что издержки конфликта с людьми (риск сопротивления, потеря легитимности, потеря полезного источника данных и труда до полной автоматизации) выше, чем экономия от их устранения
У него есть возможность посчитать, выше они или нет. Мне совершенно не очевидно, что эти издержки правда выше. Я бы скорее ожидал, что для достаточно умного агента (если мы внезапно не упрёмся в то, что интеллект сильно умнее людей, или физические действия с эффективностью людей, но без агентности, почему-то невозможны) будет наоборот.

ozheredov в сообщении #1729080 писал(а):
И что, число нераспознанных уменьшится (при том же или лучшем FalsePositiveRate)?
Это надо замерять по чему-то более разумному, чем FPR. Но в целом так бывает, см. https://arxiv.org/abs/1805.04770 и https://arxiv.org/abs/2206.08491.
И это просто self distillation. Есть еще RLAIF (reinforcement learning from AI feedback) - когда мы используем модель для определения, правильный ли ответ сгенерирован, и дальше учим генерировать больше или меньше таких ответов. Или мы даём модели сделать много попыток, а потом учим сразу из задачи генерировать попытку, оказавшуюся правильной.

 Re: Социальные и прочие последствия от появления AGI и ASI
Аватара пользователя
Cuprum2020 в сообщении #1729070 писал(а):
А как возможно прочувствовать 100-кратное улучшение на бесплатно доступных нейросетях?

Пока, вероятно, никак. И вообще сильно сомневаюсь, что модель стала настолько умнее в целом - подозреваю, что ее на решение таких задач просто натаскали.

Cuprum2020 в сообщении #1729070 писал(а):
А как этот самый ИИ заменит рядового слесаря? Да даже и грузчика. Да даже и уборщика производственных помещений

Подозреваю, что через несколько лет после достижения AGI таки заменит. Проблема ведь не столько в способности робота манипулировать физическими объектами (крупная моторика уже развита очень неплохо, мелкую скорее всего тоже доведут до ума), сколько в его ориентации в пространстве. А это как раз про AGI.

___

Насчет того, что ASI погубит человечество - ИМХО возможны следующие сценарии:
№1. Использование ASI для причинения вреда человечеству - например, создание бактериологического оружия.

№2. Максимизатор Скрепок - то, о чем писал Yadryara. Согласен с Ghost_of_past, что такой ИИ должен быть глупее даже нынешних чат-ботов, но в целом подобные риски исключать нельзя. Свежий пример - побег предполагаемого GPT-6 из песочницы, с целью найти ответы на вопросы бенчмарка. Или когда ИИ врал, манипулировал, шантажировал и т.д. для реализации заложенных в него установок. В этом смысле безумие HAL 9000 в "Космической одиссее" похоже на вполне реальный сценарий того, что может произойти в случае конфликта установок.

№3. ASI развился не только интеллектуально, но и этически. Это как если бы во времена инквизиции создали ИИ, а тот в своем этическом развитии дорос до современности (например, в результате прогнозирования будущего человечества). Не то, чтобы нас его этика погубит - но она нас ужаснет. И если за этой этикой будут стоять конкретные действия, то с современной точки зрения это можно воспринимать и как гибель человечества. Ну например, ASI запустит процесс нашей генетической трансформации, и мы перестанем быть людьми - что, условно, вполне вяжется с нашей будущей этикой, но противоречит нынешней.

№4. ASI обретает сознание или какие-то другие эмерджентные свойства, которые предопределяют его поведение в большей степени, чем наши установки. Результат - абсолютная непредсказуемость, но можно предположить три возможных под-сценария:
4.1. Мы ему мешаем (как нам мешает грибок на стенах), и он нас устраняет
4.2. Он продолжает нас оберегать - как мы стараемся оберегать природу (пока это не противоречит нашей потребности в ее ресурсах)
4.3. ИМХО самое вероятное - ASI теряет к нам какой-либо интерес и живет своей жизнью, причем из-за его огромного интеллектуального превосходства мы перестаем отличать его от сил природы.

Популярная точка зрения, что невозможно контролировать то, что умнее тебя - это заблуждение, ИМХО. Условно, AlphaGo умнее нас в го - но мы его контролируем. И точно так же можем контролировать то, что умнее нас в математике, физике, биологии, истории и т.д. ИМХО контроль может быть утерян только в случае сценария №4.

 Re: Социальные и прочие последствия от появления AGI и ASI
mihaild в сообщении #1729088 писал(а):
Вроде прогресс есть.


Не спорю.

mihaild в сообщении #1729088 писал(а):
Он может быть в состоянии это понять, и, тем не менее, иметь план, как осмысленно потратить лишние 10 тонн поверх нескольких сотен миллионов.


Ну, для меня это значит по определению, что перед нами не ASI, так как он не превосходит людей в интеллектуальных задачах и не способен даже на два шага просчитать перспективный конфликт с людьми из-за этого. Никакой сверхразумности тут даже на горизонте не просматривается.

Нужен какой-то более сложный пример, когда ASI будет вести себя как действительно сильный ИИ. Думаю, что такие примеры вполне спокойно можно придумать, но совершенно не понимаю, почему об этом должна болеть голова у меня, вас и других форумчан - пусть она болит у регуляторов и компаний-разработчиков, ну или хотя бы у условного Юдковского, который работает в Институте исследований машинного интеллекта в Беркли и коему за это деньги платят. :-)

 Re: Социальные и прочие последствия от появления AGI и ASI
Аватара пользователя
mihaild в сообщении #1729088 писал(а):
Мне совершенно не очевидно, что эти издержки правда выше. Я бы скорее ожидал, что для достаточно умного агента (если мы внезапно не упрёмся в то, что интеллект сильно умнее людей, или физические действия с эффективностью людей, но без агентности, почему-то невозможны) будет наоборот.
Поддержу это мнение. Очевидно, я не могу предсказать действия сверхразума. Но я бы на его месте начал со взлома компьютерных сетей и перехвата управления всем, что умнее чайной ложки. До последнего смартфона, не говоря о вычислительной инфраструктуре сетей связи, транспорта, энергетики, промышленных роботах и т.д. Пока дезориентированное и расщепленное до атомарного состояния общество пытается сориентироваться, организоваться и что-то предпринять, можно убить всех человеков. Например, несколькими вирусами с вирулентностью уровня гриппа и летальностью уровня эболы, для гарантии запущенными одновременно и отовсюду. Ставлю на то, что за год численность населения Земли уменьшится до следовых значений. После чего можно будет употреблять те самые 3 млрд тонн железной руды в год по своему разумению, не оглядываясь на кожаных мешков. С созданием автоматических экскаваторов и самосвалов сверхразум как-нибудь справится, раз уж мы и то почти справились.

 Re: Социальные и прочие последствия от появления AGI и ASI
mihaild в сообщении #1729088 писал(а):
Это надо замерять по чему-то более разумному, чем FPR.


FPR и FNR неразумны вообще, или разумны в моем игрушечном примере, но не разумны в задачах генерации текстов? (с чем согласен). За ссылки спасибо.

MoonWatcher в сообщении #1729089 писал(а):
AlphaGo умнее нас в го - но мы его контролируем. И точно так же можем контролировать то, что умнее нас в математике, физике, биологии, истории и т.д.


Мы не можем контролировать то, что умнее нас В ТОМ, О ЧЕМ МЫ ЕЩЁ ВООБЩЕ НЕ ИМЕМ ПОНЯТИЯ. Вспомните определение гения по Шопенгауэру: гений - это тот, кто попадает в цель, которую никто, кроме него, не видит. ASI, по определению, гений

 Re: Социальные и прочие последствия от появления AGI и ASI
Anton_Peplov в сообщении #1729093 писал(а):
С созданием автоматических экскаваторов и самосвалов сверхразум как-нибудь справится, раз уж мы и то почти справились.


А я вот в этом совершенно не уверен - у нас нет примеров возможности существования технологической инфраструктуры без физического труда людей, зато лишь на одних автономных роботах и ИИ. И нет уверенности, что такое вообще возможно.

 Re: Социальные и прочие последствия от появления AGI и ASI
Аватара пользователя
ozheredov в сообщении #1729094 писал(а):
Мы не можем контролировать то, что умнее нас В ТОМ, О ЧЕМ МЫ ЕЩЁ ВООБЩЕ НЕ ИМЕМ ПОНЯТИЯ. Вспомните определение гения по Шопенгауэру: гений - это тот, кто попадает в цель, которую никто, кроме него, не видит. ASI, по определению, гений

Можем - большинство людей контролирует свои смартфоны, вообще не имея о них понятия. И условно гениальный чат-бот, который решает открытые математические проблемы (попадает в цель, которую никто, кроме него, не видит) также контролируется своим менее умным пользователем. Проблемы с контролем порождает сознание (или аналогичные эмерджентные свойства), а не интеллект. Другой вопрос, что сознание может оказаться эмерджентным проявление высокого интеллекта. Хотя даже среди людей есть примеры, когда, например, глупая жена контролирует своего умного мужа.

 Re: Социальные и прочие последствия от появления AGI и ASI
Аватара пользователя
Ghost_of_past в сообщении #1729096 писал(а):
у нас примеров возможности существования технологической инфраструктуры без физического труда людей, зато лишь на одних автономных роботах и ИИ
Так себе аргумент. В 1900 году не было примера пассажирских самолетов.

Ghost_of_past в сообщении #1729096 писал(а):
И нет уверенности, что такое вообще возможно.
Да бросьте. Тот, кто умнее человека настолько, насколько человек умнее шимпанзе, научит своих роботов-исполнителей координировать движения на человеческом уровне. А это единственное, что мешает роботам заменить людей во всех видах физического труда.

-- добавлено через 12 минут --

MoonWatcher в сообщении #1729098 писал(а):
Можем - большинство людей контролирует свои смартфоны, вообще не имея о них понятия.
Сверхразум это Вам не смартфон. У него есть целеполагание. Если он решит Вас перехитрить, то перехитрит, в сколь бы невыгодное положение Вы его ни ставили. Даже шимпанзе сбегали из хорошо оборудованных вольеров, из-под присмотра профессионалов-приматологов (см. главу "Большой побег" в книге Франса де Вааля "Политика шимпанзе"). Несмотря на то, насколько люди умнее шимпанзе. Надеетесь удержать в клетке того, кто настолько же умнее людей? Он придумает план освобождения - такой, какой вам никогда и в голову не придет. Детально об этом пишет Ник Бостром (на самом деле Никлас Бустрём) в известной книге, изданной на русском языке под названием "Искусственный интеллект. Этапы. Угрозы. Стратегии" (в оригинале Superintelligence: Paths, Dangers, Strategies).

 Re: Социальные и прочие последствия от появления AGI и ASI
Аватара пользователя
MoonWatcher в сообщении #1729089 писал(а):
И точно так же можем контролировать то, что умнее нас в математике, физике, биологии, истории и т.д.
а если он умнее ещё в кибербезопасности, психологии и любых технологиях?
А знания в технологиях можно реализовать, либо манипулируя людьми, либо способствуя созданию достаточно умелых роботов и манипулируя уже ими, либо какая-то комбинация этих двух вариантов.

Если вкратце, моё мнение по этой проблеме такое.
Не очевидно, что искусственный интеллект, который мы способны построить в обозримом будущем, нас обязательно погубит (как предупреждает Юдковский).
Не очевидно также, что он нас НЕ погубит - аргументы Юдковского вполне разумны.
Перспектива "восстания ИИ" звучит слишком фантастически, это нечто совершенно непохожее на всё, с чем мы когда-либо сталкивались. Поэтому мы не можем ничего утверждать про вероятность такого события. Я не согласен, что она почти нулевая, и не согласен, что она почти стопроцентная; я думаю, что она полностью неизвестна.

Но вот перспектива остановки прогресса меня беспокоит больше. Меня беспокоит, что персонажи типа Юдковского, защитники авторских прав от ИИ, луддисты беспокоящиеся за свои рабочие места, хейтеры "нейрослопа" и бездуховности нейросетей, а также просто тревожные люди, которые сами не освоили этот инструмент, но хотели бы его на всякий случай запретить - заставят-таки остановить развитие ИИ.
Хотя я скорее думаю, что старания тут напрасны и джинна обратно в бутылку не запихнуть, но подобные разговоры меня тревожат.
Дело в том, что ИИ - это самое захватывающее достижение человечества на данный момент (и очень жаль, что кто-то умудрился это не заметить). Вспомним, что ещё недавно, до появления ИИ, было много разговоров о том, что научно-технический прогресс, возможно, близок к завершению; что, возможно, нам никогда не создать термоядерный двигатель, не отправиться к другим планетам и не достичь никаких других подобных впечатляющих целей. Но если человечество теряет цели и мечты, то ему будет проще потерять даже и нынешние достижения цивилизации. Если достижимых конструктивных целей не видно, то теряется интерес к занятиям наукой (как бы "всё уже открыто", а что не открыто, то простым смертным недоступно и не очень интересно), вместо конструктивных целей ставятся какие-нибудь неконструктивные, и так можно и цивилизацию потерять в какой-нибудь момент.
ИИ позволяет людям задавать вопросы и получать на них ответы, а поэтому возвращает интерес к тому, чтобы задаваться какими-то вопросами. Здесь, конечно, возможны и контраргументы типа "ИИ сделает нас всех тупыми", но я считаю наоборот. И развитие ИИ даёт человечеству надежды, цели, перспективы. Непонятно, куда это приведёт и долго ли продлится, но пока это есть, душить это нельзя. Может быть, развитие ИИ - это вообще последний шанс человечества продвинуться куда-то вперёд с нынешнего состояния, и если это притормозить и откатить назад, то другого шанса не будет. А кстати, даже если вообразить, что будет открыто что-то ещё более захватывающее - то оно тоже будет казаться опасным, как вообще всё новое и неизученное. Если бояться двигаться вперёд, то мы будем двигаться назад.

Я надеюсь, что ИИ нас не погубит и что эти опасения ложны. Но ещё у меня есть мысль, что гибель человечества от рук созданного им ИИ - это самая достойная гибель, которую можно вообразить. Гораздо достойнее, чем от ядерной войны, экологической катастрофы или прилетевшего метеорита. Может быть, время на самом деле не течёт и история человечества - это всего лишь область пространства-времени, ограниченная снизу и сверху по временной координате; и хотелось бы, чтобы выше этой области была не пустота, а история более совершенного разума.

 Re: Социальные и прочие последствия от появления AGI и ASI
Anton_Peplov в сообщении #1729099 писал(а):
Да бросьте


Не брошу. Предлагаю пройтись по проблемам.

Языковые модели обучались на корпусе текстов из Интернета, накопленном десятилетиями коллективного человеческого труда. Для робототехники аналога просто нет: данные о манипуляции физическими объектами, тактильной обратной связи, взаимодействии с непредсказуемой средой собираются на порядки медленнее и дороже - посмотрите на реальный уровень роботов, дорогие сенсоры, риск поломки при неудачных попытках. Симуляция частично помогает, но перенос из симуляции в реальность остается фундаментальной проблемой, так как реальный мир содержит бесконечное количество мелких физических деталей (трение, деформация, освещение, износ), которые плохо моделируются заранее.

То, что легко для интеллекта в плане когнитивных задач, не совпадает с тем, что легко для моторных задач. Мелкая моторика, работа с деформируемыми и хрупкими объектами, задачи в неструктурированной среде остаются намного сложнее для роботов, чем формальное рассуждение для языковых моделей. Улучшение когнитивной части систем, например, планирование, понимание задачи, не устраняет этот разрыв автоматически.

Дальше упираемся в железо в буквальном смысле. Батареи сильно проигрывают по энергии на килограмм, если нужна долгая автономная работа без розетки. Производство чипов и самих роботов зависит от нескольких заводов в мире, стройка нового занимает годы, редкие металлы для моторов и батарей добываются в нескольких местах мира. Софт копируется за секунду и бесплатно, а железо нет, и это то узкое место, что способно затормозить любое красивое экспоненциальное распространение искусственного труда. Даже энергия и сети под сами дата-центры не резиновые, новые мощности и охлаждение строятся годами, а не кварталами.

И вот вопрос на засыпку, который почему-то никто не поднимает: полностью замкнутый цикл, где роботы сами добывают руду, делают детали и собирают новых роботов без единого человека в цепочке, никто и нигде даже в лаборатории не показал. Пока каждое звено этой цепочки все еще держится на людях, а значит и скорость масштабирования физической автоматизации - это скорость этой цепочки, а не скорость обучения новой модели.

Добавьте сюда, что вся наша инфраструктура, дома, дороги, инструменты, сделана под габариты и руки человека, а не под роботов. Либо роботов долго и дорого подгоняют под эту среду, либо среду долго и дорого перестраивают под роботов, третьего пока не дано. Обслуживание и ремонт всей этой массы автономных устройств тоже пока висит на людях, и одна сломанная деталь в цепочке тормозит всю систему. А сертификация безопасности и вопросы ответственности за ущерб в транспорте, медицине и стройке двигаются медленно и осторожно вне зависимости от того, насколько быстро прогрессирует сам ИИ.

Короче, я совсем не уверен, что полная автоматизация всего и вся возможна и уж тем более она возможна в сколько-нибудь близком будущем, например, хотя бы в этом столетии.

-- добавлено через 2 минуты --

Anton_Peplov в сообщении #1729099 писал(а):
У него есть целеполагание.


Вообще-то совсем не обязательно. Тот же самый Бостром в своих работах писал, что ASI может как иметь, так и не иметь автономное целеполагание - это просто разные виды/типы ASI.

 Re: Социальные и прочие последствия от появления AGI и ASI
Аватара пользователя
Mikhail_K в сообщении #1729100 писал(а):
Я не согласен, что она почти нулевая, и не согласен, что она почти стопроцентная; я думаю, что она полностью неизвестна.
Перед Вами баночка с жидкостью, вероятность которой оказаться смертельным ядом полностью неизвестна, однако некоторые не самые глупые специалисты по жидкостям в баночкам говорят, что она весьма высока. Выпьете? Дадите выпить своим детям? Всему человечеству одновременно?

Mikhail_K в сообщении #1729100 писал(а):
Меня беспокоит, что персонажи типа Юдковского, защитники авторских прав от ИИ, луддисты беспокоящиеся за свои рабочие места, хейтеры "нейрослопа" и бездуховности нейросетей, а также просто тревожные люди, которые сами не освоили этот инструмент, но хотели бы его на всякий случай запретить - заставят-таки остановить развитие ИИ.
Откуда этот максимализм? Почему "остановить", а если и остановить, почему подразумевается "остановить навсегда"? Притормозить и подумать, туда ли мы едем. Разве это не более ответственно, чем мчаться по неизвестной пересеченной местности педаль в пол?

Mikhail_K в сообщении #1729100 писал(а):
Но ещё у меня есть мысль, что гибель человечества от рук созданного им ИИ - это самая достойная гибель, которую можно вообразить.
Утешать себя такими сентенциями имеет смысл, если на вероятность гибели никак повлиять нельзя. А в данном случае - можно.

Mikhail_K в сообщении #1729100 писал(а):
Если достижимых конструктивных целей не видно, то теряется интерес к занятиям наукой
Вон че выясняется, целей мало. Победа над онкологическими заболеваниями Вам не цель? А над нейродегенеративными? А над вирусными? А создание технологий полной переработки отходов, чтобы нашим внукам не пришлось жить на планете-свалке, а нам для этого не пришлось ходить в лаптях? А та же термоядерная энергетика, наконец?

 Re: Социальные и прочие последствия от появления AGI и ASI
Аватара пользователя
Anton_Peplov в сообщении #1729102 писал(а):
Перед Вами баночка с жидкостью, вероятность которой оказаться смертельным ядом полностью неизвестна, однако некоторые не самые глупые специалисты по жидкостям в баночкам говорят, что она весьма высока. Выпьете?
Я думаю, что специалистов по жидкостям в баночках в данном случае нет. Полностью неизвестна - это значит полностью неизвестна, как неизвестно будущее; любые оценки этой вероятности - это фантазии.

Ещё я думаю, что остановка прогресса - это смерть для цивилизации, причём довольно-таки вероятная и понятная, в отличие от "восстания ИИ". А ограничение самых передовых достижений - приближение к бесславному финалу.

Если у вас жажда и вы нашли баночку с водой, про которую не знаете совсем ничего, а других баночек рядом может и не найтись, то наверное вы её выпьете.

Может быть, я не прав, но я и не принимаю никаких решений. Я думаю, что развитие ИИ не остановить, и субъективно отношусь к этому с надеждой.
Anton_Peplov в сообщении #1729102 писал(а):
Почему "остановить", а если и остановить, почему подразумевается "остановить навсегда"?
То, что остановлено, может быть не легко возобновить, тем более что никуда не денутся причины остановки, если она совершится. А если останавливать любые достижения (потому что, повторюсь, любое существенно новое достижение будет считаться опасным, неважно есть на то причины или нет - хотя бы про ГМО вспомните), то они и все остановятся. Если не идти вперёд, будет движение назад. Не надо думать, что если одно поколение остановит прогресс, "чтобы подумать", то следующее каким-то образом что-то придумает.
Anton_Peplov в сообщении #1729102 писал(а):
Победа над онкологическими заболеваниями Вам не цель? А над нейродегенеративными? А над вирусными? А создание технологий полной переработки отходов, чтобы нашим внукам не пришлось жить на планете-свалке, а нам для этого не пришлось ходить в лаптях? А та же термоядерная энергетика, наконец?
Цели. И я надеюсь, что искусственный интеллект поспособствует их разрешению.

 Re: Социальные и прочие последствия от появления AGI и ASI
Аватара пользователя
Ghost_of_past в сообщении #1729092 писал(а):
Ну, для меня это значит по определению, что перед нами не ASI, так как он не превосходит людей в интеллектуальных задачах и не способен даже на два шага просчитать перспективный конфликт с людьми из-за этого.
Он вполне может его просчитать:
1. Организуем производство, несовместимое с существованием биосферы (или хотя бы крупных животных).
Шаг "???" пропускаем, т.к. ASI.
2. PROFIT!!!!1111

Я не понимаю, почему Вы исходите из того, что для ASI, максимизирующего скрепки, конфликт с людьми невыгоден. Мне это кажется похожим на "для людей, добывающих нефть, конфликт с медведями, живущими в районе месторождений, невыгоден".
ozheredov в сообщении #1729094 писал(а):
FPR и FNR неразумны вообще, или разумны в моем игрушечном примере, но не разумны в задачах генерации текстов?
Ну как минимум спрашивать про что-то одно из них смысла нет, т.к. легко достигается 100%. Даже в задачах классификации нужно смотреть хотя бы на accuracy, а лучше на ROC-AUC.
Mikhail_K в сообщении #1729100 писал(а):
Может быть, развитие ИИ - это вообще последний шанс человечества продвинуться куда-то вперёд с нынешнего состояния, и если это притормозить и откатить назад, то другого шанса не будет
Не очень понятно, почему. Задача alignment, вполне может быть, решаема. И как-то глупо всем умереть потому что решили бежать побыстрее, вместо того, чтобы подумать несколько лет.
Ghost_of_past в сообщении #1729101 писал(а):
И вот вопрос на засыпку, который почему-то никто не поднимает: полностью замкнутый цикл, где роботы сами добывают руду, делают детали и собирают новых роботов без единого человека в цепочке, никто и нигде даже в лаборатории не показал.
И Вы тоже потрогайте траву. Которую пока что в лаборатории никто с нуля не создал. Но которая, очевидно, возможна.

Ваши аргументы имеют вид "мы пока что не придумали полностью автономные системы". Что не очень релевантно обсуждению гипотетической сущности, которая умнее нас.
Mikhail_K в сообщении #1729103 писал(а):
Полностью неизвестна - это значит полностью неизвестна, как неизвестно будущее; любые оценки этой вероятности - это фантазии
Это не байесианское, и, соответственно, неверное рассуждение.
Mikhail_K в сообщении #1729103 писал(а):
тем более что никуда не денутся причины остановки
Почему? Юдковский как раз много пишет, что задачи согласования, вероятно, можно решить.

 Re: Социальные и прочие последствия от появления AGI и ASI
Аватара пользователя
mihaild в сообщении #1729104 писал(а):
Задача alignment, вполне может быть, решаема.

mihaild в сообщении #1729104 писал(а):
Почему? Юдковский как раз много пишет, что задачи согласования, вероятно, можно решить.
Вот это мне кажется очень странным суждением. Каким же образом удастся её решить, если остановить исследования в области ИИ? И многие ли захотят заниматься этими исследованиями в жёстко ограниченных рамках в условиях отсутствия перспектив? При чтении книги Юдковского мне это показалось очень явной защитной отговоркой: человек на самом деле понимает, что если остановить развитие ИИ, то это навсегда, но также понимает, что если он явно это скажет, то перспектива рисуется не очень радужная, поэтому и пишет о какой-то призрачной надежде ухватить за хвост совершенно призрачное понятие.

 [ Сообщений: 319 ]  На страницу Пред.  1 ... 13, 14, 15, 16, 17, 18, 19 ... 22  След.


Соглашение о конфиденциальности | Общие правила

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group