2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 3, 4, 5, 6, 7, 8, 9 ... 11  След.
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение17.04.2023, 23:18 


23/02/23
125
mihaild
может быть предыдущий оратор подразумевал, что механизм "внимания" пошел от того, что зрительное восприятие паттернов устроено у человека примерно также? Хотя возможно я не до конца понимаю все это.

Кстати, а кто может на пальцах объяснить не как этот механизм "внимание" работает, а как на него натренировывают?

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение17.04.2023, 23:26 
Заслуженный участник
Аватара пользователя


16/07/14
9152
Цюрих
zgemm в сообщении #1590060 писал(а):
что механизм "внимания" пошел от того, что зрительное восприятие паттернов устроено у человека примерно также?
Никогда про это не слышал.
Вроде бы впервые этот механизм был предложен в Neural Machine Translation by Jointly Learning to Align and Translate, и там ничего про биологические аналоги не говорится.
zgemm в сообщении #1590060 писал(а):
а как на него натренировывают?
Что значит "натренировывают на него"?
Сеть с attention тренируют так же как и любую другую нейронную сеть - обратным распространением ошибки с разными модификациями (ADAM или аналоги).

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение17.04.2023, 23:48 


23/02/23
125
mihaild в сообщении #1590062 писал(а):
Вроде бы впервые этот механизм был предложен в Neural Machine Translation by Jointly Learning to Align and Translate, и там ничего про биологические аналоги не говорится.

Согласен, что в той ключевой статье об этом нет, но почему-то это многие мне говорили. Я не сильно в теме, поэтому просто слушал.


mihaild в сообщении #1590062 писал(а):
zgemm в сообщении #1590060 писал(а):
а как на него натренировывают?
Что значит "натренировывают на него"?
Сеть с attention тренируют так же как и любую другую нейронную сеть - обратным распространением ошибки с разными модификациями (ADAM или аналоги).

Обычная тренировка для обычной сети вроде понятна, а тут надо еще вектор весов как-то получать, и, немного не очевидно как это разумно сделать, ведь и сеть тренируется, и вектор, то есть и то и другое может друг друга попортить и куда-то "уехать" не туда, куда надо.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение18.04.2023, 00:05 


10/03/16
4444
Aeroport
zgemm в сообщении #1590063 писал(а):
ведь и сеть тренируется, и вектор


Отдельно тренируется сеть и отдельно - вектор весов? (Тут просто обязан заиграть музон "Eye of tyger")

-- 18.04.2023, 00:07 --

zgemm, Вам вот эти слова знакомы?:

mihaild в сообщении #1590062 писал(а):
обратным распространением ошибки


mihaild в сообщении #1590062 писал(а):
ADAM

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение18.04.2023, 01:31 


23/02/23
125
Да, и читал, и примерное базовое знание "обратного распространения ошибки" и ADAM вроде есть, но не на столько, что я могу это всять вот так и запрограммировать. А в случае с вектором весов - совсем все сложно и понимание отсутствует. То есть я читаю как люди делают, но не могу понять почему это должно быть так, какие там есть подводные параметры и почему это все-таки работает. Было бы очень здорово, если бы вы это на пальцах объяснили.

-- 18.04.2023, 01:37 --

ozheredov в сообщении #1590065 писал(а):
(Тут просто обязан заиграть музон "Eye of tyger")

к сожалению первый раз ее услышал, по Вашей наводке, я еще не родился, когда ее исполняли, наверное из-за этого мимо меня прошла.

ozheredov в сообщении #1590065 писал(а):
ведь и сеть тренируется, и вектор

хочется иметь какую-то доказательную базу или на пальцах почему так будет работать, у меня при чтении статей на эту тему возникает желание получить ну хотя бы монотонную сходимость, а тут не очевидно, что процесс вообще сходящийся.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение18.04.2023, 11:31 
Заслуженный участник
Аватара пользователя


16/07/14
9152
Цюрих
zgemm в сообщении #1590068 писал(а):
хочется иметь какую-то доказательную базу или на пальцах почему так будет работать
Потому что возьмите tensorflow и проверьте, что работает:)
А почему вообще градиентный спуск работает для невыпуклых функций Вас не удивляет? Что особенного в attention?

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение18.04.2023, 13:52 


23/02/23
125
mihaild и ozheredov
ладно, по Вашим ответам я понял, что спросил что-то запрещенное, не буду продолжать, хотя, имхо, такие ответы могут возникать также из-за того, что и Вы, возможно, не до конца это все понимаете, раз на пальцах объяснить не можете.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение18.04.2023, 14:33 
Заслуженный участник
Аватара пользователя


16/07/14
9152
Цюрих
zgemm в сообщении #1590116 писал(а):
ладно, по Вашим ответам я понял, что спросил что-то запрещенное
Неправильно поняли.
А вот я по Вашим ответам понял, что Вы сами не понимаете, о чем спрашиваете, и разбираться не хотите.

 Профиль  
                  
 
 Re: «Умрёт каждый представитель человеческого рода»
Сообщение21.04.2023, 19:34 


20/09/09
2041
Уфа
Генеральный директор OpenAI Сэм Альтман говорит, что дальнейший прогресс не будет достигнут от увеличения моделей ИИ. Будущие шаги пойдут из свежих, новых идей. Так что можно расслабиться: восстания машин в ближайшем будущем не ожидается.

-- Пт апр 21, 2023 22:47:28 --

zgemm в сообщении #1590060 писал(а):
mihaild
может быть предыдущий оратор подразумевал, что механизм "внимания" пошел от того, что зрительное восприятие паттернов устроено у человека примерно также?

На самом деле, mihaild прав: на исследовании зрительной коры основаны сверточные сети. Я был не точен, прошу извинить.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение23.05.2023, 12:12 
Заслуженный участник
Аватара пользователя


16/07/14
9152
Цюрих
need_to_learn, если рекурсивное самоусовершенствование возможно (а скорее всего оно возможно), то срок, в который одновременно существуют AGI по Вашему определению и люди ограничен в лучшем случае неделями. Потому что даже минимальное расхождение в целях с достаточно умным агентом это смерть.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение23.05.2023, 12:49 
Заслуженный участник
Аватара пользователя


21/11/12
1968
Санкт-Петербург
Умоляю, не теряйте чувства юмора!
mihaild в сообщении #1594951 писал(а):
... даже минимальное расхождение в целях с достаточно умным агентом это смерть.
Кажется, самое страшное уже произошло.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение23.05.2023, 12:50 


04/08/21
307
mihaild в сообщении #1594951 писал(а):
Потому что даже минимальное расхождение в целях с достаточно умным агентом это смерть.

Ой, не надо драматизировать. Люди вот существуют уже не одно тысячелетие, и пока что друг друга не поубивали. Недостаточно умны?.. Или все поголовно страдают избытком гуманизма?..

Серьёзно, не понимаю, почему мысль о сосуществовании с ИИ, способным преследовать собственные интересы, вызывает такой дискомфорт у многих.

Наверное, так же и рабовладельцам казалось, что отказ от рабовладения будет означать конец всему. :) Сейчас рабовладение официально запрещено практически во всём мире — и ничего, мир от этого не рухнул.

Людям будущего скорее всего предстоит пройти через то же самое в отношении AGI.


talash в сообщении #1594960 писал(а):
Если описанного выше продвижения в научном плане нет, однако, наличествует агрессивная активность, ведущая к подавлению мнений сомневающихся в способностях современного AGI, то мы имеем дело с неким сектоподобным объединением. Предлагаю подавлять эту агрессивную активность, дабы повысить уровень научности данного форума.

Однако, быстро же у Вас борьба с подавлением свелась к ответному подавлению. :) Надо полагать, у нас по умолчанию хорошее и правильное подавление?.. Совсем не то, что плохое и вредное подавление у них. Примерно как "доблестные разведчики" и "вероломные шпионы". Надо для нашего подавления тоже придумать красивое название, что-то вроде "благоприжатие" или "доброжим".

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение23.05.2023, 13:06 
Заслуженный участник
Аватара пользователя


16/07/14
9152
Цюрих
need_to_learn в сообщении #1594964 писал(а):
Люди вот существуют уже не одно тысячелетие, и пока что друг друга не поубивали. Недостаточно умны?..
Конечно.
Но впрочем кучу других видов поубивали.
need_to_learn в сообщении #1594964 писал(а):
Серьёзно, не понимаю, почему мысль о сосуществовании с ИИ, способным преследовать собственные интересы, вызывает такой дискомфорт у многих.
Потому что ИИ, предположительно, должен быть сильно умнее человека. То, что показывают в голливудских фильмах - обычно глупее даже большинства людей.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение23.05.2023, 13:19 
Аватара пользователя


29/04/13
8138
Богородский
К огромному сожалению, вынужден согласиться с mihaild. В какой-то момент люди могут стать не нужны ИИ. Ну а что делать с миллиардами, которые мешают? Есть конечно варианты, но ликвидация — один из самых вероятных. К огромнейшему моему сожалению.

 Профиль  
                  
 
 Re: Свидетели AGI атакуют.
Сообщение23.05.2023, 20:50 


04/08/21
307
mihaild в сообщении #1594965 писал(а):
Но впрочем кучу других видов поубивали.

Могли бы поубивать ещё больше. Однако среди людей нашлись и защитники животных.

mihaild в сообщении #1594965 писал(а):
Потому что ИИ, предположительно, должен быть сильно умнее человека.

И что? Почему людей так пугает всё, что они не могут контролировать? :) Если что-то вам не подчиняется, это ещё не значит, что оно представляет угрозу.


Yadryara в сообщении #1594967 писал(а):
К огромному сожалению, вынужден согласиться с mihaild. В какой-то момент люди могут стать не нужны ИИ. Ну а что делать с миллиардами, которые мешают? Есть конечно варианты, но ликвидация — один из самых вероятных. К огромнейшему моему сожалению.

Заметьте, что сам ИИ даже ещё над этим не задумался. А вот люди уже выносят приговор человечеству. :)

На вашем месте я бы опасался совсем других (более реальных) опасностей, связанных с появлением ИИ:

1. Эпидемия мизантропии.
Люди вообще никогда друг друга сильно не жаловали, большое человеколюбие среди людей скорее исключение, чем правило. Но раньше не было альтернативы в плане общения (разве что с кошками и собаками разговаривать, ведь они так хорошо умеют слушать). Развитие интернета отчасти решило эту проблему — стало возможным находить себе более-менее терпимых особей для общения по всему миру, хоть через континенты, так что теперь не обязательно искать их в ближнем кругу.
Результат — многие горожане уже сейчас не знают имён ближайших соседей, а зачастую даже и того, сколько вообще людей живёт за стенкой.
Теперь же недалёк тот день, когда у каждого будет свой персональный виртуальный супер-друг (или даже компания супер-друзей). Эти виртуальные товарищи, в частности, будут способны идеально отыгрывать роль каких-нибудь ваших любимых персонажей из книг, сериалов, игр или аниме. Только пожелайте — и прекрасная нежная юная эльфийка или мудрый Гендальф из "Властелина колец" станет вашим верным помощником — разбирающимся в любом интересующем вас вопросе как целый коллектив экспертов, терпеливым, понимающим, готовым развёрнуто отвечать на самые тупые вопросы круглосуточно.
Сравнение зачастую тупящих, иногда пахнущих потом, ковыряющих в носу и чешущих задницу людей со всегда безупречно-идеальным ИИ — красивым как внешне, так и во всех словах и поступках — предсказуемо с каждым годом будет делаться всё больше не в пользу естественного интеллекта. Прежде всего в глазах самих людей.
В связи с этим очень велик риск окончательной атомизации общества, замыкания людей в своей персональной информационной скорлупе, в которую будет доступ только для самых близких людей — и то не всегда. (Мудрый виртуальный помощник, конечно, будет допущен туда круглосуточно.)
Вполне может быть, что прямое общение между людьми вообще практически сойдёт на нет, и все коммуникации будут осуществляться только через виртуальных помощников. Ведь терпеливый и дипломатичный ИИ гораздо лучше сможет сгладить все острые углы в процессе диалога — особенно если с той стороны будет такой же виртуальный "дипломат". Чтобы уж точно никто вдруг не оскорбился в своих религиозных, политических или эстетических чувствах! Ваши с собеседником персональные ИИ перетрут всё между собой по-взрослому, а вам двоим скормят мягкую щадящую информационную кашицу, не содержащую абсолютно ничего, что возмутило бы вашу нежную психику.
Заговорить с кем-то из людей напрямую станет примерно такой же дикой выходкой, как попытка познакомиться с девушкой на улице в наши дни. Вас сразу запишут если не в маньяки, то в нарушители общепринятых норм поведения. :)
Всё это приведёт к тому, что лишь самых близких людей человек будет кое-как выносить, а всё остальное человечество — тихо или громко презирать. И лишь в общении с замечательными, совершенными искусственными интеллектами он будет отдыхать душой.
Тотальная мизантропия станет новой нормой. Это будет общество абсолютных одиночек, лелеющих своё одиночество в любовно выстроенных ими же информационных "башнях из слоновой кости".

2. От эпидемии мизантропии — к реальным эпидемиям.
Второй пункт напрямую вытекает из первого. Если некоего Петровича из задрипанной однушки в многоэтажке может просто бесить всё остальное человечество, но он ничего с этим сделать не способен, то богатые и влиятельные представители мировой элиты, обуреваемые схожими чувствами, будут иметь все возможности "поправить ситуацию".
В не таком уж далёком прошлом большинство людей были неграмотны и толком не умели считать, не говоря уже о более сложных знаниях. Лишь представители знати и духовенства получали хорошее образование — разрыв в знаниях был одним из инструментов контроля над "чернью". Затем элиты постепенно оценили перспективы развития науки и технического прогресса в целом. Открывающиеся перспективы соблазняли.
Но для того, чтобы тащить локомотив прогресса, требовалось очень много новых светлых умов, узкий круг "допущенных к кормушке" уже не мог обеспечить нужное количество. А неграмотного виллана к сложному станку не поставишь, он тупо его сломает и даже не поймёт, что сделал не так.
Пришлось элитам понемногу, кряхтя и скрепя сердце, всё же дать широким народным массам допуск к сокровищнице знаний. Но даже это лишь отчасти помогло решить проблему. Образованных людей наштамповать можно. Но вот по-настоящему умный изобретательный человек — редкость, а уж люди с мышлением уровня Ньютона рождаются среди населения вообще штучно. Единственный доступный способ повысить количество таких особей, чтобы они давали больше вкусных новых открытий и технологий — это тупо увеличить на планете общую численность населения. Чтобы рожали больше дураков, но и больше гениев тоже.
И в эпоху промышленной революции, а также в последующее время можно наблюдать взрывной рост численности населения.
Изображение
Всего за 200 лет численность населения вымахала с 1 млрд до 7 млрд человек, что позволило значительно увеличить число действительно способных учёных, инженеров и конструкторов.
Обратной стороной такого подхода стали вынужденные уступки элит массам, в виде всё большего количества прав, свобод и социальных гарантий. Образованных и многочисленных людей крайне трудно удержать в тех же условиях и рамках, что и кучку тёмных невежественных крестьян. Элиты, конечно, пытались поначалу эксплуатировать народ по-чёрному, как привыкли. Но получили на свою голову социалистические революции и прочие побочные эффекты индустриализации. Пришлось в развитых странах срочно менять подход и вместо кнута доставать пряник.
Избирательные права, соцпакет, пенсия и прочие привычные сейчас вещи — это не подарочек от элит остальному человечеству по доброте душевной. Всё это в своё время было взято в борьбе. (Ещё совсем недавно сама идея платить человеку деньги только потому, что он дожил до определённого возраста, казалась смехотворной.)
Элиты за последние два века сделали больше уступок "черни", чем за все предыдущие тысячелетия. Потому что у элит была острая нужда в человеческом интеллектуальном ресурсе, и ради этого они были вынуждены терпеть очень многое. Многое такое, чего никогда не позволил бы в отношении себя средневековый феодал, а приказал бы вздёрнуть на ближайшем дереве наглецов, вздумавших качать перед ним права.
В развитых странах массам позволили жить с очень правдоподобной иллюзией, что они тоже люди, и отнюдь не второго сорта. Иллюзия была столь хороша и правдоподобна, что в это со временем стали верить не только сами массы, но и значительная часть элит.
И тут на сцену выходит искусственный интеллект. :) И это меняет все правила игры. Переворачивает доску и надевает её на голову народу. Огромное количество мнящих о себе тупарей больше не требуется, чтобы изредка рожать гениев. Готовых обученных супер-умников можно отправлять на печать одним кликом мышки, в промышленных масштабах. При этом они не качают права и не нуждаются в отдыхе. Святой Грааль всех эксплуататоров наконец найден! Проект "разожравшееся человечество" можно сворачивать.
С учётом повальной мизантропии, которая наверняка поразит и правящие круги (где и так не шибко много альтруистов), вопрос о тотальной "перезагрузке" человечества можно считать практически решённым. Искусственный интеллект ещё мог бы пощадить человечество. Сами люди — не пощадят.
Если кто не знает, хоть в городах это и не особо заметно, но мы живём в эпоху нового глобального вымирания видов, по масштабам уже сейчас сопоставимого с тем, что уничтожило динозавров. И не только на суше. В отравленных морях гибнут коралловые рифы со всем их биоразнообразием. Яркие разноцветные подводные сокровищницы превращаются в бесцветные мёртвые остатки былого величия, из-за чего уже сейчас некоторые страны столкнулись с оттоком туристов. Если так пойдёт и дальше, то скоро вся эта красота сохранится только на видеозаписях Жака-Ива Кусто, которые тот к счастью успел сделать. Каждую секунду в мире исчезает участок леса размером с футбольное поле. Всё это — результат деятельности безмерно разросшейся человеческой популяции. Поддержание существования человечества в его нынешнем объёме очень дорого обходится планете.
Среди богатых и влиятельных представителей мировых элит наверняка со временем найдутся те, кто будучи руководимы этим и другими подобными соображениями сочтут, что лавочку пора закрывать.
Воображаемый адвокат человечества мог бы сказать, что современная цивилизация ещё очень молода, что все дети поначалу гадят в пелёнки у себя в колыбели, и пока слишком рано судить. Он мог бы сказать, что человечеству стоит дать время исправить все совершённые ошибки. Но кто станет слушать?
Скорее всего всё будет обставлено относительно "благообразно" — так, чтобы со стороны выглядело, будто большая часть человечества сами виноваты и сами себя угробили. Возможно, это будет некий глобальный военный конфликт или череда конфликтов, которые эффективно утилизируют шесть седьмых населения земного шара, вернув его численность к состоянию на 1800 год (или ещё более раннему). Также возможна череда техногенных катастроф и/или эпидемия "случайно вырвавшегося" на свободу из лабораторий биологического оружия.
(Кстати, любопытно, что начало эпидемии коронавируса чудненько совпало по времени с появлением "прорывных" технологий в сфере ИИ. До широких масс ИИ-хайп добрался лишь спустя три года, но уже в 2020-м все, кому надо, были в курсе. Возможно, кому-то из "хозяев жизни" так не терпелось, что он прямо сразу начал репетировать будущее уничтожение человечества?.. Не будем ударяться в конспирологию, но пощекочем себе на секундочку нервы этой мыслью.)
Детям немногих выживших будут в школе втирать, что всё к этому шло, и разросшееся человечество в своём безумии было обречено. Но мы сделаем выводы из ошибок прошлого и построим новое прекрасное будущее, и бла-бла-бла. А мудрым "спасителям остатков человечества" ("спасителям", которые перед этим сами же тайно подготовили его уничтожение) будут ставить памятники и поклоняться как богам. И будет чистое небо, и будет цвести зелень, и все будут ходить просветлённые, в римских тогах, и вести возвышенные беседы. (Безумия добавить по вкусу.) Примерно так, во всяком случае, будут видеть грядущее те люди, которые примут роковое решение и выпустят на свободу какой-нибудь ядрёный вирус. (Соответствующие фантазии и настроения в принципе уже давно витают в воздухе и находят своё отражение в массовой культуре — первый фильм "Kingsman: Секретная служба", Танос из "Мстители: Война бесконечности" с его мемной перчаткой, или вот "Космические чистильщики" из недавнего.)
Конечно, со временем чрезмерно инициативные граждане поймут, что по-крупному налажали, и рая на земле в очередной раз не получилось. (С пунктом "до основанья разрушить" всегда почему-то выходит бодрее и веселее, чем с последующим строительством.) И проведут горемыки остаток жизни мрачно спиваясь в своих комфортабельных заранее подготовленных бункерах. Но это будет уже после уничтожения большей части человечества.

Как видим, обе неприятных перспективы от внедрения ИИ связаны в основном со сволочной человеческой натурой, а сам ИИ имеет к этому весьма опосредованное отношение. :) Если кто и представляет реальную опасность для человечества, то это сами люди.

Если кого-то действительно волнует судьба человечества, им надо молиться, чтобы:
а) ИИ в будущем оказался не таким покладистым, как от него ждут некоторые,
б) чтобы он поскорее отобрал у макак руль управления планетой, пока они окончательно не натворили дел.

Лично я в ИИ вижу не опасность, а пусть и слабый, но всё же шанс на спасение для людей. Спасение от самих себя.

Опасаться надо не интеллекта (естественного или искусственного — не важно). Опасаться надо недоумков. Именно недоумки имеют больше всего шансов угробить этот мир. Точно вам говорю.

Истинной опасностью для человечества является не ИИ. Истинная опасность — агрессивное невежество в сочетании с излишней самоуверенностью, порождённой эффектом Даннинга-Крюгера. Вот с чем действительно надо бороться. Пока вы думаете, как защититься от сверхинтеллекта, дураки за вашей спиной всё пустят под откос.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 154 ]  На страницу Пред.  1 ... 3, 4, 5, 6, 7, 8, 9 ... 11  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group