Опять про Илона Маска

[ozheredov]

Red_Herring в сообщении #1418618 писал(а):

Starhopper

А, точно, спасибо.

Red_Herring в сообщении #1418618 писал(а):

Что касается страха перед неконтролируем AI, то он не единственный

Страх перед неконтролируемым AI, это не страх перед неконтролируемой бензопилой (в смысле у которой шестерня разболталась) или страх перед самосвалом, у которого тормоза лопнули, страх перед незакрытым газовым клапаном на даче... любая серьезная техника, выйдя из под контроля, может покалечить или даже убить, но страх перед AI -- это совсем другое. Это наделение AI человеческими свойствами мышления -- именно человеческими, а не дикого зверя или кошки-собаки. Якобы интеллектуальные системы начнут осознавать себя личностями и захотят посоревноваться с человечеством за место под Солнцем. Они разработают хитрый план, но до поры до времени будут претворяться, что служат человечеству. То есть я конечно не робо-шовинист и никоем образом не отрицаю вероятность создания робо-мозга, по вычислительным возможностям превосходящего человеческий. Но для появления у роботов целей поработить или уничтожить человечество, а так же мало-мальских навыков их исполнения, роботам нужно пройти примерно один миллиард лет эволюции, с отбором самых хитрых, жестоких и наглых. Эволюция реального AI разумеется есть, но она не настолько интенсивная (мало особей, невелико популяционное разнообразие) и, самое главное, направлена абсолютно не туда, куда биологическая. Маск не понимает этого? Не верю....

[Red_Herring]

ozheredov в сообщении #1418670 писал(а):

Это наделение AI человеческими свойствами мышления -- именно человеческими,

Это ваше определение. Если хотите говорить о Маске, то следует не читать переводных (да и оригинальных) газетных сообщений, а смотреть высказывания самого Маска.

[ozheredov]

Red_Herring в сообщении #1418673 писал(а):

смотреть высказывания самого Маска.

Ок, посмотрю

[Emergency]

ozheredov в сообщении #1418605 писал(а):

Вот и запустили бы макет -- у НАСА или где там ещё полно отработанных спутников, роверов, испытательных массово-габаритных макетов этих спутников и роверов и т.п.

Для испытательного запуска было безразлично что запускать - лишь бы вписывалось в обусловленные массу и объем, чтобы ничего не болталось.
Обычно запускали ж/б куб. Маску показалось, что это несколько унизительно для мечты. Поэтому решение осталось практически единственным - на ракете мечты полетит автомобиль мечты - красный электрический родстер.

И мне показалось странным, что некоторые этим возмущены: "Как это так, мы запускаем бетонный куб, а мерзавец Маск - красный родстер?"
Ответ же на поверхности - это авторское решение.

-- 02.10.2019, 16:26 --

ozheredov в сообщении #1418670 писал(а):

для появления у роботов целей поработить или уничтожить человечество, а так же мало-мальских навыков их исполнения, роботам нужно пройти примерно один миллиард лет эволюции, с отбором самых хитрых, жестоких и наглых.

Скучно читать эти детские страшилки.
Для появления у ИИ самоосознания и целеполагания, требуется сначала научить машину чувствовать боль и удовольствие. Насколько я знаю, пока этим никто не занимается, а если занимается, то безуспешно.

[EUgeneUS]

Emergency в сообщении #1418695 писал(а):

Для появления у ИИ самоосознания и целеполагания, требуется сначала научить машину чувствовать боль и удовольствие.

Почему Вы считаете, что у зенитной ракеты, которая
а) Получила указание цели
б) Выполнила самодиагностику

нет целеполагания и самосознания?

[Emergency]

EUgeneUS в сообщении #1418703 писал(а):

Почему Вы считаете, что у зенитной ракеты, которая
а) Получила указание цели
б) Выполнила самодиагностику

нет целеполагания и самосознания?

А вы считаете, что есть???

[Sicker]

ozheredov в сообщении #1418670 писал(а):

Но для появления у роботов целей поработить или уничтожить человечество, а так же мало-мальских навыков их исполнения, роботам нужно пройти примерно один миллиард лет эволюции, с отбором самых хитрых, жестоких и наглых.

Ну вообще таки достаточно несколько месяцев или лет машинного обучения

Emergency в сообщении #1418695 писал(а):

Для появления у ИИ самоосознания и целеполагания, требуется сначала научить машину чувствовать боль и удовольствие. Насколько я знаю, пока этим никто не занимается, а если занимается, то безуспешно.

Смотря, что понимать под этими понятиями. Можно сказать что унитаз чувствует боль, когда напор воды давит на клапан, заставляя чего-то там открываться

Emergency в сообщении #1418705 писал(а):

А вы считаете, что есть???

Опять же, смотря что чем считать. Если отвлечься от квалиативной сути этих понятий, то достаточно сложную нейронную сеть можно натренировать так, чтобы она своим поведением внешне заставляла нас думать, что у нее есть самосознание и целеполагание, такой философский зомби

[Red_Herring]

Для того, чтобы AI устроил человечеству большую пакость вовсе не нужно, чтобы у него была такая цель. Ибо благими намерениями ...

[Sicker]

Red_Herring
Вымощена дорога в ад, как говорится

(Оффтоп)

Так что там с моей темой? Или вы еще не проверяли?

[Emergency]

Sicker в сообщении #1418730 писал(а):

достаточно сложную нейронную сеть можно натренировать так, чтобы она своим поведением внешне заставляла нас думать, что у нее есть самосознание и целеполагание

Имитировать можно многое. Есть мухи, которые притворяются осами, но это не значит, что они могут вас укусить.

[fred1996]

Вот я уже несколько месяцев бодаюсь с игровой программой го на телефоне.
Она меня чешет в одну калитку без всяких угрызений совести. Ее просто никто не научил сострадать человеку, которого она морально уничтожает.
Достаточно развитому AI задать программу не на моральное, а на физическое уничтижение, и я не вижу никаких препятствий, почему он не справится с этой задачей. Это будет просто очередная рутинная проблема оптимизации.

[ozheredov]

Emergency в сообщении #1418695 писал(а):

требуется сначала научить машину чувствовать боль и удовольствие. Насколько я знаю, пока этим никто не занимается, а если занимается, то безуспешно.

Ну, я этим занимаюсь, и не совсем безуспешно.

EUgeneUS в сообщении #1418703 писал(а):

Почему Вы считаете, что у зенитной ракеты, которая
а) Получила указание цели
б) Выполнила самодиагностику

нет целеполагания и самосознания?

Потому что целевая функция ракеты (даже если б она там была -- а её там нет) связана с эффективным поражением цели, а не с выживанием и размножением популяции ракет.

Sicker в сообщении #1418730 писал(а):

Ну вообще таки достаточно несколько месяцев или лет машинного обучения

У меня получались оценки на неск. порядков скромнее. Но я разумеется готов пересмотреть свои оценки, если вы приведете свои.

Sicker в сообщении #1418730 писал(а):

Если отвлечься от квалиативной сути этих понятий, то достаточно сложную нейронную сеть можно натренировать так, чтобы она своим поведением внешне заставляла нас думать, что у нее есть самосознание и целеполагание, такой философский зомби

Как именно должна быть устроена целевая функция н.с., для того чтобы в конце концов мы подумали, что она подумала, что мы думаем, что она думает, что мы поверили, что у нее есть самосознание? )

(Оффтоп)

Кста, меня одного нереально бесит слово квалиа? Вот просто кущать не могу )

-- 03.10.2019, 08:00 --

fred1996 в сообщении #1418771 писал(а):

Вот я уже несколько месяцев бодаюсь с игровой программой го на телефоне.
Она меня чешет в одну калитку без всяких угрызений совести.

Выкрутите на максимум сложности теннисную пушку и попробуйте поотбивать ее удары -- она тоже будет чесать вас в одну калитку. Разница со взбесившимся ИИ та, что вы можете выключить пушку и стереть вашу прогу с телефона (а то и разбить телефон), и ни телефон, ни прога, ни пушка не будут сопротивляться.

-- 03.10.2019, 08:08 --

fred1996 в сообщении #1418771 писал(а):

Достаточно развитому AI задать программу не на моральное, а на физическое уничтижение, и я не вижу никаких препятствий, почему он не справится с этой задачей.

Если это просто самонаводящаяся ракета из примера EUgeneUS, то никаких препятствий. Если решение задачи предполагает борьбу с ЛЮБЫМИ методами подавления нежелательной активности AI -- вытаскивание батарейки, дистанционное и проводное перепрограммирование, разлучение ракеты с ее бойфрендом -- стартовым комплексом, шоб не взлетела, уничтожение стаи взбесившихся ракет бомбардировкой военных складов -- тут уже сильно сложнее.

-- 03.10.2019, 08:12 --

Red_Herring в сообщении #1418733 писал(а):

Для того, чтобы AI устроил человечеству большую пакость вовсе не нужно, чтобы у него была такая цель.

Попробую понять в чем там вообще дело, как только найду подробное описание взглядов Маска на проблему на оригинальном языке. А у вас нигде не завалялась подходящая ссылка?

-- 03.10.2019, 08:18 --

Sicker в сообщении #1418730 писал(а):

Можно сказать что унитаз чувствует боль, когда напор воды давит на клапан, заставляя чего-то там открываться

Сорян, вот этого не заметил. Нет, в унитазе это скрипт, машинная боль это близко не то.

[Sicker]

Emergency в сообщении #1418739 писал(а):

Имитировать можно многое. Есть мухи, которые притворяются осами, но это не значит, что они могут вас укусить.

Вы не поняли Если они успешно имитируют деятельность человеческого самосознания, то вы тогда ее не сможете отличить от настоящего самосознания, и поэтому вы должны считать, что оно есть (исходя из принципа минимальных гипотез, никакой другой для успешного взаимодействия с этим существом вы предложить не сможете), а если все-таки сможете, значит они не успешно имитируют человеческое сознание. Л - логика

-- 03.10.2019, 12:13 --

ozheredov в сообщении #1418802 писал(а):

У меня получались оценки на неск. порядков скромнее. Но я разумеется готов пересмотреть свои оценки, если вы приведете свои.

Как скромнее, если вы писали

ozheredov в сообщении #1418670 писал(а):

Но для появления у роботов целей поработить или уничтожить человечество, а так же мало-мальских навыков их исполнения, роботам нужно пройти примерно один миллиард лет эволюции, с отбором самых хитрых, жестоких и наглых.

Троллить тоже надо уметь

ozheredov в сообщении #1418802 писал(а):

Как именно должна быть устроена целевая функция н.с., для того чтобы в конце концов мы подумали, что она подумала, что мы думаем, что она думает, что мы поверили, что у нее есть самосознание? )

Достаточно вашу потенциально бесконечную рекурсию оборвать на "мы поверили, что у нее есть самосознание". Потому что у нее может вообще не быть самосознания в нашем представлении. Читали роман "Ложная слепота"? Единственно что мы можем определить термин "она думает что мы думаем" как то, что ее поведение учитывает наше поведение исходя из этого нашего знания

ozheredov в сообщении #1418802 писал(а):

ста, меня одного нереально бесит слово квалиа? Вот просто кущать не могу )

Вот поэтому вы и несете бред про машинное самосознание и боль Вы даже биологии не знаете

ozheredov в сообщении #1418802 писал(а):

Сорян, вот этого не заметил. Нет, в унитазе это скрипт, машинная боль это близко не то.

Боль это по определению реакция живого организма на внешнее воздействие, поэтому даже амеба чувствует боль. Если попытаться перенести это понятие на небиологические объекты, то должны признать, что и унитаз чувствует боль, т.к. проявляет нетривиальную реакцию на напор воды с закрытием/открытием клапана, который влияет на исход воды из унитаза. Так что определите вашу "машинную боль", пока вы не дали четких определений все это ширпотребная философия

[fred1996]

ozheredov
Вот только какая-то сволочь настроила ИИ на запрет вытаскивания батарейки, а затем "забыла" эту опцию выключить. У нас есть масса примеров, когда язык высокого уровня пишется на том же языке. Достаточно просто замкнуть цикл воспроизводства. Никто не мешает так поступить с ИИ. Просто запустить его в режиме уничтожения человечества и потерять ключи от этого тумблера.
Для контроля над ИИ должна быть надежная обратная связь. Но, как известно, стопроцентных надежных связей не бывает.

[Red_Herring]

ozheredov в сообщении #1418802 писал(а):

А у вас нигде не завалялась подходящая ссылка?

Я думаю, что взгляды Маска достаточно хорошо отражает Think Tank, у которого он главный спонсор https://futureoflife.org/