Свидетели AGI атакуют.

[Mihaylo]

Имеется некоторая [интеллектуальная] задача, которую не хотелось бы решать, описывая алгоритм решения. Но почему-то все начинают говорить о чувствах/ощущениях/эмоциях, как о некоторых промежуточных переменных, которые в этом алгоритме должны якобы присутствовать.
Перед любой интеллектуальной задачей у вас будет предшествовать то или иное обучение, и вы вынуждены будете обучать. И если вы говорите об обучении, а не написании точного алгоритма самостоятельно, то ваши вставки о чувствах/ощущениях/эмоциях - их некуда пристроить, и вообще это неописуемое нечто.

[MoonWatcher]

Mihaylo в сообщении #1595169 писал(а):

Но почему-то все начинают говорить о чувствах/ощущениях/эмоциях, как о некоторых промежуточных переменных, которые в этом алгоритме должны якобы присутствовать

Откуда такой вывод? Я, например, обсуждаю эти вопросы исключительно в контексте возможных последствий от возникновения AGI. Правда, этим вопросам посвящена другая тема (ИМХО лучше бы их объединить в одну).

[Anton_Peplov]

MoonWatcher в сообщении #1595170 писал(а):

Я, например, обсуждаю эти вопросы исключительно в контексте возможных последствий от возникновения AGI.

Под последствиями Вы имеете в виду, что может сделать страдающий робот? В таком случае субъективное переживание боли ни при чем. Для последствий важно не страдает ли робот, а ведет ли он себя так, как будто страдает. Можно ли создать робота, который готов сделать что угодно, чтобы перестать получать определенный сигнал (не важно, называем мы его болью, солью или си-бемолью)? Ответ на этот вопрос тривиален, и его выше уже дали: да, можно, но вот нужно ли?

[talash]

MoonWatcher в сообщении #1595102 писал(а):

Лично я всегда был противником всех этих определений - толку от них ноль: по форумам годами переливают из пустого в порожнее, пока разработчики ИИ успешно решают конкретные прикладные задачи. И только в части AGI оставалось единственно разумное, ИМХО, определение Тьюринга (в виде теста, как угодно требовательного к имитации человеческого интеллекта).

Это необъективный тест. Один тестировщик отличит ИИ от человека, другой нет. То есть, по итогу это просто чьё-то мнение.

MoonWatcher в сообщении #1595102 писал(а):

В конечном итоге, как и раньше, ИИ лучше всего оценивать по конкретным результатам - все остальное (терминология, разделение между сильным и слабым ИИ) - от лукавого.

Согласен, если терминология сторонников превосходства ИИ весьма образная, то и нечего нападать на психологические термины, используемые для критики способностей ИИ.

[MoonWatcher]

Anton_Peplov в сообщении #1595172 писал(а):

Под последствиями Вы имеете в виду, что может сделать страдающий робот? В таком случае субъективное переживание боли ни при чем. Для последствий важно не страдает ли робот, а ведет ли он себя так, как будто страдает. Можно ли создать робота, который готов сделать что угодно, чтобы перестать получать определенный сигнал (не важно, называем мы его болью, солью или си-бемолью)? Ответ на этот вопрос тривиален, и его выше уже дали: да, можно, но вот нужно ли?

Если я правильно понял, вы говорите об искусственном придании ИИ черт, которые имитируют ощущения. А я говорил о спонтанном зарождении этих ощущений - как возможной предтечи субъективного самосознания (со всеми вытекающими непредсказуемыми рисками для человечества).

[talash]

MoonWatcher в сообщении #1595170 писал(а):

Mihaylo в сообщении #1595169 писал(а):

Но почему-то все начинают говорить о чувствах/ощущениях/эмоциях, как о некоторых промежуточных переменных, которые в этом алгоритме должны якобы присутствовать

Откуда такой вывод?

Это называется выбор удобных оппонентов. Первично здесь это желание протолкнуть идею, что современный AI это целый AGI. Поскольку идея эта не подкреплена ничем, кроме мнений, то естественно возникает реакция из противоположных мнений. И из них выбираются наиболее удобные для опровержения.

[Anton_Peplov]

MoonWatcher в сообщении #1595177 писал(а):

А я говорил о спонтанном зарождении этих ощущений

Понятно. Но здесь опять не обязательны ощущения. Достаточно спросить, могут ли у ИИ самозародиться опасные для человека реакции и стратегии, которые в него не закладывали.

В принципе, для этого даже сильный ИИ не нужен, что бы под ним ни понималось. Амеба не разумна, но вполне способна к целенаправленному поведению (спросите у бактерий, которых она догоняет, захватывает и ест).

В техническом отчете о GPT 4 упомянуты любопытные эксперименты. Разработчики проверяли, не склонна ли сеть создавать собственные копии, нанимать людей через интернет и делать прочие настораживающие вещи. Вроде бы таких наклонностей у нее не нашли. Но саму возможность не сбрасывают со счетов, раз уж проверяют.

[MoonWatcher]

talash в сообщении #1595176 писал(а):

Это необъективный тест. Один тестировщик отличит ИИ от человека, другой нет. То есть, по итогу это просто чьё-то мнение.

Это вопрос статистики - достаточно, чтобы от человека ИИ не смог отличить достаточно большой процент опытных тестеров. Хоть 100%.

talash в сообщении #1595176 писал(а):

Согласен, если терминология сторонников превосходства ИИ весьма образная, то и нечего нападать на психологические термины, используемые для критики способностей ИИ.

По-прежнему не понимаю в чем польза от всей этой терминологии, независимо от оценки нынешних или гипотетических будущих способностей ИИ. Способности можно оценить только при помощи тестов - как бы интересно ни было что там у неё внутре - неонка или анализатор и думатель (что тоже вроде бы не имеет отношения к терминологии).

-- 24.05.2023, 22:27 --

Anton_Peplov в сообщении #1595180 писал(а):

Понятно. Но здесь опять не обязательны ощущения. Достаточно спросить, могут ли у ИИ самозародиться опасные для человека реакции и стратегии, которые в него не закладывали.

Это все-таки разные вещи. Очевидно, что поведение черного ящика в принципе непредсказуемо. Выше я уже упоминал эволюцию этических воззрений ИИ (изначально обученного современной человеческой этике), общеизвестны и т.н. галлюцинации. Но самосознание и вытекающая из него "свобода воли" - это нечто другое. И из решения первой части проблемы (непонимание того как ИИ принимает решения) вовсе не вытекает решение второй. Собственно вторая проблема тоже упирается в непонимание того как ИИ принимает решения, но это непонимание возникает по причине его спонтанной, независимой от обучения, эволюции. Ключевым этапом этой эволюции может оказаться именно спонтанное зарождение самосознания.

[need_to_learn]

MoonWatcher в сообщении #1595181 писал(а):

Ключевым этапом этой эволюции может оказаться именно спонтанное зарождение самосознания.

Поэтому надо не страдать паранойей, а наделить ИИ сознанием целенаправленно — до того, как оно образуется спонтанно и абы как. "Лучше пусть узнает от нас, чем во дворе".

[MoonWatcher]

need_to_learn
Дело за малым - научиться это делать.

[talash]

MoonWatcher в сообщении #1595181 писал(а):

talash в сообщении #1595176 писал(а):

Это необъективный тест. Один тестировщик отличит ИИ от человека, другой нет. То есть, по итогу это просто чьё-то мнение.

Это вопрос статистики - достаточно, чтобы от человека ИИ не смог отличить достаточно большой процент опытных тестеров. Хоть 100%.

Всегда можно придумать определение, что AI это какой-нибудь AGI или вообще AGGGGI. Просто по этому определению, а в чём смысл?

MoonWatcher в сообщении #1595181 писал(а):

talash в сообщении #1595176 писал(а):

Согласен, если терминология сторонников превосходства ИИ весьма образная, то и нечего нападать на психологические термины, используемые для критики способностей ИИ.

По-прежнему не понимаю в чем польза от всей этой терминологии, независимо от оценки нынешних или гипотетических будущих способностей ИИ. Способности можно оценить только при помощи тестов - как бы интересно ни было что там у неё внутре - неонка или анализатор и думатель (что тоже вроде бы не имеет отношения к терминологии).

Не понимаете и сами предлагаете бессмысленный тест Тьюринга.
Смысл имеет только научное определение. Наука изучает объективные природные закономерности. Если мы придумаем принципы тестирования нервной системы, которые оценивают интеллект от низших животных до человека в плане решения не конкретных, а общих(с варьирующимися условиями) задач, а затем по этим же тестам будем тестировать AI, тогда это будет объективная оценка насколько наш AI общий(general).

[MoonWatcher]

talash
Вообще-то все эти тесты давно придуманы. Я вам больше скажу - именно по ним сейчас и тестируется ИИ. Потому что это ЕДИНСТВЕННОЕ, что имеет смысл. И уж точно нет никакого смысла во всех этих дефенициях. Никакие определения не опишут такие понятия как любовь, ненависть, страх, вкус шоколада и т.д., а тем более интеллект. Помните как Чернота в "Беге" говорил? "Россия не вмещается в шляпу!" Так вот и все эти понятия не вмещаются в набор букв. И как я говорил, уже сейчас наблюдается неудовлетворенность тестами - дескать, ИИ просто запомнил правильные ответы (а человек не запомнил, ага). Откуда эта неудовлетворенность - от неправильных тестов? Да ничего подобного - исключительно от прогресса в области ИИ. Мы хотим от него все большего и большего. Вангую, что последним определением AGI будет "чтобы думал не железяками, а биологической субстанцией"...

Собственно я об этом и говорил выше - обсуждение разницы между слабым и сильным ИИ, между человеком и ИИ просто теряет смысл. Это интересно умозрительно, с точки зрения устройства ИИ, его механизма принятия решений и т.д. А с практической точки зрения людей будет по-прежнему интересовать прежде всего результат. В чем и состоит идея теста Тьюринга - если имитирует интеллект, то значит интеллект. И все эти десятилетия, на фоне бессмысленного переливания из пустого в порожнее в обсуждениях терминологии, ИИ оценивается именно по результатам тестов - все более и более требовательных. В какой-то момент человечество окончательно смирится с тем, что ИИ умнее человека (причем далеко не факт, что это относится к нынешним LLM) и сосредоточится на результате.

Нужен ли какой-то конкретный тест? Уверен, что нет. По одним тестам (как можно более абстрактным) бушменский охотник глупее профессора из Кембриджа, а по другим (выживание в дикой природе) профессор глупее охотника. Какой смысл загонять все эти интеллектуальные навыки в один тест? В принципе можно и загнать, но все равно в нем будут многочисленные подразделы. Главное оценить все возможные аспекты интеллекта - и в принципе большинство тестов с этим справляется. Включая заброску ИИ в африканскую саванну - пусть там выживет.

[talash]

MoonWatcher в сообщении #1595267 писал(а):

talash
Вообще-то все эти тесты давно придуманы. Я вам больше скажу - именно по ним сейчас и тестируется ИИ.

Приведите пожалуйста пруфы этого своего утверждения.

MoonWatcher в сообщении #1595267 писал(а):

И уж точно нет никакого смысла во всех этих дефенициях. Никакие определения не опишут такие понятия как любовь, ненависть, страх, вкус шоколада и т.д., а тем более интеллект. Помните как Чернота в "Беге" говорил? "Россия не вмещается в шляпу!" Так вот и все эти понятия не вмещаются в набор букв.

Секундочку, к чему здесь это? Речь шла про понятие AGI почему его не уточняют и не дорабатывают до научного термина с целью объективной оценки насколько современный AI общий(general). Другие термины тоже потребуют уточнения типа "всё более сложные интеллектуальные задачи", но и это будет специальный термин-словосочетание, никак не влияющий и не определяющий обиходное понятие "интеллект".

Если AGI это тоже просто обиходное понятие и все эти многочисленные тусовки поклонников AGI даже не стремятся к научной точности, то тогда не надо агрессировать на оппонентов за использование таких же обиходных или психологических понятий.

MoonWatcher в сообщении #1595267 писал(а):

И как я говорил, уже сейчас наблюдается неудовлетворенность тестами - дескать, ИИ просто запомнил правильные ответы (а человек не запомнил, ага). Откуда эта неудовлетворенность - от неправильных тестов? Да ничего подобного - исключительно от прогресса в области ИИ. Мы хотим от него все большего и большего. Вангую, что последним определением AGI будет "чтобы думал не железяками, а биологической субстанцией"...

Это тут я снова вижу попытку доказательства от противного, что AI это AGI, а людишки вот просто такие нехорошие и не хотят признать, что AI думает как они, но только лучше? Может логичнее заняться поиском научных доказательств, что современный AI это AGI, если вам так не нравится, что много несогласных с этим мнением?

[MoonWatcher]

talash в сообщении #1595414 писал(а):

Приведите пожалуйста пруфы этого своего утверждения.

Ну например:



По горизонтали - искомые тесты. Они для людей - настолько продвинулся ИИ в своем развитии. До этого были специальные бенчмарки для ИИ. Да и сейчас продолжают их разработку.

-- 26.05.2023, 15:35 --

talash в сообщении #1595414 писал(а):

Секундочку, к чему здесь это? Речь шла про понятие AGI почему его не уточняют и не дорабатывают до научного термина с целью объективной оценки насколько современный AI общий(general). Другие термины тоже потребуют уточнения типа "всё более сложные интеллектуальные задачи", но и это будет специальный термин-словосочетание, никак не влияющий и не определяющий обиходное понятие "интеллект".

Если AGI это тоже просто обиходное понятие и все эти многочисленные тусовки поклонников AGI даже не стремятся к научной точности, то тогда не надо агрессировать на оппонентов за использование таких же обиходных или психологических понятий.

По мне да - AGI есть просто обиходное понятие. Свое отношение к этим понятиям я высказал - толку от них, как правило, ноль. Познать истинную суть этих понятий (причем далеко не в полном объеме) можно только опытом. Можно и определение дать: AGI - это интеллект человеческого уровня. И то, что за этим определением сразу следует куча вопросов, лишний раз доказывает бесполезность определений вообще, а не некорректность этого конкретного определения в частности. Я конечно говорю об определениях из области наук про человека - в точных и возможно естественных науках с этим проще.

[Mihaylo]

talash в сообщении #1595178 писал(а):

Первично здесь это желание протолкнуть идею, что современный AI это целый AGI.

"Протолкнуть" - не то слово, надо "пропихнуть"!
У исследователей уже нет сомнения, что нейросетка может все, что угодно, ты лишь обучающие данные подавай.