AGI и пироги

[Ghost_of_past]

Yadryara в сообщении #1702899 писал(а):

Горизонт может быть и поближе 2050-го года.

Горизонт в таких вопросах очень важен - особенно в свете уже идущего стремительного постарения населения и грядущей глобальной депопуляции. Автоматизация труда очень даже нам нужна, но но на горизонте в десятки и десятки лет. Есть и второй момент: наша современная экономика - потребительская экономика. Нет рабочей силы с доходами - нет спроса на товары и услуги компаний, а значит компании массово разорятся. Так что избыточное сокращение рабочей силы не выгодно экономике со стороны потребления.

Mihaylo в сообщении #1703016 писал(а):

Разрешимость меньше 100% - стопудово.

Согласятся ли с этим будущие нанороботы...

[mihaild]

Mihaylo в сообщении #1703016 писал(а):

Разрешимость меньше 100% - стопудово

В чём измеряется "разрешимость" задачи?

[Mihaylo]

mihaild в сообщении #1703025 писал(а):

В чём измеряется "разрешимость" задачи?

В процентах или в баллах)

Задача - это в общем случае несколько примеров для решения. Можно разложить на скрепки только половину планеты.

[Sender]

mihaild в сообщении #1703015 писал(а):

У нас есть уверенность в обратном.

Ну вот, разве это не означает, что мы по сути уже утратили контроль на тем, что создали? Что уж говорить о системах, способных на что-то большее: способность человека извлечь из них пользу будет ограничена прежде всего когнитивными способностями самого человека. Образно выражаясь, мы создаём что-то, способное испускать молнии, в надежде, что эти молнии подожгут нужное нам сухое дерево, чтобы мы могли разжечь костёр.

mihaild в сообщении #1703015 писал(а):

Как это сделать на практике применительно к системам, более сложным, чем калькулятор, и с первой попытки - интересный вопрос. Скорее всего так же, как заработать миллион за 30 дней если ты инженер.

Прошу прощения, если это отсылка, то не уловил. Мне вспомнилась известная шутка про C++ за 21 день.

[provincialka]

Anton_Peplov в сообщении #1702892 писал(а):

Суммой технологиИ. Это отсылка на труд Фомы Аквинского "Сумма теологии".

Спасибо за поправку. Давно не перечитывала.
Мне запомнился там такой сюжет (если я ничего не перевираю). Предположим, ИИ дают задание в виде целевой функции, которая отражает "счастье человечества". И один из способов ее увеличить -- сократить это самое человечество.
Конечно, напрямую это делать запрещено. Но вот ИИ замечает, что использование некоего средства для роста волос приводит к увеличению целевой функции. Причем средство, конечно, проверено в клинических испытаниях. На кроликах. Никаких побочек.
Но вот у мужчин, оказывается, оно приводит к снижению фертильности. Так что человечество все же сокращается.

Конечно, к этой конкретной схеме может быть куча опровержений. Но алгоритм, выработанный ИИ может быть весьма сложным и недоступным пониманию и проверке человеком.
Да, можно составить какие-то граничные условия, типа продолжительности жизни или работоспособности. Но всё ведь не предусмотришь...

[Утундрий]

Я как раз пишу "Сумму геометрии", но постоянно появляются новые главы...

[Sender]

Если каждая последующая глава вдвое короче предыдущей, не страшно.

[mihaild]

Mihaylo в сообщении #1703032 писал(а):

Задача - это в общем случае несколько примеров для решения. Можно разложить на скрепки только половину планеты

Нет, задача - это предикат на состояниях вселенной (когда задача выполнена).
Жду доказательств, что система, разбирающая на скрепки всю планету, невозможна.

Sender в сообщении #1703038 писал(а):

Ну вот, разве это не означает, что мы по сути уже утратили контроль на тем, что создали?

В каком-то смысле утратили. Но текущие системы ещё слишком глупые, чтобы это стало опасно (мы можем ущерб от них ограничить внешними мерами), и даже чтобы это не давало им быть полезными. Пока они не очень далеко ушли - того, что они идут примерно в нужную нам сторону, достаточно, чтобы они были полезны. Плохо будет когда они в ту же сторону, куда идут сейчас, уйдут далеко (сильно дальше, чем может уйти человек).

Sender в сообщении #1703038 писал(а):

Прошу прощения, если это отсылка, то не уловил

Это древний анекдот. "Как заработать миллион за 30 дней, если ты инженер? Об этом и многом другом читайте в нашей новой книге: "Никак"".

[GraNiNi]

Недавно общался с ботом одного провайдера, пытаясь решить технический вопрос.
Долгая переписка с ботом ни к чему не привела - бот сдался, выдав фразу - "Зову человека", после чего проблема была решена за пару минут.

"Человек - это звучит гордо", хоть и на "Дне".

[Yadryara]

GraNiNi в сообщении #1703125 писал(а):

Долгая переписка с ботом ни к чему не привела

А почему долгая? Я обычно сразу прошу позвать человека. Или бот не соглашался позвать?

[GraNiNi]

Yadryara в сообщении #1703136 писал(а):

Я обычно сразу прошу позвать человека

Следующий раз так и сделаю.

[Mihaylo]

mihaild в сообщении #1703075 писал(а):

Жду доказательств, что система, разбирающая на скрепки всю планету, невозможна.

Это несущественно.

Вот человек работал на одной работе, он сильно впрягался, его заставляли выполнять планы в срок, перекуры строго в определённое время, что-то вроде четыре раза в день. И потом он пришёл в другую контору, где проповедуют downshifting и качественную работу вместо быстрой. Как быстро перестроиться, почти мгновенно, не имея никакого иного опыта работы, кроме того, который получен на предыдущей работе?

А никак. Надо получить обучающие данные. А их нет. Но кто-то думает, что можно включить логику и всё выдумать. Мы об этом с вами говорили уже - закон сохранения информации в действии. Если информации не было, то она не появится.

-- 24.09.2025, 19:49 --

Обычный AI, тот же LLM, тщательно учтёт вседоступную информацию, сможет быстро перестроиться на новую работу только если эта информация будет доступна. Мы же ожидаем от ASI, что он покумекает и сам догадается о том, чему его не обучали. Ну да "покумекать" - это только кажется несложно. Мы очень часто "кумекаем" и решаем проблемы, но это путается с обычным AI, он тоже может "кумекать". Просто у людей нет осознания, что все догадки, очень долгие и сложные, которые были в жизни - это просто AI-шная история, а не ASI (геройство какое-то). Тут проблема психологии - стереотипы.

[mihaild]

Mihaylo в сообщении #1703140 писал(а):

Это несущественно

А что тогда существенно?

Mihaylo в сообщении #1703140 писал(а):

Мы же ожидаем от ASI, что он покумекает и сам догадается о том, чему его не обучали

Например, разберет планету на скрепки. Жду доказательств, что это невозможно.
Если возможно - то в чем вообще содержание Вашего утверждения, какие нетривиальные сценарии оно запрещает?

[Mihaylo]

mihaild
Так очевидно же почти, чтобы разобрать что-то на скрепки, нужно провести очень большое количество экспериментов, чтобы понять, как это сделать. Ровно также невозможно перейти на новую работу и мгновенно перестроиться на новый лад. Нужны эти чёртовы эксперименты, которые вечно не будут получаться, их много и на их проведение требуется время - запрос к environment и наблюдение реакции. Обучение без учителя - та ещё задачка...

-- 24.09.2025, 20:16 --

mihaild в сообщении #1703147 писал(а):

Например, разберет планету на скрепки.

Ограниченное время - это обязательно. Нам не нужен ASI, который скушает всю нефть, уран и кукурузу, и при этом не выдаст ответ через 100 лет, например.

[Sender]

Mihaylo в сообщении #1703149 писал(а):

Нам не нужен ASI, который скушает всю нефть, уран и кукурузу, и при этом не выдаст ответ через 100 лет, например.

Он даст ответ, который удовлетворит поставщиков ресурсов, которые ему потребуются для ухода в нирвану, например.