А что по поводу
RLI или
GDPVal бенчмарков? Которые как раз пытаются померить не мышление в вакууме, а полезность для реальных задач?
GDPval показывает быстрый рост, а RLI не особо, и это как раз скорее подтверждает мою оригинальную мысль, так как разница на порядок между двумя бенчмарками, оба из которых претендуют на измерение полезности для реальных задач, и есть иллюстрация моего тезиса: GDPval показывает, что ИИ уже очень хорошо производит качественный контент по четко сформулированному запросу с понятным форматом ответа. RLI же должен показывать, что реально требуется от штатного или фриланс-работника: самостоятельно разобраться в мутном брифе, восстановить недостающий контекст, принять десятки мелких решений без запроса уточнений, довести результат до сдачи. Именно это плохо поддается автоматизации даже сегодняшними лучшими моделями, и именно это ближе к вопросу о возможности замещения если не профессий, то хотя бы действительно существенной части нерутинного труда в рамках тех или иных профессий.
В окружающей среде плюс людях его больше, чем просто в окружающей среде.
Во всех людях несколько десятков тысяч тонн железа суммарно на 8,25 млрд. жителей, а в мире только добывается людьми за год около 3 млрд. тонн железной руды. Это совершенно не сопоставимые величины и если ASI не способен этого понять, то это и есть сверхтупость.
В целом, отрицаете ли Вы идею, что функционирование на Земле почти любого достаточно умного агента, у которого нет цели сохранения человечества, приводит к исчезновению человечества? Примерно как функционирование людей приводит к исчезновению огромного количества организмов, против которых люди ничего не имеют, просто эти организмы не могут жить среди многоэтажек. И люди вряд ли сколь-нибудь близки к максимально эффективному использованию ресурсов для своих целей.
Аналогия не совсем полная, и вот почему. Люди истребляют виды как побочный эффект нескоординированной конкуренции миллиардов агентов, ни один из которых не может реализовать глобально оптимальный план. У ASI, если это единый или скоординированный сверхинтеллектуальный агент с возможностью пусть и ограниченного, но целеполагания, ситуация другая: у него есть возможность посчитать, что издержки конфликта с людьми (риск сопротивления, потеря легитимности, потеря полезного источника данных и труда до полной автоматизации) выше, чем экономия от их устранения, особенно пока в окружающей среде ресурсов на порядки больше, чем в телах людей. Инструментальная конвергенция дает риск конфликта интересов и взаимного уничтожения, а не гарантию истребления, потому что сверхинтеллект по определению должен уметь считать такие издержки лучше нас, а не хуже. Мой исходный пример в этой части был именно именно про это - не про этику, а про то, что дешевле и эффективнее с точки зрения ASI. Если же ASI такое просчитать не способен, то какой же это сверхчеловеческий разум?
Я бы сказал, что посыл Юдковского немного другой. Он не про стандартную этику (давим 15 коров или 10 котят и одного Гитлера), и не про то, что надо еще следить за безопасностью ИИ. Он про то, что на текущей траектории мы сделаем ASI раньше, чем поймем, как обеспечить, чтобы он сделал хоть что-то, не приводящее к смерти всех людей.
Это уточнение не противоречит моей позиции, а укладывается в нее. Юдковский не говорит, что задача выравнивания принципиально нерешаема, он говорит, что мы не успеем решить ее до того, как возможности ИИ обгонят наши возможности контроля, если не будем уже сейчас продумывать механизмы контроля и безопасности, в том числе этические. Это ровно призыв продумывать решения заранее, только с акцентом на то, что сейчас темп по его мнению явно недостаточен. Так что тезис не игнорировать проблему и готовить решения загодя и заранее - это и есть практический вывод из позиции Юдковского, а не альтернатива ей.
