AGI и пироги

[Cuprum2020]

Ghost_of_past в сообщении #1702846 писал(а):

Ага, поэтому ни одна LLM так и не сумела написать мне скрипт на R для байесовского сетевого анализа с визуализацией. А я даже не программист

Вот именно на Ваших скриптах будущие модели и обучат

[dsge]

mihaild в сообщении #1702874 писал(а):

Ну кстати подобрать сейчас задачу на теорему Байеса, которую надежно решит второкурсник-троечник, и надежно не решат LLM, не так-то просто.

Только дал Майкрософтовскому Копилоту задачу, как промежуточный результат он выдал следующее:

Цитата:

Итого полная вероятность:
P(оба выпали на 6)=3+7+2.528=12.528

С человекообразными в таких случаях разговор, обычно, заканчивается.

А Дипсик задачу решил с очень подробным решением.

[Sender]

mihaild в сообщении #1702874 писал(а):

В каком смысле "бездумно"? У системы есть какая-то ФП, которая каким-то сложным способом получается из того, чему её учили.

ФП здесь - функция полезности?.. Откуда у нас вообще уверенность, что максимизируется именно то, что нам надо? Можем ли мы в принципе правильно измерить пригодность системы к решению нужных нам задач, если она интеллектуальнее нас?

[provincialka]

Что мне странно, что в теме до сих пор не упомянут С.Лем с его "Суммой технологий". Он вопросы этики и последствий деятельности ИИ отлично разбирает.

[Anton_Peplov]

provincialka в сообщении #1702891 писал(а):

"Суммой технологий"

Суммой технологиИ. Это отсылка на труд Фомы Аквинского "Сумма теологии".

provincialka в сообщении #1702891 писал(а):

Он вопросы этики и последствий деятельности ИИ отлично разбирает.

Главный тезис Лема на этот счет: ИИ будет похож на человеческий разум примерно как атомный реактор на человеческое тело. Мы не знаем, чего он захочет.

Но, продолжает Никлас Бустрём, широко известный в узких кругах как Ник Бостром, чего бы он ни захотел, ему понадобится как минимум обезопасить себя от наших посягательств. Ведь если мы его уничтожим, его конечная цель не будет достигнута. А также ему понадобятся средства для достижения цели, читай материя и энергия. А тут мы под ногами путаемся. Разберет на скрепки и не поморщится.

[Sender]

Получается, когда ИИ поручат доказать гипотезу Римана, первым пунктом в подготовке к доказательству, как ни крути, будет убить всех людей.

[Ghost_of_past]

Cuprum2020 в сообщении #1702884 писал(а):

Вот именно на Ваших скриптах будущие модели и обучат

Хорошая шутка. Откуда бы скрипт, являющийся внутренней интеллектуальной собственностью исследовательского агентства, попадет в LLM? Это даже при том, что наше агентство - официальный партнер Гугла по всему мира. Такими вещами обычно никто не делится.

Факт состоит в том, что написать хорошо работающий скрипт на R по байесовскому сетевому анализу с визуализацией сейчас занимает времени не сильно больше, чем создать подробнейшие инструкции для LLM, чтобы они сделали что-то стоящее, а не фигню на выходе по этой задаче. И это несчастный скрипт в пару тысяч строчек, который обрабатывает полученные данные трекингов с каждой волны.

[Yadryara]

rockclimber в сообщении #1702878 писал(а):

100500-я тема о том, как ИИ нас всех (не) уничтожит?

Ну это вроде как весьма важная нынче тема. Причём не просто для первой половины XXI-го века. Горизонт может быть и поближе 2050-го года.

Я так понял, что поинт нынче не в восстании машин, а в максимизации той самой функции полезности. То есть даже если ИИ будет делать то, что ему велено, например пытаться наиболее полно ответить на вопрос, он вполне может ненароком угробить человечество.

[mathpath]

provincialka в сообщении #1702891 писал(а):

Что мне странно, что в теме до сих пор не упомянут С.Лем с его "Суммой технологий". Он вопросы этики и последствий деятельности ИИ отлично разбирает.

Лем в «Сумме технологий» рассматривал процесс выращивания знаний, где информация развивается подобно органической системе, а не просто линейно накапливается.
Знания перестраивают всю систему (как ветви дерева, которые растут неравномерно и влияют друг на друга).
Человечество не может полностью контролировать этот процесс, потому что новые открытия меняют смысл старых (например, квантовая механика переписала классическую физику).
Плюс возникают всякие непредсказуемые последствия в форме новых этических дилемм, которые нельзя было предвидеть.

Люди не способны модерировать этот процесс, потому что имеют когнитивные ограничения: объём информации может превышать возможности человеческого мозга, даже с ИИ мы не успеваем осмысливать все открытия.
А еще существует парадокс специализации - чем глубже эксперт в одной области, тем хуже он видит связи с другими.

Знания — это не статичная база данных, а сеть с постоянно пересматриваемыми связями, например, открытие микробиома перевернуло медицину, показав, что человек — это симбиоз организма и бактерий.

Есть еще т.н. эпистемический хаос - это когда в науке одновременно сосуществуют противоречивые теории (например, разные интерпретации квантовой механики).

Лем предполагал, что в будущем искусственный интеллект возьмёт на себя часть функций садовника знаний:
Сейчас это может показаться бредом, но вероятно в будущем на основе автоматизированног анализа связей ИИ будет выявлять противоречия между научными статьями.

Лем был прав в том, что знания действительно выращиваются, а не просто накапливаются.
И человечество не может жёстко управлять этим процессом, как это ни странно звучит, но может пытаться развивать ИИ как инструмент.

[Yadryara]

Мне у Лема нравится термин "окно контакта". В самом деле, ну ведь трудно поспорить, что чем развитее становится цивилизация, тем больше у неё способов себя укокошить. И, рано или поздно, один из них реализовывается. Статистика — упрямая штука.

[Cuprum2020]

Ghost_of_past в сообщении #1702897 писал(а):

Откуда бы скрипт, являющийся внутренней интеллектуальной собственностью исследовательского агентства, попадет в LLM?

То есть это даже не скрипты которыми Вы ни с кем не делились? Тогда считайте что они уже в обучающей базе

[Ende]

Обсуждение задачи по SQL перенесено в тему «Тестирование возможностей генеративных языковых моделей»

[Mihaylo]

mihaild в сообщении #1702874 писал(а):

Mihaylo в сообщении #1702836 писал(а):

Никакого ASI не может существовать

Доказательства? Какие верхние оценки? Например, может ли существовать система, которая, начиная с суток работы на 1000 v6e с доступом в интернет, сможет через полгода начать ядерную войну?

Например, точность распознавания речи от Microsoft достигла процента ошибок < 6%, тогда как точность человеческого распознавания > 6%. Можно сказать, что в распознавании речи статус AGI достигнут, но ни о каком ASI речи нет. И не будет никакого ASI. Вы видели каракули цифр MNIST?


Это всё семёрки. Никакая логика и усилитель мозга не поможет угадать все эти цифры (если бы не было подсказки).

Верхний предел, о котором вы говорите, очень зависит от задач, которые надо решать, а не от чего-то фундаментального. Задачи нерешаемы на все 100%, и это очевидно. Во всех задачах есть лотерея.

-- 23.09.2025, 19:43 --

Цифры MNIST круто распознали в начале века, но на этом всё, достигнут предел, который улучшается совсем по чуть-чуть.

[mihaild]

Sender в сообщении #1702890 писал(а):

Откуда у нас вообще уверенность, что максимизируется именно то, что нам надо?

У нас есть уверенность в обратном.

Sender в сообщении #1702890 писал(а):

Можем ли мы в принципе правильно измерить пригодность системы к решению нужных нам задач, если она интеллектуальнее нас?

Теоретически это возможно. Мы же можем получить верные ответы от калькулятора там, где не можем посчитать их сами. Как это сделать на практике применительно к системам, более сложным, чем калькулятор, и с первой попытки - интересный вопрос. Скорее всего так же, как заработать миллион за 30 дней если ты инженер.

Mihaylo в сообщении #1703011 писал(а):

Верхний предел, о котором вы говорите, очень зависит от задач, которые надо решать, а не от чего-то фундаментального. Задачи нерешаемы на все 100%, и это очевидно

Ну да. Что ничего не говорит нам о разрешимости конкретной задачи "разобрать Землю на скрепки".

[Mihaylo]

mihaild в сообщении #1703015 писал(а):

Что ничего не говорит нам о разрешимости конкретной задачи "разобрать Землю на скрепки".

Почему не говорит? Разрешимость меньше 100% - стопудово.