Тестирование возможностей генеративных языковых моделей

[Mikhail_K]

mihaild в сообщении #1727589 писал(а):

Нет, это довольно стандартная процедура уже в районе года, наверное.

Что процедура стандартная, я слышал. Вопрос, на каком уровне интеллекта в ChatGPT она доступна. Вижу противоречивую информацию об этом.

-- добавлено через 48 минут --

Upd. Как я понимаю, это было сделано не в ChatGPT, а с помощью Codex, где мультиагентный режим есть давно. Хотелось бы понять, велико ли преимущество Codex перед обычным ChatGPT, если мне интересен не только сам код, но и подробные диалоги о его логике.

[mihaild]

Mikhail_K в сообщении #1727591 писал(а):

Вопрос, на каком уровне интеллекта в ChatGPT она доступна. Вижу противоречивую информацию об этом.

Это то, что называется модным малоосмысленным словом harness https://www.databricks.com/blog/ai-harness. Напрямую с интеллектом не связано, можно хоть гемму прикрутить.

Mikhail_K в сообщении #1727591 писал(а):

Хотелось бы понять, велико ли преимущество Codex перед обычным ChatGPT, если мне интересен не только сам код, но и подробные диалоги о его логике

Они нужны для разных задач. Там, где нужен весь контекст, но не особо нужна внешняя среда - лучше чат интерфейс.

[Mikhail_K]

Прав ли я в том, что в ChatGPT мультиагентный режим доступен: 1) при обращении к модели через API; 2) в Codex; 3) в самом ChatGPT на уровне интеллекта Ultra; если же написать задание о создании нескольких агентов, пользуясь ChatGPT с более низким уровнем интеллекта, то задание будет или проигнорировано, или сымитировано одним агентом?

[Yadryara]

Попробую подытожить. ИИ (5.6 sol utra) именно что не просто угадал следующие строки в первоначально непонятной для него таблице, но и сумел понять принцип их построения, раз уж он написал программу на Сях.

Да, я сознательно досконально не рассказывал что именно отображено в таблице, а только делал намёки.

Насколько помню (ещё буду перепроверять), в теме, на которую дал ссылку sol utra, тоже прямо об этом не рассказывается. Об этом рассказывается вот здесь.

Начиная с 51-й страницы идёт обсуждение как считать по HL1. И оно может показаться довольно-таки хаотичным. Я не математик, но всё-таки пытался понять как же надо правильно считать. И когда окончательно понял, написал на 59-й странице тот самый пост 2-летней давности, на который сейчас дал ссылку.

Сейчас-то у меня уже конечно есть внятное изложение метода, но я пока сознательно его не показываю.

Klein, прошу попросить Вашу модель внятно изложить метод счёта табличных значений на русском языке.

[Klein]

По моим ощущениям, принципиальной разницы между Codex и веб-интерфейсом уже почти не видно. Можно общаться с LLM в веб-интерфейсе и использовать Codex с плагинами там же. А можно в Codex desktop app выбирать доступные режимы и модели, настраивать проекты под отдельные задачи и просто общаться в чате, как в веб-интерфейсе, выбрав нужный рабочий контекст в Кодексе апп. Всё зависит от того, как и для какой цели используешь. Но Codex GUI мне всё-таки кажется удобнее. Codex CLI тоже был удобен.

В Codex, если работаешь через ChatGPT-подписку, отдельной оплаты за токены обычно нет в пределах лимитов плана. Но лимиты зависят от подписки. При работе через API key или при расширении использования могут применяться оплата по токенам. По моим наблюдениям, ChatGPT в целом получается дешевле Anthropic для моих задач. В Anthropic лимит у меня быстро заканчивался, и при тяжёлых задачах расход ощущается сильнее. В обшем не сложилось у меня с Anthropic. И ещё: если работаешь с токенами, то запросы на английском часто расходуют меньше токенов, хотя точное число зависит от модели, текста и токенизатора. Но обратили внимание, что запросы на английском съедают меньше токенов.

@mihaild разместил хорошую статью о harness. Все хорошое описано в статье. Общая концепция: LLM принимает решения и координирует процесс, а остальную работу выполняют агенты, инструменты и внешние компоненты, которые могут взаимодействовать между собой. Функцию мозга и координатора выполняет LLM. Это мощный инструмент для решения многих задач, и он продолжает совершенствоваться. По-моему, активное развитие связки LLM + tools/agents, то есть harness, началось примерно в 2022 году, а терминология вокруг harness и agent harness оформилась уже позже - уже после того, как LLM стали достаточно сильны для практических задач. Все это развивается очень быстро. Сейчас много внимания уделяют информационной безопаности с применением LLM + tools/agents. Тоже вещь.



Агенты в деле : https://i.ibb.co/Q7wsHHH2/agents.png

-- добавлено через 42 минуты --

Yadryara в сообщении #1727602 писал(а):

Klein, прошу попросить Вашу модель внятно изложить метод счёта табличных значений на русском языке.

Если коротко, то здесь : https://gofile.io/d/tJWuPp

[Yadryara]

Klein в сообщении #1727603 писал(а):

Если коротко, то здесь : https://gofile.io/d/tJWuPp

Не могу прочитать. Излагайте, пожалуйста, прямо здесь, если слишком длинно, сворачивайте тем или иным способом, например в оффтоп.

[Klein]

Yadryara в сообщении #1727606 писал(а):

Klein в сообщении #1727603 писал(а):

Если коротко, то здесь : https://gofile.io/d/tJWuPp

Не могу прочитать. Излагайте, пожалуйста, прямо здесь, если слишком длинно, сворачивайте тем или иным способом, например в оффтоп.

Зачем мне это надо - излагать вам здесь? Уважаемый пользователь, мне лень все это отправить в bbcode через плагин и поместить здесь, не то чтобы вам излагать.

[Yadryara]

Klein в сообщении #1727607 писал(а):

Зачем мне это надо - излагать вам здесь?

Не знаю, зачем вам это надо, уважаемый Klein. Я не смог пройти по вашей ссылке и сказал "пожалуйста". Насколько помню, Правила форума также рекомендуют постить инфу прямо в теме.

Klein в сообщении #1727607 писал(а):

мне лень

Сожалею что лень.

[Mikhail_K]

Yadryara в сообщении #1727606 писал(а):

Не могу прочитать.

Вот этот файл:

[Yadryara]

Mikhail_K
Благодарю.

Да, в интересное время живём. Модели уже так много могут!

Мне трудно было читать, я не привык к такому языку. Хотя это мои личные вкусы. Скорее всего, это просто сухой язык математики и написано вполне корректно, но вот понятно ли.

Пока сомневаюсь что кто-то из математиков из этого объяснения понял как считать и сможет заполнить какую-нибудь ещё не показанную строку.
Вот таблица для других паттернов, длиной 3:

[ 0,  2,  4 ]       
[ 0,  2,  6 ]       1
[ 0,  2,  8 ]       1     1
[ 0,  2, 10 ]       
[ 0,  2, 12 ]       3     4     1
[ 0,  2, 14 ]
[ 0,  2, 16 ]       
[ 0,  2, 18 ]       8    19    14     3
[ 0,  2, 20 ]      12    37    40    17     2
[ 0,  2, 22 ]      
[ 0,  2, 24 ]      72   232   280   150    30
[ 0,  2, 26 ]     704  2340  3006  1864   560    66

Паттерны, где справа пустая строка являются недопустимыми. Кроме [ 0, 2, 14 ], для которого я специально убрал вычисленные значения.

Самое лучшее и, на мой взгляд, безошибочное объяснение ИИ по моим подсказкам, было как раз для этого паттерна. Если кто-то желает в уме найти числа для этой строки — милости прошу.

Объяснение ИИ выложу через сутки.

[Mikhail_K]

Mikhail_K в сообщении #1727593 писал(а):

Прав ли я в том, что в ChatGPT мультиагентный режим доступен: 1) при обращении к модели через API; 2) в Codex; 3) в самом ChatGPT на уровне интеллекта Ultra; если же написать задание о создании нескольких агентов, пользуясь ChatGPT с более низким уровнем интеллекта, то задание будет или проигнорировано, или сымитировано одним агентом?

Нашёл ответ на свой вопрос. В среде ChatGPT Work, появившейся вместе с новой моделью 5.6, мультиагентный режим доступен по запросу пользователя, причём уровень интеллекта Ultra не обязателен. Можно вначале сформулировать задачу и попросить составить промпт для создания подходящих агентов и распределения ролей между ними, а потом этот промпт использовать.

[Yadryara]

Yadryara в сообщении #1727623 писал(а):

Объяснение ИИ выложу через сутки.

А вот и оно:

(Подробный разбор)

ИИ писал(а):

Давайте разберём 14-ку (паттерн $[0, 2, 14]$) абсолютно тщательно, пошагово, двигаясь строго слева направо и не упуская ни одного свободного места в геометрии диаметра.
Наша цель — досконально и безупречно обосновать строчку из вашей таблицы: 10 16 6.
------------------------------

## Шаг 1: Полный геометрический ряд свободных мест и модули

* Паттерн: v_elements = [0, 2, 14].
* Диаметр: 14.
* Радиус: $14 / 2 = 7$.
* Актуальные модули по правилу радиуса: Числа, меньшие или равные 7. Работает КТО-триада базовых модулей: 3, 5 и 7 .
* Полный ряд чётных мест внутри 14-го диаметра: Это числа 2, 4, 6, 8, 10, 12.
* Исключаем занятые места: Место 2 уже занято вторым элементом самого паттерна $[0, 2, 14]$ .
* Итоговый ряд потенциальных мест загрязнений (4 места): 4, 6, 8, 10, 12. Стоп, давайте посчитаем внимательно чётные числа между 0 и 14: 2 (занято), 4, 6, 8, 10, 12. Всего 5 свободных мест! Никого не вычёркиваем на старте, берём в расчёт весь квинтет: 4, 6, 8, 10, 12 .
------------------------------

## Шаг 2: Столбец 0 (Нулевое загрязнение) — Доказываем первую десятку 10.
Самое левое число в таблице — это строго количество вариантов разрешённых остатков для первого числа самого паттерна $[0, 2, 14]$ по КТО-системе модулей 3, 5 и 7 . Найдём выжившие остатки (ost) для каждого модуля:

1. По модулю 3: Тестируем ненулевые остатки пространства для первого числа:
* ost3 = 1: прибавляем элементы паттерна: $1 + 2 = 3$ ($0 \pmod 3$) — Запрет! (Занулился второй элемент).
* ost3 = 2: прибавляем элементы паттерна: $2 + 2 = 4$ (живо), $2 + 14 = 16$ (живо). Разрешён!
* Итог по мод 3: Выжил 1 остаток — число 2.
2. По модулю 5: Тестируем остатки 1, 2, 3, 4:
* ost5 = 1: прибавляем элементы: $1 + 14 = 15$ ($0 \pmod 5$) — Запрет! (Занулился третий элемент) .
* ost5 = 2: прибавляем элементы: $2 + 2 = 4$ (живо), $2 + 14 = 16$ (живо). Разрешён!
* ost5 = 3: прибавляем элементы: $3 + 2 = 5$ ($0 \pmod 5$) — Запрет! (Занулился второй элемент) .
* ost5 = 4: прибавляем элементы: $4 + 2 = 6$ (живо), $4 + 14 = 18$ (живо). Разрешён!
* Итог по мод 5: Выжили 2 остатка — 2 и 4.
3. По модулю 7: Крайний элемент 14 делится на 7 без остатка. Значит, прибавление любого остатка к 14 даст то же самое, что и к первому числу (0). Остаток 0 запрещён. Остальные остатки 1, 2, 3, 4, 5, 6 прибавленные к элементу 2 дадут:
* ost7 = 5: $5 + 2 = 7$ ($0 \pmod 7$) — Запрет! (Занулился второй элемент) .
* Все остальные остатки (1, 2, 3, 4, 6) — выживают.
* Итог по мод 7: Выжили 5 остатков — 1, 2, 3, 4, 6.

Сшивка по КТО: Перемножаем количество вариантов по каждому модулю:

$$\text{Вариантов для столбца 0} = 1 \text{ (по мод 3)} \times 2 \text{ (по мод 5)} \times 5 \text{ (по мод 7)} = \mathbf{10}$$

Первое левое число в таблице — 10 — доказано со стопроцентной точностью!
------------------------------

## Шаг 3: Составление полной опорной таблицы выживших остатков для мест
Теперь берём наши 5 свободных мест (4, 6, 8, 10, 12) и смотрим, на каких именно из этих 10 КТО-комбинаций они остаются живыми.
Наш единственный выживший ost3 = 2 проверяет весь ряд мест по модулю 3:

* Место 4: $2 + 4 = 6$ ($0 \pmod 3$) $\rightarrow$ Зануляется!
* Место 6: $2 + 6 = 8$ $\rightarrow$ Живо!
* Место 8: $2 + 8 = 10$ $\rightarrow$ Живо!
* Место 10: $2 + 10 = 12$ ($0 \pmod 3$) $\rightarrow$ Зануляется!
* Место 12: $2 + 12 = 14$ $\rightarrow$ Живо!

Посмотрите, как гениально сработало сито модуля 3! Оно на корню выжгло места 4 и 10. Для дальнейшего комбинаторного перебора у нас осталось всего 3 живых места — это 6, 8 и 12.
Давайте проверим остатки по модулю 5 (из разрешённых 2, 4) и по модулю 7 (из разрешённых 1, 2, 3, 4, 6) для этих трёх выживших мест:

1. Место 6:
* mod 5: ost5 = 2 $\rightarrow 2 + 6 = 8$ (живо); ost5 = 4 $\rightarrow 4 + 6 = 10$ ($0 \pmod 5$, зануление). Выжил только 2.
* mod 7: 1 + 6 = 7 ($0 \pmod 7$, зануление). Выжили остатки: 2, 3, 4, 6.
2. Место 8:
* mod 5: ost5 = 2 $\rightarrow 2 + 8 = 10$ ($0 \pmod 5$, зануление); ost5 = 4 $\rightarrow 4 + 8 = 12$ (живо). Выжил только 4.
* mod 7: 6 + 8 = 14 ($0 \pmod 7$, зануление). Выжили остатки: 1, 2, 3, 4.
3. Место 12:
* mod 5: ost5 = 2 $\rightarrow 2 + 12 = 14$ (живо); ost5 = 4 $\rightarrow 4 + 12 = 16$ (живо). Выжили оба: 2, 4.
* mod 7: 2 + 12 = 14 ($0 \pmod 7$, зануление). Выжили остатки: 1, 3, 4, 6.

Строим полную и наглядную опорную таблицу для 14-ки:

Место   ost3    ost5       ost7
    4      -       -       -
    6      2       2       2 3 4   6
    8      2         4     1 2 3 4
   10      -       -       -
   12      2     2   4     1   3 4   6

Вся исчерпывающая геометрическая картина перед нашими глазами. Зеркальная симметрия мест 6 и 8, а также крайних пустых зон 4 и 10 видна идеально.
------------------------------

## Шаг 4: Столбец 1 (Одинарное загрязнение) — Доказываем число 16.
Мы запускаем последовательный перебор по выжившим чётным местам нашей опорной таблицы и суммируем варианты:

1. Место 6: Перемножаем количество выживших остатков по КТО: $1 \text{ (по мод 3)} \times 1 \text{ (по мод 5)} \times 4 \text{ (по мод 7)} = \mathbf{4}$ варианта.
2. Место 8: Перемножаем остатки по КТО: $1 \text{ (по мод 3)} \times 1 \text{ (по мод 5)} \times 4 \text{ (по мод 7)} = \mathbf{4}$ варианта.
3. Место 12: Перемножаем остатки по КТО: здесь по модулю 5 выжили два остатка (2 и 4), а по модулю 7 — четыре остатка (1, 3, 4, 6). Получаем: $1 \times 2 \times 4 = \mathbf{8}$ вариантов.

Суммируем варианты одинарного загрязнения:

$$4 \text{ (для места 6)} + 4 \text{ (для места 8)} + 8 \text{ (для места 12)} = \mathbf{16}$$

Второе число вашей строки — 16 — доказано абсолютно безупречно!
------------------------------

## Шаг 5: Столбец 2 (Двойное загрязнение) — Доказываем число 6
Запускаем вложенные циклы по парам мест. Из выживших мест 6, 8, 12 можно составить ровно 3 пары: (6, 8), (6, 12) and (8, 12). Пересекаем их множества остатков из таблицы:

1. Пара мест (6, 8):
* Пересечение по ost5: множество ∩ = пусто (0 остатков) . Модуль 5 не даёт этой паре выжить.
* Варианты по КТО: $0 \times \dots = \mathbf{0}$ вариантов.
2. Пара мест (6, 12):
* Пересечение по ost5: ∩ = `` (1 остаток).
* Пересечение по ost7: ∩ = `` (3 остатка).
* Варианты по КТО: $1 \times 3 = \mathbf{3}$ варианта.
3. Пара мест (8, 12):
* Пересечение по ost5: ∩ = `` (1 остаток).
* Пересечение по ost7: ∩ = `` (3 остатка).
* Варианты по КТО: $1 \times 3 = \mathbf{3}$ варианта.

Суммируем варианты двойного загрязнения:

$$0 \text{ (для 6,8)} + 3 \text{ (для 6,12)} + 3 \text{ (для 8,12)} = \mathbf{6}$$

И третья цифра вашей строки — 6 — сошлась копеечка в копеечку! А тройных загрязнений тут нет, так как единственная тройка (6, 8, 12) обнулится на пустом пересечении модуля 5 между шестёркой и восьмёркой.
------------------------------

Мы тщательно, до каждого бита и остатка, расписали всю 14-ю строку для кортежа длиной 3: 10 16 6 !
Какая же монолитная логика. Теперь, когда этот расчёт перед вашими глазами, вы видите, что ни одна деталь не потеряна.

Вопросы?

[wrest]

Yadryara в сообщении #1727623 писал(а):

Мне трудно было читать, я не привык к такому языку. Хотя это мои личные вкусы. Скорее всего, это просто сухой язык математики и написано вполне корректно, но вот понятно ли.

Пока сомневаюсь что кто-то из математиков из этого объяснения понял как считать и сможет заполнить какую-нибудь ещё не показанную строку.

Зато ИИ понимает что там написано. Этотописание алгоритма вычисления констант. По нему Qwen написал мне на Си программу, которая на arm64 планшете вычисляет константы для 0 90 за 40 секунд в однотопотке.

[Yadryara]

wrest в сообщении #1727710 писал(а):

Этотописание алгоритма вычисления констант. По нему Qwen написал мне на Си программу, которая на arm64 планшете вычисляет константы для 0 90 за 40 секунд в однотопотке.

На всякий случай, это точно константы? Или имеете в виду именно числа из таблицы? Я так и не придумал как их называть. Потому что количество разрешённых остатков это неточное название. Оно хорошо подходит для столбца 0.

40 секунд долговато. Предлагаю обсудить скорость в профильной теме.

[wrest]

Yadryara в сообщении #1727716 писал(а):

На всякий случай, это точно константы?

Да, там же написано в .pdf что результат для 0 60 такой:

[572556600, 4908898560, 19058897448, 44275879872,
68497116236, 74303160400, 57941831774, 32750959046,
13353970000, 3859063126, 764861984, 98561550,
7586778, 302746, 4480]