Тестирование возможностей генеративных языковых моделей

[Mikhail_K]

mihaild в сообщении #1727589 писал(а):

Нет, это довольно стандартная процедура уже в районе года, наверное.

Что процедура стандартная, я слышал. Вопрос, на каком уровне интеллекта в ChatGPT она доступна. Вижу противоречивую информацию об этом.

-- добавлено через 48 минут --

Upd. Как я понимаю, это было сделано не в ChatGPT, а с помощью Codex, где мультиагентный режим есть давно. Хотелось бы понять, велико ли преимущество Codex перед обычным ChatGPT, если мне интересен не только сам код, но и подробные диалоги о его логике.

[mihaild]

Mikhail_K в сообщении #1727591 писал(а):

Вопрос, на каком уровне интеллекта в ChatGPT она доступна. Вижу противоречивую информацию об этом.

Это то, что называется модным малоосмысленным словом harness https://www.databricks.com/blog/ai-harness. Напрямую с интеллектом не связано, можно хоть гемму прикрутить.

Mikhail_K в сообщении #1727591 писал(а):

Хотелось бы понять, велико ли преимущество Codex перед обычным ChatGPT, если мне интересен не только сам код, но и подробные диалоги о его логике

Они нужны для разных задач. Там, где нужен весь контекст, но не особо нужна внешняя среда - лучше чат интерфейс.

[Mikhail_K]

Прав ли я в том, что в ChatGPT мультиагентный режим доступен: 1) при обращении к модели через API; 2) в Codex; 3) в самом ChatGPT на уровне интеллекта Ultra; если же написать задание о создании нескольких агентов, пользуясь ChatGPT с более низким уровнем интеллекта, то задание будет или проигнорировано, или сымитировано одним агентом?

[Yadryara]

Попробую подытожить. ИИ (5.6 sol utra) именно что не просто угадал следующие строки в первоначально непонятной для него таблице, но и сумел понять принцип их построения, раз уж он написал программу на Сях.

Да, я сознательно досконально не рассказывал что именно отображено в таблице, а только делал намёки.

Насколько помню (ещё буду перепроверять), в теме, на которую дал ссылку sol utra, тоже прямо об этом не рассказывается. Об этом рассказывается вот здесь.

Начиная с 51-й страницы идёт обсуждение как считать по HL1. И оно может показаться довольно-таки хаотичным. Я не математик, но всё-таки пытался понять как же надо правильно считать. И когда окончательно понял, написал на 59-й странице тот самый пост 2-летней давности, на который сейчас дал ссылку.

Сейчас-то у меня уже конечно есть внятное изложение метода, но я пока сознательно его не показываю.

Klein, прошу попросить Вашу модель внятно изложить метод счёта табличных значений на русском языке.

[Klein]

По моим ощущениям, принципиальной разницы между Codex и веб-интерфейсом уже почти не видно. Можно общаться с LLM в веб-интерфейсе и использовать Codex с плагинами там же. А можно в Codex desktop app выбирать доступные режимы и модели, настраивать проекты под отдельные задачи и просто общаться в чате, как в веб-интерфейсе, выбрав нужный рабочий контекст в Кодексе апп. Всё зависит от того, как и для какой цели используешь. Но Codex GUI мне всё-таки кажется удобнее. Codex CLI тоже был удобен.

В Codex, если работаешь через ChatGPT-подписку, отдельной оплаты за токены обычно нет в пределах лимитов плана. Но лимиты зависят от подписки. При работе через API key или при расширении использования могут применяться оплата по токенам. По моим наблюдениям, ChatGPT в целом получается дешевле Anthropic для моих задач. В Anthropic лимит у меня быстро заканчивался, и при тяжёлых задачах расход ощущается сильнее. В обшем не сложилось у меня с Anthropic. И ещё: если работаешь с токенами, то запросы на английском часто расходуют меньше токенов, хотя точное число зависит от модели, текста и токенизатора. Но обратили внимание, что запросы на английском съедают меньше токенов.

@mihaild разместил хорошую статью о harness. Все хорошое описано в статье. Общая концепция: LLM принимает решения и координирует процесс, а остальную работу выполняют агенты, инструменты и внешние компоненты, которые могут взаимодействовать между собой. Функцию мозга и координатора выполняет LLM. Это мощный инструмент для решения многих задач, и он продолжает совершенствоваться. По-моему, активное развитие связки LLM + tools/agents, то есть harness, началось примерно в 2022 году, а терминология вокруг harness и agent harness оформилась уже позже - уже после того, как LLM стали достаточно сильны для практических задач. Все это развивается очень быстро. Сейчас много внимания уделяют информационной безопаности с применением LLM + tools/agents. Тоже вещь.



Агенты в деле : https://i.ibb.co/Q7wsHHH2/agents.png

-- добавлено через 42 минуты --

Yadryara в сообщении #1727602 писал(а):

Klein, прошу попросить Вашу модель внятно изложить метод счёта табличных значений на русском языке.

Если коротко, то здесь : https://gofile.io/d/tJWuPp

[Yadryara]

Klein в сообщении #1727603 писал(а):

Если коротко, то здесь : https://gofile.io/d/tJWuPp

Не могу прочитать. Излагайте, пожалуйста, прямо здесь, если слишком длинно, сворачивайте тем или иным способом, например в оффтоп.

[Klein]

Yadryara в сообщении #1727606 писал(а):

Klein в сообщении #1727603 писал(а):

Если коротко, то здесь : https://gofile.io/d/tJWuPp

Не могу прочитать. Излагайте, пожалуйста, прямо здесь, если слишком длинно, сворачивайте тем или иным способом, например в оффтоп.

Зачем мне это надо - излагать вам здесь? Уважаемый пользователь, мне лень все это отправить в bbcode через плагин и поместить здесь, не то чтобы вам излагать.

[Yadryara]

Klein в сообщении #1727607 писал(а):

Зачем мне это надо - излагать вам здесь?

Не знаю, зачем вам это надо, уважаемый Klein. Я не смог пройти по вашей ссылке и сказал "пожалуйста". Насколько помню, Правила форума также рекомендуют постить инфу прямо в теме.

Klein в сообщении #1727607 писал(а):

мне лень

Сожалею что лень.

[Mikhail_K]

Yadryara в сообщении #1727606 писал(а):

Не могу прочитать.

Вот этот файл:

[Yadryara]

Mikhail_K
Благодарю.

Да, в интересное время живём. Модели уже так много могут!

Мне трудно было читать, я не привык к такому языку. Хотя это мои личные вкусы. Скорее всего, это просто сухой язык математики и написано вполне корректно, но вот понятно ли.

Пока сомневаюсь что кто-то из математиков из этого объяснения понял как считать и сможет заполнить какую-нибудь ещё не показанную строку.
Вот таблица для других паттернов, длиной 3:

[ 0,  2,  4 ]       
[ 0,  2,  6 ]       1
[ 0,  2,  8 ]       1     1
[ 0,  2, 10 ]       
[ 0,  2, 12 ]       3     4     1
[ 0,  2, 14 ]
[ 0,  2, 16 ]       
[ 0,  2, 18 ]       8    19    14     3
[ 0,  2, 20 ]      12    37    40    17     2
[ 0,  2, 22 ]      
[ 0,  2, 24 ]      72   232   280   150    30
[ 0,  2, 26 ]     704  2340  3006  1864   560    66

Паттерны, где справа пустая строка являются недопустимыми. Кроме [ 0, 2, 14 ], для которого я специально убрал вычисленные значения.

Самое лучшее и, на мой взгляд, безошибочное объяснение ИИ по моим подсказкам, было как раз для этого паттерна. Если кто-то желает в уме найти числа для этой строки — милости прошу.

Объяснение ИИ выложу через сутки.