Сравнение платных и бесплатных версий разных ИИ

[wrest]

Ende
Выделено из темы «Богу богово, а кесарю кесарево»

Red_Herring в сообщении #1736681 писал(а):

Один мой коллега был много лет назад в поездке в одной из стран, жители которой считают, чэто ответ "Не знаю" опозорит их саамих, их потомков и предков, и потому, если они не знают, то начинают фантазировать, причем с очень уверенным видом. Поэтому спрашивать дорогу там было небезопасно. ИИ часто ведет себя так же.

Я как-то делал эксперимент такой: одной модели говоришь "проанализируй/обоснуй, что..." а другой "проанализируй/обоснуй, что не..."
Ну и потом некоторый батл между ними и смотреть на аргументы. В эксперименте было попроще (чтобы не сильно далеко выходило за рамки моего понимания предмета), не bleeding edge.
Ну так вот, эксперимент прикольный. Обе модели хотят тебе угодить, так что честно заблуждаются но в разных направлениях.

[SergeyGubanov]

Вчера спросил у гуглового ИИ, мол, а что если сделать вот так. Оно ответило, что да, так будет очень сильно хорошо. Вот есть даже две статьи где именно так люди и делали. Посмотрел статьи по диагонали, вроде да, похоже оно. Воодушевлённый начал реализовывать. Не заработало. Сегодня стал в те статьи вглядываться более пристально -- оно вообще о другом

[Anton_Peplov]

SergeyGubanov в сообщении #1736724 писал(а):

Вчера спросил у гуглового ИИ

Напрасно. Все бесплатные ИИ - тупые. За доступ к умным ИИ просят денег. Я пользуюсь Claude по платной подписке (правда, чтобы заплатить из России, нужны те еще танцы с бубном). Несколько раз просил его что-то найти в научной литературе, потом, естественно, проверял глазами. Он хорошо справился.

wrest в сообщении #1736694 писал(а):

Я как-то делал эксперимент такой: одной модели говоришь "проанализируй/обоснуй, что..." а другой "проанализируй/обоснуй, что не..."

Сильно зависит от модели и от того, что именно нужно обосновать, в какой области. Если в математике, то тупой бесплатный ИИ может попытаться доказать заведомо неверную "теорему", но с платным умным ИИ такой номер вряд ли пройдет. Ну а если какая-нибудь философия, то да, одна и та же модель в разных окнах может отстаивать противоположные позиции. Ничего необычного: люди тоже умеют поддакивать тем, кому в данный момент считают нужным.

[ozheredov]

Anton_Peplov в сообщении #1736730 писал(а):

Все бесплатные ИИ - тупые. За доступ к умным ИИ просят денег. Я пользуюсь Claude по платной подписке (правда, чтобы заплатить из России, нужны те еще танцы с бубном). Несколько раз просил его что-то найти в научной литературе, потом, естественно, проверял глазами. Он хорошо справился.

А тупые бесплатные ИИ справились плохо, или они были дисквалифицированы by default?

[Anton_Peplov]

Anton_Peplov в сообщении #1736730 писал(а):

Все бесплатные ИИ - тупые

Это, конечно, необоснованное обобщение. Я не проверял все бесплатные ИИ. Проверял гугловский (встроенный в поиск), какие-то бесплатные версии GPT (не помню какие), еще что-то. Но за все, конечно, сказал напрасно.

ozheredov в сообщении #1736733 писал(а):

А тупые бесплатные ИИ справились плохо, или они были дисквалифицированы by default?

Они были дисквалифицированы еще на задачах, для проверки решения которых не надо читать научную статью (что довольно утомительное занятие).

[ozheredov]

Anton_Peplov в сообщении #1736735 писал(а):

Они были дисквалифицированы еще на задачах, для проверки решения которых не надо читать научную статью

То есть ровно один и тот же промпт с задачей => Клод генерирует корректное решение, а бесплатная LLM выдает чушь? Или промпты разные? Просто я недавно столкнулся с ситуацией, когда гугло-поисковый ИИ выдал радикально не то что я ожидал, но после трех уточнений он такой "Аааа, так вот что вы имели в виду, так бы сразу и сказали извините за недопонимание" и выдал ровно то что я ожидал.

[Sender]

Бесплатный клод просто зверь: когда он не смог в своей песочнице установить библиотеку для распаковки 7z, он просто написал распаковщик на питоне.

[Anton_Peplov]

ozheredov в сообщении #1736736 писал(а):

То есть ровно один и тот же промпт с задачей => Клод генерирует корректное решение, а бесплатная LLM выдает чушь? Или промпты разные?

Я уже не помню деталей и не могу воспроизвести эксперимент.

[warlock66613]

У меня разные ИИ выдавали совершенно разные результаты на одинаковых промптах, связанных с той штукой что я на форум выложил. Гугловский ИИ отлично генерил (абсолютно неверное) доказательство, что делимость влечёт марковость, а вот чатгпт (тоже бесплатный) говорил "не-не-не, вы ошибаетесь, это не прокатит". Но чатгпт не заметил косяка в той первой версии, что я выложил на форум, а вот платная иишка заметила. Но тут уже не чистый эксперимент, поскольку об одинаковых промптах речи не идёт.

[mihaild]

ozheredov в сообщении #1736736 писал(а):

То есть ровно один и тот же промпт с задачей => Клод генерирует корректное решение, а бесплатная LLM выдает чушь?

Примерно так. В целом утверждение не совсем корректное, потому что платность это не свойство модели - к одним и тем же моделям могут давать, а потом закрывать бесплатный доступ. Да и клод - это бренд кучи разных версий разных моделей.
Но в целом к лучшим из имеющихся сейчас моделей - opus 5.5, fable 5.1, astra, argon - вроде бы бесплатного доступа нет. И да, для любой модели, к которой есть бесплатный доступ, и любой из перечисленных выше, на произвольном сложном промпте результат у бесплатной окажется в среднем хуже.

warlock66613 в сообщении #1736740 писал(а):

Гугловский ИИ

Gemini тоже делает гугл. Увы никакого обозначения для модели которая в поиске, насколько я знаю, нет. Но всё же ИМХО стоит её как-то явно стоит называть. Это модель очень сильно оптимизированная под скорость, даже в ущерб качеству.

[SergeyGubanov]

Anton_Peplov в сообщении #1736730 писал(а):

Напрасно. Все бесплатные ИИ - тупые. За доступ к умным ИИ просят денег.

Всю мою предыдущую жизнь за мозги платили мне. У меня просто рука не поднимается заплатить за думание вместо меня.

[Yadryara]

Anton_Peplov в сообщении #1736730 писал(а):

Все бесплатные ИИ - тупые.

Не все. Надо просто уметь с ними общаться.

Например, когда речь о программировании, ИИ Гугла пишет кучу кода, даже не поняв толком задачу. Из-за этого чат порой сильно раздувается и начинает подвисать.

Я уже привык: проверяю до первой ошибки, дальше даже не читаю. И, если не забываю, отдельно прошу не писать код, пока не поймёт что именно нужно делать.

[SergeyGubanov]

mihaild в сообщении #1736742 писал(а):

Увы никакого обозначения для модели которая в поиске, насколько я знаю, нет. Но всё же ИМХО стоит её как-то явно стоит называть. Это модель очень сильно оптимизированная под скорость, даже в ущерб качеству.

Есть смутное подозрение, что оно на первые пару вопросов отвечает в скоростном режиме, а потом когда тема разрастается, оно вроде бы начинает думать посильнее.

[mathpath]

Бесплатный дипсик ведет себя в зависимости от текущего контекста
Этот контекст может раздуваться до бесконечности, а может обрываться на ровном месте, и приходится начинать с чистого листа
Если исходники проекта разрастаются до мегабайта, это может быть больно, но не смертельно

Его поведение может также произвольно меняться в зависимости от его собственной загруженности
Иногда он начинает тупить, иногда начинает показывать удивительную прозорливость

[wrest]

Anton_Peplov в сообщении #1736730 писал(а):

Сильно зависит от модели и от того, что именно нужно обосновать, в какой области. Если в математике, то тупой бесплатный ИИ может попытаться доказать заведомо неверную "теорему", но с платным умным ИИ такой номер вряд ли пройдет.

Область была - математические основания физики
Я сдавал на рецензию двум разным ИИ статью из этого топика «Вывод СТО из безвременной евклидовой модели»
Оба нашли и нормальные места, и проблемы.