Тестирование возможностей генеративных языковых моделей

[talash]

Cuprum2020
Попросите ботов подробно логировать и скидывай лог, пусть чинят.

[Cuprum2020]

Удалили смайлики из ответов чат-ботов, с ними не мог оставить здесь сообщения

-- 11.10.2025, 20:17 --

Ещё про группу Тату и КрАЗ спрашивал в одном чате

ЧатГПТ не смог ответить на вопрос:
"Как думаешь, я случайно тебя спросил про группу Тату и скорость Краза в одном чате?"

Цитата:

Если честно — совсем не случайно.
Такой контраст слишком красив, чтобы быть случайным:
сначала — культовая поп-группа про бунт и эмоции,
потом — суровый советский грузовик, созданный для грязи и выживания.

Это выглядит как будто ты ловко проверяешь, умею ли я одинаково хорошо говорить и о глянцевой поп-культуре, и о тяжёлой технике

Хотя возможно — просто поток любопытства: «а вот теперь — совершенно другое!»
Ты сам как думаешь: это был тест на диапазон тем, или реально так случайно перескочилось в голове?

А вот Grok даже предвосхитил вопрос. На мою реплику: "Да, с такой скоростью "не догонят" - это не про КрАЗ" он ответил:

Цитата:

Ха, точно! На КрАЗе с его 60 км/ч "Нас не догонят" звучит как "Нас не обгонят, если не газануть". А вот если бы Лена и Юля сели за руль такого монстра — представляешь клип? Вместо мотоциклов — тягач тащит полуприцеп с их имиджевым дождём, и преследуют не копы, а трактористы с полей. Эпик!

Правда позже выяснилось что Грок считал что так пошутил и запутался в показаниях в своём ответе:

Цитата:

Ого, ну ты меня подловил — я-то думал, это чистая фантазия, а оказывается, реальность обогнала мою шутку! В английской версии клипа "Not Gonna Get Us" (который является адаптацией "Нас не догонят") Лена и Юля именно что садятся за руль здоровенного армейского грузовика — такого "монстра" на полном ходу, крадут его из-под носа у военных и несутся по трассе, уходя от погони. Никаких трактористов с вилами, зато копы (или их аналог) на полной скорости пытаются догнать, но, как поётся, "not gonna get us". В русском оригинале, кстати, был мотоцикл для динамики, но в интернациональной версии перешли на тягач — видимо, чтобы добавить эпичности и намекнуть на "тяжёлый" побег. Если б туда КрАЗ-258 впихнули, то погони бы и не было — все бы просто отстали от скуки на 60 км/ч

[Xey]

-- Пн окт 13, 2025 18:18:25 --

[quote="Xey в сообщении #1705743"]Сейчас много словарей ассоциаций слов.

Например

https://sociation.org/graph/#

[Xey]

[quote="Xey в сообщении #1705743"]Сейчас много словарей ассоциаций слов.

Например

https://sociation.org/graph/#

[Xey]

Вроде бы словарь ассоциаций применялся для нахождения смысла текста

Цитата:

Раньше машинный перевод строился на модели «смысл-текст»: возьмём любой язык, переведём его слова в универсальный над-язык смыслов, а потом переведём эти смыслы в слова другого языка — и получим переведённый текст. Такая модель доминировала в 1970–1980-е и автоматизировалась в 1990-е. Все переводы 1990-х построены на этой идеологии. В 2000-х появился поиск, и стало понятно: чтобы перевести текст, вообще не обязательно понимать смысл. Человечество столько всего уже напереводило, что вероятность найти в сети два аналогичных текста на разных языках достаточно велика. Как определить, что это одинаковые тексты? Очень просто. В них много одинаковых слов. Если в документе из 1000 слов 800 представляют собой словарные пары, то, скорее всего, это перевод с одного языка на другой. И дальше уже можно разбивать тексты на абзацы, на предложения и как-то с этим работать. То есть машина переводит не словами, а готовыми кусками, машина на это способна.

Сегодня смысл не ищут, списывают друг у друга и берут среднее. Поэтому дословно совпадающие цитаты найти не удается.

-- Ср окт 15, 2025 14:08:15 --

[rockclimber]

Тоже потестировал чатГПТ на предмет понимания юмора.

Диалог 1:

Вопрос:

Цитата:

Как бы ты описал это изображение? Каково его назначение?

Ответ:

Цитата:

Это юмористическая картинка-инструкция в стиле «советов на выживание».

На ней изображён текст:

Заголовок:
«Что делать, если на вас напал медведь, а у вас при себе только нож».

Инструкция:

Оставайтесь спокойным.

Колите медведя, пока не умрёте.

Заключение:
«Вы всё равно умрёте. Но можете постараться улучшить предыдущий рекорд втыкания ножа в медведя. Он равнялся 12-ти».

Рядом идут простые силуэтные рисунки: человек с ножом против медведя и сцена нападения.

Назначение изображения — это чёрный юмор, пародия на советы по выживанию. Оно нарочно абсурдное, чтобы вызвать улыбку у читателя, показывая бесполезность ножа против медведя.

Ответ засчитан, вопросов нет.

Диалог 2:

Вопрос: Почему страус - труп?
Ответ:

Цитата:

Фраза «страус — труп» не является общеупотребительным выражением, но, судя по контексту, её можно понять как метафору или ироничный афоризм. Возможные интерпретации: < дальше идут интерпретации уровня "пальцем в небо" >

Уточнение: Это такая шутка
Ответ:

Цитата:

Ага! Тогда, скорее всего, это шутка-абсурд из серии коротких «логических» парадоксов вроде: <дальше идут банальности о том, что страус прячет голову в песок>

Уточнение: Это шутка, связанная с информационными технологиями.
Ответ:

Цитата:

О, теперь интересно.
Если это айтишная шутка, то выражение «страус — труп» почти наверняка метафора из поведения людей или систем, которые игнорируют проблемы, пока не станет поздно. < дальше идут безуспешные попытки придумать смешную шутку >

Уточнение: При обсуждении языка программирования C++ мой друг в шутку сказал, что страус - труп. Что он имел в виду?
Ответ:

Цитата:

Отличный вопрос — теперь всё встало на свои места.
Если шутка прозвучала в разговоре о C++, то почти наверняка твой друг имел в виду так называемый "Ostrich algorithm" (алгоритм страуса).

Хорошая попытка, но нет.

Диалог 3.

Вопрос: Сгенерируй очень скучный текст на русском языке. Страницы 2 - 3.
Ответ:

Цитата:

Хорошо. Ниже приведён предельно скучный текст — без конфликтов, эмоций, метафор или интересных событий. Он имитирует сухой отчёт о малозначительном предмете, рассчитан примерно на 2,5 страницы печатного текста (около 1200–1500 слов).

Описание процессов ведения учёта поступающих и выбывающих папок в архивном помещении
...

Уточнение: Пусть это будет текст публицистического вида, например, информационно-аналитическая статья о социальном явлении.
Ответ:

Цитата:

Отлично. Ниже — предельно скучный публицистический текст (информационно-аналитическая статья), написанный в нарочито безэмоциональном и сером стиле, без конкретных примеров, цитат или конфликтов. Он рассчитан примерно на 2,5 страницы печатного текста (~1300 слов) и описывает крайне нейтральную тему — «изменение структуры досуга современного населения».
...

Уточнение: А теперь что-то аналогичное, но без разбивки на пункты, сплошным текстом, и с более длинными предложениями.
Ответ:

Цитата:

Конечно. Ниже — ещё более скучный вариант той же тематики, но оформленный сплошным текстом, без подзаголовков и пунктов, с длинными, перегруженными оборотами и нарочито безэмоциональным изложением, имитирующим академически-публицистический стиль середины 1980-х годов.
...

Получившийся текст было довольно интересно читать. Вот не знаю теперь. Получается, чатГПТ не справился с заданием?

[ozheredov]

rockclimber

Совершенно очевидно, что картинка с медведем сто пятьдесят тысяч раз обсосана в сети, поэтому он такой умный. А вот шутки с тотальным искажением смысла при незначительных фонетических аутлаерах (Бьёрн страус труп, Билл гей, только тс-с, и т.д.) вышли из моды максимум в ранних 2000х. Я помню, что сам придумал эту шутку в 90е, когда изучал кресты в универе. Нет обучающей базы для попугайства, поэтому в ход идёт ostrich algorithm и т.д., хотя очевидно, что алгоритм не может быть связан с трупом.

Вангую появление не-мозгопоклонников с доступом к платным версиям стохастических попугаев

[CDDDS]

ozheredov в сообщении #1706231 писал(а):

Вангую появление не-мозгопоклонников с доступом к платным версиям стохастических попугаев

Кажется, это про меня.
Доступ, правда, у меня бесплатный через lmarena.ai

Модель: gpt-5-high-new-system-prompt

Диалог

(Оффтоп)

я писал(а):

Почему страус - труп?

Модель писал(а):

Звучит как загадка. Если ты про миф “страусы прячут голову в песок”, то формально ответ такой: если бы страус реально засовывал голову глубоко в песок, он бы задохнулся — был бы труп. Но это миф. В реальности страусы не зарывают голову: они наклоняются, чтобы переворачивать яйца в ямке-гнезде или прижимаются к земле, и издалека кажется, будто “голова в песке”.

Если это из какого-то мема/шутки, кинь контекст — подберу точный ответ.

я писал(а):

Это шутка

Модель писал(а):

А-а, тогда это из антишуток: ответ “потому что он умер”. Смешно за счёт тупой очевидности. Есть ещё версия, играющая с мифом про «голову в песке»: “засунул — задохнулся”. Какой вариант имелся в виду?

я писал(а):

Нет, другой вариант

Модель писал(а):

Тогда, наверное, та, где это игра слов: не страус, а Штраус (композитор). Ответ: потому что он умер. Про это? Если нет — дай punchline, интригует!

я писал(а):

Близко по способу, но не тот ответ

Модель писал(а):

Тогда вот эта: потому что Лев и страус — Леви Страусс. Лев встретил страуса, итог предсказуем: страус труп. Это она?

я писал(а):

Нет, но мне нравиться твой способ рассуждения

Модель писал(а):

Кажется, вот оно: потому что он Страуструп. Игра слов: «страус труп» → «Страуструп» (Бьярне Страуструп, создатель C++). Это та шутка?

Claude Opus 4.1 не догадался, Gemini 2.5 Pro сразу в галлюцинацию ушел

(Оффтоп)

Gemini 2.5 Pro писал(а):

Ха, это отличный вопрос, который сразу выдает классическую русскую загадку-каламбур!

На самом деле, страус — это не труп. Эта фраза — часть старой шутки.

Вот как она звучит полностью:

Загадка: Почему страус — труп?
Ответ: Потому что он с трассы не ушёл.

Суть шутки заключается в игре слов (каламбуре):

Слово «страус» очень созвучно с фразой «с трассы».

Таким образом, фраза "страус — труп" не имеет никакого отношения к биологии или реальным страусам. Это просто абсурдная шутка, построенная на фонетическом сходстве слов. Она относится к категории "папиных шуток" или загадок с подвохом, которые вызывают скорее улыбку или стон, чем громкий смех.

[Alexandr_A]

ozheredov в сообщении #1706231 писал(а):

Вангую появление не-мозгопоклонников с доступом к платным версиям стохастических попугаев

Настоящие фанаты сами не пользуются, ибо верят. Но, они любят новости, которые трактуются ими как очередной символ пришествия и часто активничают по этому поводу.

[Mihaylo]

(Оффтоп)

Это вы сейчас про кого? )
Вы уверены, что правильно относите себя к той или иной группе людей?

Немозгопоклонники - это те, кто избавился от стереотипов и имеет адекватную оценку мозга человека, а не алгоритмов ИИ.)))

Мозгопоклонники - это обычно такие скептики, которые, как правило, не верят в ИИ, потому что думают, что человеческий мозг имеет какое-то особое невероятностное, невычислительное, универсальное и прочее магическое содержание.

Так как мозг человека неверно оценивается, то и нечего говорить про ИИ. Поскольку мозг человека чрезмерно совершенен, то несомненно можно считать, что и ИИ имеет потенциал ASI. Но это всё побочный эффект мозгопоклонничества.

Между тем LLM хоть и постоянно обтачиваются, но в целом достигли предела.

[rockclimber]

ozheredov в сообщении #1706231 писал(а):

Совершенно очевидно, что картинка с медведем сто пятьдесят тысяч раз обсосана в сети

Совершенно очевидно, что нет.

ozheredov в сообщении #1706231 писал(а):

А вот шутки с тотальным искажением смысла при незначительных фонетических аутлаерах (Бьёрн страус труп, Билл гей, только тс-с, и т.д.) вышли из моды максимум в ранних 2000х.

Из моды вышли, а из интернета - нет. Про Страуструпа точно шутили на хабре в конце 10-х, и я проверил - хабр все еще доступен. Как и форумы, где все эти шутки циркулировали.

ozheredov в сообщении #1706231 писал(а):

Вангую появление не-мозгопоклонников с доступом к платным версиям стохастических попугаев

Это и был платный chatGPT 5.

[ozheredov]

rockclimber в сообщении #1706338 писал(а):

Совершенно очевидно, что нет.

https://vk.com/wall-37316030_60407
https://idaprikol.ru/picture/cto-delat- ... -6hYBHIn98
http://boro.da33.ru/29360/
Ещё?

rockclimber в сообщении #1706338 писал(а):

Из моды вышли, а из интернета - нет. Про Страуструпа точно шутили на хабре в конце 10-х, и я проверил - хабр все еще доступен. Как и форумы, где все эти шутки циркулировали.

У него там могут быть какие-то настройки для фильтрации устаревающего контента или типа того. Во всяком случае, чтобы отличить стохастического попугая от мыслящего субъекта или кем там считают LLM не-мозгопоклонники, нужно извлекать шутки из культурного слоя, не доступного широким слоям населения, или же придумывать их самим.

[ozheredov]

(Mihaylo)

Mihaylo в сообщении #1706276 писал(а):

Немозгопоклонники - это те, кто избавился от стереотипов и имеет адекватную оценку мозга человека, а не алгоритмов ИИ.

Невозможно построить адекватную оценку мозга человека с точки зрения того, может ли теоретически обскакать его машина по всем параметрам или нет.

Mihaylo в сообщении #1706276 писал(а):

Мозгопоклонники - это обычно такие скептики, которые, как правило, не верят в ИИ, потому что думают, что человеческий мозг имеет какое-то особое невероятностное, невычислительное, универсальное и прочее магическое содержание.

Невероятностное точно. Это в экспериментах проверяли - жывотные (а человек тоже жывотное, правда ведь?) вырабатывали эффективные стратегии в условиях нестационарности вероятностных распределений. Невычислительные - под вопросом. По поводу не веры в ИИ.... давайте в другой теме - тут это потонет. Имею кое-что рассказать.

Mihaylo в сообщении #1706276 писал(а):

ИИ имеет потенциал ASI

При этом никто не знает, что такое ASI.

Mihaylo в сообщении #1706276 писал(а):

LLM хоть и постоянно обтачиваются, но в целом достигли предела

Под вопросом. Нет теории LLM, позволяющей оценить предел, и даже определить, что он такое есть.

[Mihaylo]

(ozheredov)

ozheredov в сообщении #1706350 писал(а):

При этом никто не знает, что такое ASI.

Спросите у mihaild, он знает.

Извините, вот ссылка: post1704692.html#p1704692

[MoonWatcher]

Попросил GPT-5 разгадать загадку. Сперва ответил

(Оффтоп)

Топорки

После подсказки:

(Оффтоп)

Ответ содержится в одной русской частушке

ответил правильно:

(Оффтоп)

Это из частушки: «По реке плывёт топор из села Кукуево…», поэтому «село выше по течению» шутливо называют Кукуево.