Тестирование возможностей генеративных языковых моделей

[Alexandr_A]

MoonWatcher в сообщении #1706489 писал(а):

Попросил GPT-5 разгадать загадку.

Действительно, куда интереснее играть с чатом чем с гуглом:

(Оффтоп)

[Yadryara]

Попробуйте попросить у бота остроумный ответ на вопрос:

Yadryara в сообщении #1705044 писал(а):

Кстати, иногда собеседница может выдать блестящий ответ на шуточный вопрос. Я как-то спросил: "Тебе как больше нравится, до предела или после?"

[rockclimber]

Это не то чтобы тестирование возможностей, просто забавный побочный эффект.
ЧатГПТ по умолчанию после ответа на вопрос предлагает что-нибудь сделать дополнительно. Например, если попросить его перевести письмо с одного языка на другой, предложит составить ответ в каком-нибудь стиле (формальном или нейтральном).
Сегодня я спросил его "Как объяснить инопланетянину по радио, что такое право и лево?", и он написал подробный ответ - в чем заключаются основные сложности и как их все-таки преодолеть. А в заключение он предложил:

Цитата:

Если хотите, я могу помочь сформулировать короткое радиопослание в формате, удобном для передачи (например, простым английским или кодом, понятным с минимальным контекстом — с числами, направлениями и описанием эксперимента). Хотите, я сделаю это?

Да, конечно, давай пиши быстрее, у меня тут инопланетянин на трубке висит...

[Yadryara]

Вообще я постепенно начинаю приходить в восторг от этого Квена, (которого раньше ошибочно называл Квином, не заметив, что у него одна "e").

Я теперь не лезу ни в 500-800-страничное англоязычное руководство по PARI/gp, ни в другой справочник, а просто пишу команду/функцию в диалоге с ботом.

И он уже знает, что она из PARI/gp, на русском языке подробно рассказывает что к чему, с примерами. Порой излишне подробно. Если по 5-бальной оценивать его в этом амплуа, это 5-ка, если по 10-бальной — 9-ка.

Он вроде и асм знает неплохо.

[Cuprum2020]

pppppppo_98 в сообщении #1704424 писал(а):

Утундрий в сообщении #1704421 писал(а):

Пролиолели догррмзить пце заауутру помимо прил звкемт арааио? Пввке я занлип, что мвврд вриссрг из смеава сгрлли зщссауп ртсц. Есвцв вкен збьпан навмр тпчсоое, та льмчср пввнрмиоличяаскзч.

вже йоск кафтанг...йырепт

Долго думал на тему "А что здесь написано?"
Попробовал выяснить это с помощью ChatGPT, Grok и DeepSeek

ChatGPT выдал расшифровку:

Цитата:

Планировали договориться пойти завтра, если Аркадий позвонит?
Пока я заметил, что мир растворился — смех и чувства просто сгорели.
Если вдруг забудем навсегда то чувство, то личность поменяется

И расшифровка ответа:

Цитата:

Уже жёстко, Кафтанич... прёт

Grok полагает что "буквального смысла в этом сообщении нет"

Хотя со второй попытки выдал:

Цитата:

"Почему решили довести всё завтра помимо примера с кем-то примера? Просто я запомнил, что мир класс из советской школы класс уп ртсц. Если кто забыл на умр топч соое, то лучше пвнрмиоличя аскзч."
Более осмысленная перефразировка (что имел в виду Утундрий, судя по цепочке спора): "Почему решили, что всё можно отложить на завтра, помимо примера с кем-то из примера? Просто я запомнил, что весь класс из советской школы [был таким классным в упрощениях]. Если кто забыл, на ум[ном] топч[е] со[всем], то лучше [стать] программистом или [аскетом в математике]

И расшифровка ответа:

Цитата:

Гипотетический "оригинал": "Уже я ослеп, кафтан горит... я репту."
Это мета-шутка: "Уже ослеп [от твоих аргументов по симплектике], кафтан [олдовский] горит [от жара дискуссии]... я [теряю] репу[тацию]"

DeepSeek: "К сожалению, полностью и достоверно расшифровать это сообщение не представляется возможным"

[Booker48]

Yadryara в сообщении #1707427 писал(а):

Вообще я постепенно начинаю приходить в восторг от этого Квена, (которого раньше ошибочно называл Квином, не заметив, что у него одна "e").

Спасибо за наводку. Действительно, впечатляет.
Я попросил его найти вписанный в окружность четырёхугольник, у которого все стороны и одна диагональ выражаются простыми числами.
Он разразился монологом на 27 страниц (я его в Word потом скопировал), предлагая варианты с маленькими простыми, но почему-то не нашёл единственное известное мне решение. Предлагал неправильные, я указывал на ошибки, он бодро признавал свою неправоту. Потом он предложил написать программу на питоне, чтобы перебрать все варианты до 50, я попросил сделать это на pari/gp, он молниеносно выдал текст программы, которая нашла тот самый циклический (я и не знал о существовании такого синонима для вписанных) четырёхугольник. Программа, видимо, неоптимальна, при попытке расширить диапазон поиска с 50 до 500, она выскочила на ошибку, но это я потом посмотрю.
Вообще-то хочется, чтобы все стороны и диагональ выражались различными простыми числами, но это, скорее всего, невозможно.

[Yadryara]

А с языковыми загадками у него пока скорее плохо, чем хорошо.

Люди, например, прекрасно понимают что такое "пострую мороз". Квен не понимает, ни слитно, ни с пробелом.

Не надеялся что он отгадает, но всё же спросил его:

Иногда собеседница может выдать блестящий ответ на шуточный вопрос. Я как-то спросил: "Тебе как больше нравится, до предела или после?"

Квен сам понимает, что ответ должен быть коротким и ярким, но найти его не может. И близок не был.

Я раньше об этом у разных людей спрашивал. Надо же как время летит — это был конец 90-х. Отцовский друг дал по сути тот же скучный ответ, который упоминал и Квен:

После предела не бывает, на то он и предел.

У меня и своя версия была. Тогда вроде весело было, а сейчас она кажется скучноватой и не шибко осмысленной: "до послепредела".

И вот я почему-то продолжал периодически задавать этот вопрос разным людям, видимо, интуитивно ощущая, что блестящий ответ существует. Её ответ был именно таким.

[Booker48]

Yadryara в сообщении #1707773 писал(а):

Иногда собеседница может выдать блестящий ответ на шуточный вопрос. Я как-то спросил: "Тебе как больше нравится, до предела или после?"
Квен сам понимает, что ответ должен быть коротким и ярким, но найти его не может. И близок не был.

Яркость ответа - это очень субъективно. Как и остроумие вообще.
Ваша знакомая ответила что-то типа: "Я предпочитаю беспредел"?

[Yadryara]

Booker48 в сообщении #1707783 писал(а):

Яркость ответа - это очень субъективно.

Кто ж спорит

Booker48 в сообщении #1707783 писал(а):

Ваша знакомая ответила что-то типа: "Я предпочитаю беспредел"?

Не-а.

[Booker48]

Yadryara в сообщении #1707798 писал(а):

Booker48 в сообщении #1707783 писал(а):

Ваша знакомая ответила что-то типа: "Я предпочитаю беспредел"?

Не-а.

Гм... Возможно, я понимаю вопрос несколько однобоко.)))
"Предпочитаю находиться в $\varepsilon$-окрестности"?

[ozheredov]

Yadryara в сообщении #1707773 писал(а):

А с языковыми загадками у него пока скорее плохо, чем хорошо.
Люди, например, прекрасно понимают что такое "пострую мороз". Квен не понимает, ни слитно, ни с пробелом.

Я тоже этого не понимаю. Была гипотеза, что это кириллический адрес сайта типа пост.ру/юмор, но что такое оз?

И да колитесь уже, что ответила знакомая. Мы заждались

[Booker48]

ozheredov в сообщении #1707811 писал(а):

Я тоже этого не понимаю. Была гипотеза, что это кириллический адрес сайта типа пост.ру/юмор, но что такое оз?

(Оффтоп)

Не, это эвфемизм, обычно употребляется в обсценном варианте (первое слово), в значении "мне всё равно"