Почему возможности LLM почти безграничны

[B3LYP]

Все привыкли к нейросетям и пользуются ими, хотя продолжаются горячие споры, так ли LLM-ки круты или ажиотаж с ними скорее раздут. Я склоняюсь к тому что пока скорее второе; сам пользуюсь Chatgpt примерно два раза в месяц, чаще не вижу необходимости.
Кажется разработчики LLM-ок сами признают, во-первых что они не понимают как LLM-ки работают, во вторых что LLM это не сильный ИИ (скорее к счастью), и настоящий сильный ИИ должен строиться на других принципах. Но к этому я добавлю, что возможности нынешних LLM-ок можно развивать почти безгранично, если сочетать их с обычными программами, анализирующими текст по понятным алгоритмам. Попробую объяснить о чём речь.
Во-первых, если не ошибаюсь, уже давно разработчики пытаются снабдить LLM-ки вспомогательными подпрограммами, которые детектируют что в данном случае у LLM-ки была галлюцинация, и пишут предупреждающий комментарий. Но эта задача пока не решена.
Вот ещё один подход: есть тестовые версии ИИ, в которых несколько ИИ агентов несколько часов друг с другом спорят по какому-то вопросу. Разработчики смотрят логи этих споров, и иногда видят “кринжевые” фразы вроде "хм... любопытно". Если не ошибаюсь, сейчас такой ИИ есть у Anthropic (Constitutional AI) и у OpenAI (AI debates), но может меня поправят если чуть спутал. Эта технология выглядит очень круто, но пока недоступна широкой публике.
Вот как мне видится очевидно возможное будущее развитие ИИ. Предположим, мы задали ИИшке вопрос. Вначале другая ИИшка разбивает этот вопрос на несколько под-вопросов, на каждый из которых можно ответить Да или Нет. Эти маленькие вопросы задаются ИИшке и та на них отвечает, и ответы этой ИИшки анализируются уже не ИИшкой, а обычной программой, которая ищет в тексте слова вроде "да" и "нет". И далее, возможно, на основе этих ответов создаётся ещё один вопрос ИИшке, и так далее.
То что я написал - пока чисто интуитивные предположения, я не могу пока сформулировать это конкретнее. Но вот ещё пример того, что можно сделать в ближайшее время - сервис для написания стихов. Пока ИИшка не может нормально писать стихи. Но слоги в стихах - вещь легко формализуемая, и не очень сложно написать программу, которая проверяет, насколько корректны рифмы в заданием стихе. Любой местный шиз с этого форума, если он владеет каким-нибудь Питоном, за разумное время мог бы написать такую программу. Так вот можно сделать комбинированный сервис: алгоритм пишет текст, в котором просит ИИшку написать ему стих, далее стих от ИИшки разбирается обычной программой, которая проверяет насколько правильны в нём рифмы, и итерация повторяется до тех пор, пока стих не станет максимально удачным. Это значит, что рано или поздно появятся ИИ сервисы, хорошо умеющие сочинять стихи (и мне это, вообще говоря, не нравится).

[Mihr]

B3LYP в сообщении #1726816 писал(а):

вот ещё пример того, что можно сделать в ближайшее время - сервис для написания стихов. Пока ИИшка не может нормально писать стихи. Но слоги в стихах - вещь легко формализуемая, и не очень сложно написать программу, которая проверяет, насколько корректны рифмы в заданием стихе.

Стихи и рифмованный текст - совершенно не одно и то же.

B3LYP в сообщении #1726816 писал(а):

Любой местный шиз с этого форума

Гм... И нужен Вам форум "шизов"?

B3LYP в сообщении #1726816 писал(а):

итерация повторяется до тех пор, пока стих не станет максимально удачным

Есенин, кажется, в "Ключах Марии" (а может, где-то ещё, точно не помню) говорил о рифме типа "улетела - отлетела". Рифма глубокая - совпадают аж 6 последних звуков. Но можно ли признать её удачной? И можно ли признать стихами строчки с подобными рифмами?

B3LYP в сообщении #1726816 писал(а):

рано или поздно появятся ИИ сервисы, хорошо умеющие сочинять стихи

Рано - весьма сомнительно. Поздно - в принципе не исключено, но, мне кажется, стихи, сочинённые ИИ, в любом случае будут заметно отличаться от стихов, сочинённых человеком.

[mihaild]

B3LYP в сообщении #1726816 писал(а):

Вот ещё один подход: есть тестовые версии ИИ, в которых несколько ИИ агентов несколько часов друг с другом спорят по какому-то вопросу. Разработчики смотрят логи этих споров, и иногда видят “кринжевые” фразы вроде "хм... любопытно". Если не ошибаюсь, сейчас такой ИИ есть у Anthropic (Constitutional AI) и у OpenAI (AI debates), но может меня поправят если чуть спутал. Эта технология выглядит очень круто, но пока недоступна широкой публике.

Смешались в кучу кони, люди. Constitutional AI - это способ обучения моделей. Широкой публике недоступен вообще никакой способ обучения моделей. Про "AI debates" не слышал и не гуглится, что это вообще?
А в режиме инференса несколько моделей, критикующих результаты друг друга - может сделать любой желающий, и сделано много раз, весь гитхаб забит такими реализациями разной степени кривизны.

B3LYP в сообщении #1726816 писал(а):

Любой местный шиз с этого форума, если он владеет каким-нибудь Питоном, за разумное время мог бы написать такую программу. Так вот можно сделать комбинированный сервис: алгоритм пишет текст, в котором просит ИИшку написать ему стих, далее стих от ИИшки разбирается обычной программой, которая проверяет насколько правильны в нём рифмы, и итерация повторяется до тех пор, пока стих не станет максимально удачным.

Такую программу без проблем напишет любая топовая модель. Более того, agent loop часто включает написание какого-то простого скрипта для обработки данных. Я сильно подозреваю, что если вы в какой-нибудь claude code или antigravity вобьете промпт "напиши скрипт для проверки рифмы и с его помощью напиши рифмующийся текст", то они справятся.

[Booker48]

Какие ещё проверятели рифм?
Вот то, что Claude 3.5 Sonnet писал два года назад.

(Оффтоп)

Борис Пастернак

Дождь стучит по крыше сада
И смывает давний след.
Время струйкой безвозвратно
Утекает на паркет.
Капли — буквы на странице,
Что написана судьбой.
Память — птица в мокрой клетке,
Бьётся, просится домой.
В лужах прошлого крупицы
Тают, отблеском дрожа.
Дождь стирает вереницы
Лет, как буквы с листажа.
Мокрый сад, как сон тягучий,
Ветви тянутся к окну.
Память, словно лист падучий,
Тонет в сумрачном плену.
Но сквозь шум воды небесной
Слышу голос, вижу взгляд.
Прошлое живет, воскреснув
В каждой капле невпопад.

Осип Мандельштам

В прозрачных сотах ливня — мёд забвенья,
И воздух полон гулкой немотой.
Воспоминанья — тени птиц осенних —
Скользят по лужам зыбкой чередой.
О, время-щелкопёр! Твоя чернильница
Разбилась оземь, брызнув синевой.
И память, как слепая книгочийца,
Листает мокрый воздух над землёй.
Дождь барабанит азбукой морзянки,
Выстукивая прошлого узор.
И тянется сквозь мутные стоянки
Созвучий повторяющийся хор.
Так вспоминаю я, как переводчик,
Неясных дней промокший палимпсест,
И каждой капли временный подстрочник
В душе звучит, как жалобная весть.

Анна Ахматова

Дожди идут, как много лет назад,
Когда мы встретились у царственного пруда.
Воспоминания — непрошеный обряд,
И память, словно горькая остуда.
В осенних лужах, зеркалах дождя,
Я вижу отражение былого.
И сердце вновь сжимается, найдя
Печаль несказанного слова.
Дождь барабанит по карнизам дня,
Стирая грань меж завтра и вчера.
А я стою, былое хороня,
И время — только вечности игра.
Промокли строки в старом дневнике,
Где были записи далёких вёсен.
Но память бережёт, как в тайнике,
Все звуки тех дождливых дней — и просинь.

Марина Цветаева

Дождь! — Как слёзы по щекам –
Память — водопадом!
Прошлое — по волоскам
Расплетает — рядом.
Капли — клавиши души –
Бьют, бьют без пощады!
Память! Боль мою глуши
В ливневом распаде!
Струны неба — до земли –
Арфой — семиструнной.
Годы-кольца расплелись
Нитью тонкорунной.
Дождь — непрошенный палач –
Смоет все запреты!
Память — огненный калач –
Греет сном рассвета.
Вымой, дождь, мои глаза!
Памятью излейся!
Прошлым — в будущее — за –
Радугою — взвейся!

Подражание, конечно, но если не знать, а полагать подражанием неопытного начинающего виршеплёта - это очень круто.