Будущие перспективы ИИ (возможно, 4-я волна ИИ)

[MoonWatcher]

Mihaylo в сообщении #1723254 писал(а):

Ведущие западные модели погаллюцинировали годик, а потом перестали

Рейтинг галлюцинаций в бенчмарке AA-Omniscience Hallucination Rate (неверный ответ в тех случаях, когда модели следовало признать, что она не знает ответа) у GPT-5.5 (считается лучшей в мире на сегодня моделью, среди публично доступных) - 86%.

Mihaylo в сообщении #1723254 писал(а):

Китайские продолжают галлюцинировать, хотя Дипсик V4, который выпустили буквально позапозавчера, удивил...

94%.

Rasool в сообщении #1723252 писал(а):

Современным сторонникам LLM, которые "крыльями не машут", я скажу: "Как вы собираетесь бороться с галлюцинациями современных LLM? С помощью RAG? Так пока вроде бы не очень хорошо получается".

Из последнего, что я слышал - с помощью RLCR, Reinforcement Learning with Calibration Rewards. Хотя лично я настроен скептически - решение этой безусловно самой главной проблемы ИИ, которая ставит крест на AGI, нам уверенно обещают уже несколько лет - а воз и ныне там.

[Mihaylo]

На мой взгляд, чтобы перестать галлюцинировать, нужно классифицировать универсум знаний - фундаментальное (словари, энциклопедии), академическое (учебники, статьи), научно-популярное, пропагандистское, чтиво и т.п. В свою очередь, есть ещё классификация - современное, устаревшее, псевдонаучное.
Второй момент - более тщательное преследование цели пользователя из серии промтов. Если промт неконкретен или подозрительно ошибочен, то надо не стесняться задавать наводящие/встречные вопросы. Вместо заполнения инфовакуума фантазиями. Нужно выявлять неопределённости, обозначать их и выносить на обсуждение.
Третий момент - работа с тезаурусом пользователя, это сильно переплетается со вторым пунктом. Нужно понимать, где пользователь разбирается, а где нет. Соответственно, там, где разбирается, пусть пользователь уточнит. А там, где слаб, включить режим фантазирования/предположений или режим разъяснений/обучения.

Пока не научатся LLM применять формулу Шеннона для оценки и оптимизации всех этих вещей, они будут на каждый новый промпт генерировать что-то новое в отрыве от уже занесённого в голову пользователя (игнорировать тезаурус пользователя) и будут продолжать фантазировать.

-- 27.04.2026, 21:41 --

Диалог в режиме "Один промпт - один ответ" - это вырожденный диалог, тривиальный. Имеет место, когда промпт хорошо сформулирован, цель и тезаурус пользователя прочитались удачно. Но, как правило, это не работает. И уже из первого промпта можно увидеть, что диалог требует нескольких циклов общения. Вместо этого, LLM пытаются как можно быстрее тривиализировать диалог - сделать развёрнутый завершающий ответ, который приходится нередко мимо цели и тезауруса пользователя.

Пример тривиальных диалогов - это задачка по упрощению математического выражения с радикалами из соседней темы. Здесь действительно достаточно точно сформулирована цель. Тезаурус пользователя, да, может оказаться узким или наоборот слишком широким. Рамануджана пользователь может не знать, или, наоборот, быть экспертом по дискретной математике. Но можно же прикинуть по упрощаемому выражению, что это "детская задача", а значит и пользователь "ребёнок".)))

-- 27.04.2026, 21:49 --

Оценка и эффективное использование тезауруса пользователя неразрывно связана с персонализацией модели - очень и очень перспективное направление.

[george66]

Спрашиваю ИИ google (бесплатный, не логинясь), можно ли как-нибудь взломать один популярный форумный движок. Можно, говорит, как раз нашли критическую уязвимость и даёт ссылки на сайты, на одном из которых вижу пруф концепт (недоделанный код для взлома). Ещё за несколько вопросов доделываю код и захожу на некоторый сайт как админ! До чего дошёл прогресс! До невиданных чудес! Заменяет нам мышленье механический процесс!

[ozheredov]

george66, со всем категорически согласен, кроме одного - написание кода по взлому сайта это не мышление. Когда-то считалось мышлением умножение 237876 на 68761246 (это я попой сел на numPad) и детям запрещалось протаскивать в ГБОУ СОШ калькуляторы - теперь даже стыдно вспоминать. Потом считалось мышлением аналитическое взятие интегралов хитрыми подстановками - Вы же не считаете это мышлением? Уже давно с этим справляются системы символьной математики.

Мышлением является вот эта картина:
https://ic.pics.livejournal.com/sterlja ... iginal.jpg

Именно концепт, а не отрисовка. Первый раз я понял, что турки - великая нация, когда узнал, в каком количестве и как вольготно у них живут уличные коты. Второй раз - когда увидел вот это.