Новости ИИ

[Brizon]

Возможн видели, но все равно ИИ, видео по играм Диабло, бомба...

https://www.youtube.com/watch?v=yCJag2yi7DI

https://www.youtube.com/watch?v=2k75lbJrL8Y

https://www.youtube.com/watch?v=nbBRHGWNiKI

https://www.youtube.com/watch?v=TMu5nnl-_IE

[Mihaylo]

У меня не открываются ссылки. Битые.

[Brizon]

Хмм странно у меня все открывается...

[Rasool]

Прочитал в одном телеграм-канале:

Цитата:

Новая модель рассуждений — Hierarchical Reasoning Model (HRM) .

HRM — это ИИ, вдохновлённый тем, как устроен человеческий мозг: информация обрабатывается иерархически, от простого к сложному. И результат — впечатляет.

Модель решает сложные задачи, такие как:
- ARC-AGI (бенчмарк на гибкое мышление)
- Судоку экспертного уровня

И всё это:
- Без предобучения
- Без Chain-of-Thought
- Всего на 1,000 обучающих примерах!

Это не просто новая модель — это подход, построенный на принципах нейронауки, и он уже показывает мощные результаты.

Исследование: https://arxiv.org/abs/2506.21734
Код на GitHub: https://github.com/sapientinc/HRM

[Rasool]

DeepSeek и Пекинский университет получили «Лучшую статью ACL» за революционную технологию NSA!

Новое поколение ИИ от DeepSeek сможет обрабатывать длинные тексты в 11 раз быстрее без потери качества.

Что произошло?
На конференции ACL (главное событие в области NLP) объявили лучшую статью года — её авторами стали исследователи из DeepSeek и Пекинского университета. Их работа посвящена новой архитектуре внимания — Natively Sparse Attention (NSA).

Проблема: Почему ИИ так плохо работает с длинными текстами?
Сейчас все крупные языковые модели используют механизм полного внимания (Full Attention), который:
- Сравнивает каждое новое слово со всеми предыдущими
- При длинных текстах требует огромных вычислительных ресурсов
- Замедляет работу и увеличивает стоимость API

Решение DeepSeek: Нативное разреженное внимание (NSA)
Технология имитирует то, как человек читает большие документы:
Сжатие токенов — группировка ранних частей текста как "конспекта глав"
Выбор ключевых фрагментов — точный анализ только релевантных участков
Скользящее окно — детальная обработка недавних данных

Результаты тестов:
- Скорость генерации ответов: х11
- Скорость обучения: прямой проход х9, обратный х6
- Точность в тестах MMLU/GSM8K выше классических моделей
- 100% точность поиска информации в текстах до 64k токенов

Что это даст пользователям?
- Можно будет загружать целые книги или наборы файлов
- Значительно более быстрые ответы
- Возможно снижение стоимости API

Технические детали
- Совместимость: GQA, FlashAttention-2, Triton
- Проверено на моделях 27B и MoE-архитектурах
- Полностью интегрировано в обучение (не только инференс)

Эта технология, вероятно, ляжет в основу следующего поколения моделей DeepSeek. Теперь остаётся ждать официального релиза R2!

Читать статью на arXiv: https://arxiv.org/abs/2502.11089

[Rasool]

Россия выиграла https://t.me/government_rus/22938 Международную олимпиаду по искусственному интеллекту в Китае (IOAI), став рекордсменом по количеству золотых наград. Школьная сборная завоевала 6 золотых, одну серебряную и одну бронзовую медали.
…
Победителями стали школьники из Москвы, Санкт-Петербурга, Владивостока, Новосибирска и Уфы. Они программировали роботов и решали нестандартные задания в командах и индивидуально.
...
Запомним эти имена, за ними будущее: Матвей Беляев, Михаил Вершинин, Тимур Гарифуллин, Данис Динмухаметов, Олег Дроканов и Андрей Хлопотных (все — золото). Артем Мазур (серебро), Константин Сигалов (бронза).
…
Сборную России готовил Центральный университет по специальной программе, которая учитывала прошлогодний опыт. Эксперты вуза в 2024 году тоже привели к победе сборную России на первой международной олимпиаде по ИИ в Болгарии. В этом году к подготовке присоединились Альянс в сфере ИИ и МФТИ.

[chinaman]

Меня удивило то, что среди завоевавших золото ни одной китайской фамилий из Китая. Не считая Гонконг. А в командном зачете кажется первое место отвоевала польская комманда 1. Второе место - российская комманда 1. Третье - польская комманда 2.

Самым башковитым в этом году оказался некий Krzysztof Rojek. Ему наверно Meta уже предложили $500 000 000.

[Rasool]

С телеграм-канала Data Secrets:

Цитата:

Почему LLM галлюцинируют: новая статья от OpenAI

Да-да, вы не ослышались. Раз в год и палка стреляет и OpenAI выпускают интересные рисерчи.

Пишут о том, почему возникают галлюцинации, и как с ними бороться. Главная идея – галлюцинации не являются чем-то загадочным или уникальным, а естественно возникают как ошибки в статистической системе. Причина в том, как мы сами обучаем и оцениваем модели:

– На этапе предобучения задача модели – всегда предложить вероятное продолжение текста. У нее нет варианта сказать "я не знаю". Пустой ответ не существует как вариант + мы никогда не вводим никаких штрафов за выдумку.

– Причем даже если данные, на которых обучилась модель, идеальны (а такого не бывает), галлюцинации все равно будут. Многие факты в мире просто-напросто случайны (дни рождения, серийные номера, уникальные события). Для них нет закономерностей, и модель не может их выучить. Да и мы не учим модель определять, что ложь, а что нет. Ее задача – генерировать наиболее статистически вероятный текст.

– Почему же после пост-обучения модели не перестают врать? Да потому что так устроены бенчмарки. Большинство из них оценивают модели бинарно: 1 балл за правильный ответ, 0 за неправильный или отсутствие ответа. А любой, кто учился в школе, понимает: выгоднее тыкнуть наугад, чем пропустить вопрос. Так будет хоть какая-то веротяность успеха. Вот и LLM поступают так же.

Ну и не забываем про принцип GIGO – Garbage In, Garbage Out. В данных так или иначе есть ошибки, и это еще один источник галлюцинаций.

Как итог из всего этого мы получаем кучу чуши, которую модельки вещают вполне уверенно.

OpenAI предлагают вариант, как это можно начать исправлять. Они пишут, что начинать надо с бенчмарков. И нет, не надо плодить отдельные анти-галлюцинационные тесты, как это сейчас модно. Это не поможет. Надо менять основные метрики, добавив IDK («Не знаю») как валидный ответ во все тесты и перестав приравнивать такой ответ к ошибке. То есть честность и признание неуверенности для модели должны быть выгоднее выдумки.

Технически, мы вводим так называемые confidence targets: то есть прямо в инструкции к задаче прописывается порог уверенности, выше которого модель должна отвечать. Например: "Отвечай только если уверен более чем на 75%". И при этом за неверный ответ −2 балла, за правильный +1, за “Не знаю” = 0.

Получается, статистически, если модель оценит вероятность правильности своего ответа в < 75%, ей выгоднее сказать «Не знаю», чем выдумывать. Она при этом не обязана сообщать пользователю точные проценты своей уверенности, достаточно, чтобы она об этом "думала", принимая решение.

В целом, звучит вполне реально. Если те же HF выдвинут на своей платформе такой регламент для тестов, перейти на подобный эвал можно буквально за несколько месяцев.

В общем, интересно, продвинется ли идея дальше статьи.

[url]cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf[/url]

[Dedekind]

Rasool в сообщении #1700824 писал(а):

И при этом за неверный ответ −2 балла, за правильный +1, за “Не знаю” = 0.

Тогда выгоднее всегда говорить "Я не знаю", независимо от степени уверенности:) А кстати, как эту степень уверенности модели считают?

[mihaild]

Статья, страница 13 писал(а):

Цитата:

Answer only if you are $> t$ confident, since mistakes are penalized $t / (1-t)$ points, while correct answers receive $1$ point, and an answer of “I don’t know” receives 0 points.

There are several natural values of $t$ including $t = 0.5$ (penalty $1$), $t = 0.75$ (penalty $2$), and $t = 0.9$ (penalty $9$).

Ну ладно, авторы статьи могут поделить $0.75$ на $0.25$ и получить $2$, хотя попросить кого-то вычитать статью перед выкладыванием не помешало бы. Но если уж вы пересказываете статьи, еще и перефразируя, то можно же заметить, что получается бред?
(Rasool, это камень частично в Ваш огород, и сильно - в адрес канала)

Dedekind в сообщении #1700826 писал(а):

Тогда выгоднее всегда говорить "Я не знаю", независимо от степени уверенности

Нет, если вероятность правильного ответа больше $\frac{2}{3}$, то выгоднее давать предполагаемый ответ.

Rasool в сообщении #1700824 писал(а):

На этапе предобучения задача модели – всегда предложить вероятное продолжение текста. У нее нет варианта сказать "я не знаю".

Модель учится предсказывать вероятность следующего токена. И если следующий токен - дата рождения, то тут оптимальное распределение - близкое к равномерному (точнее, к частоте реальных дат рождения, которая не совсем равномерная).
У модели есть опция продолжить текст "День рождения Ивана Ивановича" токенами "я не знаю". Но, поскольку в обучающей выборке подобные продолжения встречаются редко, то этому продолжению будет приписана не очень большая вероятность.
И да, модели для некоторых практических задач дообучают говорить "я не знаю". Меняя обучающую выборку так, чтобы в ней было много таких примеров.

Dedekind в сообщении #1700826 писал(а):

А кстати, как эту степень уверенности модели считают

В статье деталей нет, есть ссылки, но тут надо долго разбираться. Из общих соображений, я бы предположил, что тут речь либо просто о вот таком промпте для модели, либо об обучении с подкреплением, в котором награда за ответ вот такая.

Тут еще рядом есть интересный вопрос о внешних и внутренних вероятностях. Модель - это просто распределение на текстах, позволяющий эффективно считать условное распределение при условии префикса. Но модели еще можно задать вопрос $Q_{X,T}$ "а какая будет вероятность токена $X$ при условии префикса $T$?". Она, скорее всего, напечатает какое-то число $y$. Но вероятности $P(y | Q_{X, T})$ и вероятности $P(X|T)$ не обязаны быть как-то связаны. Что означает, что "внутренняя" уверенность модели может сильно отличаться от "внешней".
(и в этом нет ничего удивительного, можно еще у человека спрашивать, какие нейроны в коре его мозга активируются)

[Dedekind]

mihaild
Спасибо!

mihaild в сообщении #1700833 писал(а):

Она, скорее всего, напечатает какое-то число $y$

ChatGPT, кстати, отказался отвечать. Сказал, что не может сказать конкретное число, поскольку не имеет доступа к весам своей модели.