Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу 1, 2  След.
 Часто ли ИИ формирует ложные сообщения?
Вопрос к ИИ:
Часто ли ИИ формирует ложные сообщения?

Ответ ИИ:
Искусственный интеллект довольно часто формирует ложные сообщения — по данным исследований, доля неверных или вымышленных ответов у популярных нейросетей составляет от 10% до 57% в зависимости от модели и темы.
Статистика по ошибкам (исследования NewsGuard)
• Средний показатель: доля ложных ответов выросла с 18% до 35%.
• Популярные нейросети:
• Pi (Inflection) — до 57% ошибок
• Perplexity AI — от 0% до 47%
• ChatGPT (OpenAI) — от 33% до 40%
• Grok (xAI) — от 13% до 33%
• Gemini (Google) — около 17%
• Claude (Anthropic) — около 10%
Почему ИИ галлюцинирует.
• Принцип работы: нейросеть предсказывает следующее наиболее вероятное слово, а не проверяет факты по энциклопедии.
• Уверенный тон: ИИ часто формулирует вымышленные законы, несуществующие ссылки или ложные цифры максимально убедительно.
• Слабый поиск и самообучение: боты иногда обучаются на сгенерированных ранее ошибках или подтягивают непроверенные данные из соцсетей.
• Сложные темы: ошибки чаще всего возникают в политике, праве, медицине и финансовых вопросах.

Вопрос к ИИ:
Сколько было юридических претензий из-за ошибок ИИ?

Ответ ИИ:
Точное число юридических претензий и исков из-за ошибок ИИ подсчитать сложно, так как большинство споров между компаниями и клиентами урегулируются в досудебном порядке. Однако официальная статистика судебных разбирательств и страховых отчетов показывает взрывной рост коммерческих исков и штрафов.

По данным аналитических отчетов Testudo (Generative AI Litigation Report) и AI Lawsuit Tracker, число крупных исков, напрямую связанных с технологиями генеративного ИИ, выросло более чем на 137% за последний год. По состоянию на осень 2026 года только в США официально зарегистрировано 246 масштабных судебных процессов против разработчиков ИИ (таких как OpenAI, Google, Meta, Microsoft).

 Re: Часто ли ИИ формирует ложные сообщения?
Аватара пользователя
Serg53 в сообщении #1735846 писал(а):
Вопрос к ИИ:
Пожалуйста, всегда пишите, к какому ИИ был вопрос. Одно дело, если к Алисе или Гигачату, другое если к встроенному в поисковик Гугла, и совсем-совсем третье - если к платным ChatGPT или Claude. В первом случае ответ лучше вообще не читать, во втором случае его надо тщательно перепроверять, и только в третьем случае по умолчанию можно считать его верным, пока не доказано обратное.

И если уж задали вопрос, уточняйте, к какому году и месяцу и каким конкретно моделям относятся эти проценты. Насколько я понимаю, это исследование ещё 2025 года, где тестировался ещё ChatGPT 4 (поправьте меня, если не так). Ну и неудивительно, что результаты такие: до появления ChatGPT 5 все нейросети никуда не годились, как нынешняя Алиса.

По моим наблюдениям, ChatGPT 6 Astra ошибается крайне редко.
Serg53 в сообщении #1735846 писал(а):
Принцип работы: нейросеть предсказывает следующее наиболее вероятное слово, а не проверяет факты по энциклопедии
Такое представление - это заезженный штамп. Не то чтобы оно совсем неверное, но и не очень осмысленное. Хорошие ИИ факты как раз проверяют по интернету.

 Re: Часто ли ИИ формирует ложные сообщения?
Mikhail_K в сообщении #1735850 писал(а):
Хорошие ИИ факты как раз проверяют по интернету.


А интернет -- это большая помойка, где вранья намного больше, чем правды :D Поэтому, собственно, ИИ и врет, потому что его обучали на интернете. Кстати, современные молодые человеки в этом смысле не многим лучше. Именно по этой причине (не только, но в т.ч.).

 Re: Часто ли ИИ формирует ложные сообщения?
Аватара пользователя
Alex-Yu в сообщении #1735872 писал(а):
А интернет -- это большая помойка, где вранья намного больше, чем правды :D Поэтому, собственно, ИИ и врет
Отличать достоверный источник от недостоверного при поиске в интернете ИИ умеет.
Alex-Yu в сообщении #1735872 писал(а):
потому что его обучали на интернете.
Обучение на всех текстах интернета - первый этап в обучении ИИ, когда его нужно научить говорить. Дальше идёт дообучение на более качественных данных.

 Re: Часто ли ИИ формирует ложные сообщения?
Если Астра находит математический результат в научной литературе, то она его не примет без проверки. Независимо насколько авторитетны автор или издание.


Текст 5.6 Sol о том как Астра решала НС уравнения.

Цитата:
Как искусственный интеллект решает математические задачи исследовательского уровня

Одним из примеров применения искусственного интеллекта в современной математике стало исследование проблемы существования и гладкости решений уравнений Навье — Стокса. Для получения результата использовалась многоагентная система OpenAI. Группа, достигшая результата, насчитывала порядка 10 000 одновременно работающих агентов.

Как был организован исследовательский процесс?

На первом этапе агенты получили различные формулировки задачи. Одни группы пытались доказать глобальную регулярность решений, другие искали контрпример. Агенты имели доступ к сохранённым интернет-материалам и могли выполнять программный код.
На втором этапе группы независимо исследовали различные математические подходы. Некоторые направления оказывались бесперспективными, другие приводили к новым промежуточным результатам и вспомогательным утверждениям.
На третьем этапе исследователи использовали Codex для объединения наиболее перспективных идей, полученных разными группами. Таким образом, даже попытка, не приведшая к окончательному решению, могла оказаться полезной для другой исследовательской группы.
После запуска первых агентов система получила предложенное решение. Затем GPT-6 Astra использовалась для формализации доказательства в Lean и его машинной проверки.
Принципиальное отличие такого подхода от обычного интернет-поиска заключается в том, что модель не ограничивается воспроизведением уже известных результатов. Она может использовать существующие теоремы, выводить новые вспомогательные утверждения, исследовать следствия различных гипотез и строить последовательность рассуждений, ведущую к доказательству.
Однако главная трудность заключается не в формулировании новых гипотез или лемм, а в строгом обосновании каждой из них. Увеличение вычислительных ресурсов, параллельная работа тысяч агентов и длительный перебор математических подходов расширяют возможности исследования, но сами по себе не гарантируют правильности полученного результата.

Как в таком случае система защищается от недостоверной информации из Интернета?

Здесь необходимо различать достоверность используемых источников и математическую корректность доказательства.
Если модель обнаружила ошибочное утверждение в научной статье или учебнике, авторитет автора и репутация издания не делают это утверждение истинным. Более того, одна и та же ошибка может многократно воспроизводиться в разных публикациях. Поэтому сопоставление источников полезно, но не заменяет самостоятельной математической проверки.
Существенную роль в обеспечении строгости играет формальная верификация доказательств, в частности с использованием Lean.
Предположим, модель использовала лемму L для доказательства теоремы T. Если лемма ошибочна, то получить корректное формальное доказательство на её основе невозможно, пока сама лемма не будет строго обоснована либо не появятся дополнительные предпосылки.
Однако существует важная оговорка. Ложную или недоказанную лемму можно объявить аксиомой. Тогда Lean сможет проверить правильность логического вывода из этой аксиомы, но не её истинность. Поэтому успешная формальная проверка требует также анализа использованных аксиом и зависимостей.
Кроме того, необходимо удостовериться, что формализованное утверждение в точности соответствует исходной математической задаче. Иначе система может безупречно доказать формально корректную теорему, которая отличается от той, которую исследователь намеревался доказать.
Таким образом, формальная верификация существенно повышает надёжность математических результатов, но не отменяет необходимости независимой проверки исходных предпосылок и соответствия формализации поставленной задаче
Показательно, что даже опубликованный результат OpenAI по уравнениям Навье — Стокса остаётся предметом научного рассмотрения. Наличие аналитического доказательства и его формализации в Lean ещё не равнозначно окончательному признанию результата математическим сообществом.
Публичные материалы OpenAI позволяют достаточно подробно проследить организацию многоагентного исследования и процедуру проверки полученного доказательства. Однако из них не следует, что Astra автоматически применяет универсальный и безошибочный механизм оценки достоверности каждого интернет-источника, использованного в исследовании.
Поэтому необходимо различать две способности искусственного интеллекта: открывать новые математические результаты и гарантировать корректность всех утверждений, на которых эти результаты основаны.
Значительные достижения в первой области уже продемонстрированы. Вторая по-прежнему требует строгой математической аргументации, независимой проверки и, когда это возможно, формальной верификации.
Именно сочетание творческих возможностей искусственного интеллекта с математической строгостью позволяет рассматривать подобные системы не просто как инструменты поиска информации, а как средства проведения самостоятельных исследований.

 Re: Часто ли ИИ формирует ложные сообщения?
Аватара пользователя
Alex-Yu в сообщении #1735872 писал(а):
Поэтому, собственно, ИИ и врет, потому что его обучали на интернете
LLM это всё-таки LM, которая, в конечном итоге, генерирует тексты приближенно по некоторому обучающему распределению. И источников галлюцинаций два - плохое исходное распределение, и плохое приближение. До последних примерно полутора-двух лет основным источником проблем было очевидно плохое приближение. Сегодня какая-то смесь, и скорее больше проблем с качественным обучающим распределением.

(Оффтоп)

Alex-Yu в сообщении #1735872 писал(а):
Кстати, современные молодые человеки в этом смысле не многим лучше.
Да и немолодые, и не современные.
Klein в сообщении #1735888 писал(а):
Если лемма ошибочна, то получить корректное формальное доказательство на её основе невозможно, пока сама лемма не будет строго обоснована
Ну Вы хоть сами читайте, что пишете от своего имени, прежде чем нажимать кнопку "отправить". Этого кстати и правила требуют. Какое ещё "строгое обоснование ошибочной леммы"?

 Re: Часто ли ИИ формирует ложные сообщения?
Аватара пользователя
Klein в сообщении #1735888 писал(а):
Если лемма ошибочна, то получить корректное формальное доказательство на её основе невозможно, пока сама лемма не будет строго обоснована либо не появятся дополнительные предпосылки
mihaild в сообщении #1735889 писал(а):
Какое ещё "строгое обоснование ошибочной леммы"?
Может быть, LLM использует риторическую фигуру?

Если афиняне останутся в городе, спартанцам не победить.
+
Спартанцам не победить, пока сами афиняне не выйдут на равнину.
=
Если афиняне останутся в городе, спартанцам не победить, пока сами афиняне не выйдут на равнину.


Есть ли такая фигура в самом деле, или это просто имитация железным другом косноязычного текста, я задумался

 Re: Часто ли ИИ формирует ложные сообщения?
Mikhail_K в сообщении #1735877 писал(а):
Обучение на всех текстах интернета - первый этап в обучении ИИ, когда его нужно научить говорить. Дальше идёт дообучение на более качественных данных.


Это вообще глубочайшее заблуждение, что можно качественно обучиться на текстах/данных. На любых текстах, хоть качественных, хоть некачественных. Профессиональные педагоги этим заблуждением еще обычно страдают (во всяком те, которых я видел, за единичными исключениями), безотносительно к ИИ.

 Re: Часто ли ИИ формирует ложные сообщения?
Alex-Yu в сообщении #1735940 писал(а):
Это вообще глубочайшее заблуждение, что можно качественно обучиться на текстах/данных

В смысле? Разве все мы (и Вы, уверен) не на текстах учились?

 Re: Часто ли ИИ формирует ложные сообщения?
Педагоги для того и нужны, чтобы в моменте подсунуть качественные обучающие данные. В случае обучения LLM также существуют технологии отбора качественных данных. Это просто вы так думаете, что "ИИ обучается на интернете".

 Re: Часто ли ИИ формирует ложные сообщения?
Booker48 в сообщении #1735943 писал(а):
сле? Разве все мы (и Вы, уверен) не на текстах учились?


Я -- нет. Не только на текстах. Тексты лишь подспорье. Вообще с помощью болтовни (сиречь текстов) можно выучиться только болтовне. Из тех, кто учвился на текстах и только на текстах, получаются болтуны-начетчики. И ничего иного.

 Re: Часто ли ИИ формирует ложные сообщения?
Alex-Yu в сообщении #1735982 писал(а):
Я -- нет. Не только на текстах. Тексты лишь подспорье

Заинтриговали. А на чём ещё?
Если Вы о решении задач - ну, это ж тоже форма обучения на текстах, кмк. Со сравнением своих решений с текстом правильного ответа.
И в том, что продвинутые нейросети это (решать задачки - школьные учебные, олимпиадные, открытые проблемы) тоже умеют - вроде никто не сомневается уже.

 Re: Часто ли ИИ формирует ложные сообщения?
Аватара пользователя
Alex-Yu в сообщении #1735982 писал(а):
Вообще с помощью болтовни (сиречь текстов) можно выучиться только болтовне. Из тех, кто учвился на текстах и только на текстах, получаются болтуны-начетчики
Вроде Рамануджана?

 Re: Часто ли ИИ формирует ложные сообщения?
Booker48 в сообщении #1735988 писал(а):
Заинтриговали. А на чём ещё?


На деятельности, на взаимодействии с реальным миром. Зачастую на абсолютно невербальном взаимодействии. Кстати, решение учебных задач -- это тоже никак не взаимодействие с реальным миром. Так что я не о решении задач в Вашем понимании.

 Re: Часто ли ИИ формирует ложные сообщения?
Alex-Yu в сообщении #1736039 писал(а):
На деятельности, на взаимодействии с реальным миром.

Ну, если к нейросети прикрутят химическую лабораторию и испытательный полигон, тогда точно нужно будет валить на Марс.
А причин этого не делать у разработчиков, честно говоря, не просматривается.
Тогда ИИ и вербальное общение ни с кем не понадобится.

 [ Сообщений: 24 ]  На страницу 1, 2  След.


Соглашение о конфиденциальности | Общие правила

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group