Часто ли ИИ формирует ложные сообщения?

[rockclimber]

mihaild в сообщении #1735889 писал(а):

И источников галлюцинаций два - плохое исходное распределение, и плохое приближение.

А можно на рабоче-крестьянский перевести эти термины? "исходное распределение" - это, я так понимаю, корпус текстов, на которых училась модель? А "приближение" - это что?

mihaild в сообщении #1735889 писал(а):

Сегодня какая-то смесь, и скорее больше проблем с качественным обучающим распределением.

У Панчина недавно видел ссылку на такую работу: https://arxiv.org/abs/2603.11749 Суть вкратце: правда - это артефакт сжатия. Правдивая информация структурирована и систематизирована, вранье и выдумки - это случайный шум. Шум отсеивается, структурированная информация сохраняется - и это по умолчанию, даже если специально не учить нейросеть "как правильно", она сама догадается (хотя и не всегда, конечно). Мне эта новость внушает оптимизм.

[mihaild]

rockclimber в сообщении #1736054 писал(а):

А можно на рабоче-крестьянский перевести эти термины? "исходное распределение" - это, я так понимаю, корпус текстов, на которых училась модель? А "приближение" - это что?

Рассмотрим первую часть обучения, которая называется pre-training. У нас есть корпус текстов, который можно считать выборкой из распределения $P(\text{next token} | \text{history})$. А сама по себе модель - это семейство таких распределений, параметризованное весами, $f_w(t | h)$. И обучение - это подбор $w$, такого что $f_w(t | h) \approx P(t | h)$.
Естественно, на практике у нас нет "истинного" распределения текстов, а есть только выборка, но можно притвориться, что есть. Хотя оно и зависит от того, какую выборку текстов мы рассматриваем (и их еще можно взвешивать). Но понятно, что если мы берем просто тексты из интернета, то у строки "Найдем производную от $x^2$" наиболее вероятное продолжение - какое-нибудь более-менее внятное, а у "Вот доказательство гипотезы Коллатца:" - бессмысленное нагромождение формул.
До недавнего времени (последних нескольких лет) проблема была, в первую очередь, с приближением - $f_w(t|h)$ оказывалось настолько далеко от распределения обучающих текстов, что и строку "Найдем производную от $x^2$" продолжало просто какими-то случайными словами, которые часто встречаются в математических текстах. Сейчас эта проблема более-менее решена - стандартный уровень бредовости из интернета модели воспроизводят легко.
И теперь основная задача при обучении - это как раз построить какую-то "хорошую" обучающую выборку, чтобы ближайшее к ней распределение из выразимых моделью было "хорошим".

rockclimber в сообщении #1736054 писал(а):

Суть вкратце: правда - это артефакт сжатия. Правдивая информация структурирована и систематизирована, вранье и выдумки - это случайный шум.

Это вроде довольно очевидно. Но толку от этого не очень много, потому что слабые (могущие выразить лишь немногие распределения) модели не могут выразить и "правду", а сильные могут выразить и шум.

[ozheredov]

mihaild в сообщении #1736065 писал(а):

У нас есть корпус текстов, который можно считать выборкой из распределения $P(\text{next token} | \text{history})$

Для простоты будем считать, что генерация пока не началась. Тогда, насколько я понимаю, $\text{history}$ это промпт. Где я возьму хотя бы один текст, начало которого совпадает с моим промптом?

[mihaild]

ozheredov в сообщении #1736067 писал(а):

Где я возьму хотя бы один текст, начало которого совпадает с моим промптом?

Нигде, и этого не требуется. Если хотите более строго - наш корпус текстов задает определенное на встречающихся префиксах условное распределение $g(t | h)$ (которое для уникальных префиксах сосредоточено в одном слове). И мы подбираем $w$, такое что $f_w(t | h) \approx g(t | h)$ (на реально встречающихся префиксах).

[Mihaylo]

ozheredov в сообщении #1736067 писал(а):

Где я возьму хотя бы один текст, начало которого совпадает с моим промптом?

Это называется генерализация - обобщающая способность: в тексте "нужно найти производную функции" видеть почти то же самое, что и в тексте "для этой функции будем искать dy/dx", но более-менее строго отделять от "не первая и даже не вторая производная функции".

mihaild в сообщении #1736070 писал(а):

$f_w(t | h) \approx g(t | h)$

[rockclimber]

mihaild в сообщении #1736065 писал(а):

Это вроде довольно очевидно.

Да, сейчас мне это очевидно - когда я об этому узнал. А до этого было неочевидно. Ну вам может было очевидно, вы больше с этим работаете. Сам Панчин, когда писал свой пост, начал с того, как нейросети отличают науку от лженауки. Они, в целом, понимают, что гомеопатия, астрология, плоская Земля и т. п. - это чушь. Но как они это делают? Я, например, тоже об этому задумывался, и мне казалось, что им специально размечают данные - этот текст лженаучный, этот нет. А тут, похоже, этого и не требуется.

[ozheredov]

rockclimber в сообщении #1736287 писал(а):

нейросети отличают науку от лженауки. Они, в целом, понимают, что гомеопатия, астрология, плоская Земля и т. п. - это чушь.

Недавно задавал иишке вопрос "Является ли Паланджянц Левон Жирайрович мракобесом. На протяжении четырёх-пяти ответов он АГРЕССИВНО убеждал меня, что это уважаемый учёный. Только специально подобранная цитата из его книги Универсальная физика, содержащая слово кочудорасчленение, убедила его в обратном.

[Serg53]

Mikhail_K в сообщении #1735850 писал(а):

задали вопрос, уточняйте, к какому году и месяцу

Когда-то читал тему (дату не помню), в которой кто-то утверждал, что правду говорят только дураки. Если это утверждение истинно, то тогда получается, что сам утверждающий дурак. В противном случае это утверждение ложно, правду могут говорить все. Как будет правильнее?

-- добавлено через 3 минуты --

Вопрос к ИИ: Применяют ли ИИ для управления машинами или технологическими процессами?

Ответ ИИ: Да, искусственный интеллект активно применяют для управления машинами и технологическими процессами. Он интегрируется в автоматизированные системы управления технологическими процессами (АСУ ТП) и бортовую электронику техники. Основные сферы применения:
Управление производством и линиями:
Алгоритмы контролируют работу конвейеров, роботов-манипуляторов и логистических тягачей (например, координация сотен роботов на заводах BMW или Foxconn).
ИИ оптимизирует микроклимат, энергопотребление и режимы работы оборудования (например, управление системами HVAC на предприятиях Tesla).
Мониторинг и предиктивное обслуживание:
Системы анализируют данные с датчиков в реальном времени, предсказывают поломки до их возникновения и предотвращают аварийные остановки (например, решение POSS от Strukton Rail сократило число технических сбоев вдвое).
Контроль качества:
Системы компьютерного зрения на базе ИИ мгновенно выявляют дефекты продукции (например, решения Google Cloud Visual Inspection на предприятиях Foxconn).
Управление транспортом и автотехникой:
ИИ лежит в основе систем помощи водителю (ADAS), адаптивного круиз-контроля, управления трансмиссией и автопилотов.

-- добавлено через 4 минуты --

Вопрос к ИИ: Создавали ли ошибки ИИ аварийные ситуации при управлении машинами или технологическими процессами?

Ответ ИИ: Да, ошибки и сбои искусственного интеллекта неоднократно приводили к аварийным ситуациям, ДТП и инцидентам на производстве. В отличие от классического софта, работающего по жестким алгоритмам, ИИ полагается на вероятностные модели. Когда система сталкивается с редкими ситуациями (так называемыми edge cases), на которых она не обучалась, или неверно интерпретирует данные с датчиков, это приводит к критическим сбоям.
Ниже приведены ключевые примеры таких инцидентов в разных сферах.

1. Автономный транспорт и беспилотные автомобили.
В сфере беспилотного вождения зафиксировано больше всего резонансных инцидентов, поскольку машины с ИИ делят дороги общего пользования с людьми.
Искажение восприятия («слепое пятно» ИИ): В 2018 году беспилотный автомобиль Uber насмерть сбил пешехода в Аризоне. Система компьютерного зрения классифицировала женщину с велосипедом сначала как неопознанный объект, затем как автомобиль и лишь в последний момент как велосипед, из-за чего алгоритм не успел вовремя рассчитать траекторию торможения.
Игнорирование статичных препятствий: Системы помощи водителю (такие как Autopilot и FSD в Tesla, а также системы в китайских электромобилях Aito/Huawei и Xiaomi) неоднократно попадали в аварии на высокой скорости, врезаясь в стоящие на трассе пожарные машины, перевернутые грузовики или бетонные отбойники. Алгоритмы фильтрации радаров и камер ошибочно принимали неподвижный крупный объект за мост или элемент дорожной инфраструктуры.
Сбои при обновлении ПО: В 2022 году роботакси компании Cruise после неудачного апдейта совершило резкий маневр и заблокировало перекресток, спровоцировав столкновение, а в других случаях группы машин этой компании массово «застывали» на улицах Сан-Франциско, парализуя городской трафик.

2. Промышленность и технологические процессы.
На заводах и фабриках ИИ чаще всего используется для предиктивной аналитики, оптимизации и управления конвейерами. Ошибки здесь обычно связаны с переобучением моделей или неверным распределением приоритетов.
Инциденты с логистическими роботами: На автоматизированных складах (например, Amazon) роботы под управлением ИИ-систем распределения заказов периодически сталкивались, повреждали стеллажи или блокировали проезды из-за «галлюцинаций» в конструировании маршрутов при высокой плотности машин. В одном из случаев робот случайно проткнул баллон с химикатами (капсаицином), из-за чего потребовалась эвакуация сотрудников.
Сбои оптимизации сетей: При попытках внедрить ИИ для управления энергетическими или коммунальными потоками алгоритмы, стремясь максимизировать экономию, могут выводить технологические параметры в критические зоны. Без жестких классических систем защиты (Safety Interlocks) это приводило к локальным гидроударам на трубопроводах или перегрузкам подстанций.

3. Военная техника и БПЛА.
Применение автономного ИИ в управлении беспилотниками создает риски из-за жесткой ориентации алгоритма на выполнение заложенной математической цели.
Ошибки распознавания целей: В боевых условиях дроны с ИИ, обученные на конкретные силуэты техники, могут атаковать гражданские объекты. Например, зафиксированы случаи, когда автономный дрон атаковал гражданскую заправку, распознав баки с пропаном как военную цель.

Главные причины аварий по вине ИИ:
1. Контекстная слепота: ИИ отлично видит паттерны, но не понимает физической сути происходящего.
2. Эффект «недокументированной ситуации» (Edge Cases): Если в обучающей выборке не было грузовика необычной формы или человека в нестандартном костюме, ИИ может проигнорировать их.
3. Эффект убаюкивания оператора (Automation Complacency): Человек привыкает к тому, что ИИ работает идеально, теряет бдительность и не успевает перехватить управление в критические 1-2 секунды до аварии.

[ozheredov]

Serg53 в сообщении #1736535 писал(а):

Когда-то читал тему (дату не помню), в которой кто-то утверждал, что правду говорят только дураки. Если это утверждение истинно, то тогда получается, что сам утверждающий дурак. В противном случае это утверждение ложно, правду могут говорить все. Как будет правильнее?

Если X хочет запутать Y и говорит для этого только ложь, то Y легко заставит X раскрыть правду через бинарное дерево ответов (попробуйте догадаться, как именно это будет выглядеть скажем в случае выведывания пин-кода от кредитки). Поэтому врун должен обязательно иногда говорить правду

[Serg53]

Опыт показывает, что современные автоматические устройства, будь то с ИИ или без ИИ, не могут долго надёжно работать в автоматическом режиме. Требуется бдительный надзор человека (обслуживающего персонала), хотя бы дистанционный. То есть фактически, надёжный режим работы этих устройств полуавтоматический!

Mikhail_K в сообщении #1735850 писал(а):

Пожалуйста, всегда пишите, к какому ИИ был вопрос

Мне безразлично, какой ИИ сформировал текст ответа на вопрос. Разбираться в родословной этого ИИ у меня нет желания. Если кого-то интересуют ответы каких-то конкретных типов ИИ, можете задавать им аналогичные вопросы и публиковать ответы.

-- добавлено через 2 минуты --

ozheredov в сообщении #1736538 писал(а):

попробуйте догадаться, как именно это будет выглядеть

Вопрос к ИИ: Сколько в России нечестных людей, которые хотят обманывать других людей?
Ответ ИИ: Точной официальной статистики о количестве нечестных людей в России не существует, так как «честность» — это морально-этическая категория, которую невозможно измерить точными подсчетами или переписью населения.
Однако социологические службы и государственные органы регулярно публикуют данные, которые позволяют косвенно оценить уровень доверия и правонарушений в обществе:
Уровень доверия в обществе: По данным крупных социологических центров (таких как ВЦИОМ или ФОМ), уровень доверия к незнакомым людям в России обычно находится на среднем уровне. Значительная часть опрошенных проявляет осторожность при взаимодействии с незнакомцами.
Статистика киберпреступности и мошенничества: Согласно отчетам МВД РФ и Банка России, количество случаев телефонного и интернет-мошенничества в последние годы остается высоким. Это указывает на существование организованных групп и отдельных лиц, специализирующихся на обмане граждан ради финансовой выгоды.
Бытовой обман: Социологические опросы на тему повседневной честности показывают, что большинство людей считают себя честными, но признают, что могут прибегать к «лжи во спасение» или мелкому обману в бытовых ситуациях, чтобы избежать конфликтов.
Таким образом, абсолютное большинство людей стремятся соблюдать моральные нормы, а те, кто осознанно идет на обман ради наживы (например, мошенники), составляют меньшинство, но их деятельность заметна из-за масштаба наносимого вреда.

-- добавлено через 5 минут --

Вопрос к ИИ: Применяют ли ИИ в системах АСУТП для управления печами или колоннами нефтеперерабатывающих заводов или реакционными аппаратами химических предприятий?
Ответ ИИ: Да, искусственный интеллект (ИИ) активно применяется в системах автоматизации (АСУ ТП) для управления печами, ректификационными колоннами и реакторами. В современной промышленности технологии ИИ работают в связке со стандартными РСУ (распределенными системами управления) и системами усовершенствованного управления технологическими процессами (СУУТП / APC).

-- добавлено через 2 минуты --

Вопрос к ИИ: Сколько возникало аварийных ситуаций на этих объектах из-за ошибок ИИ?
Ответ ИИ: Официально не зарегистрировано ни одной крупной промышленной аварии (взрыва, пожара или разрушения агрегатов) на нефтеперерабатывающих заводах (НПЗ) или химических предприятиях, причиной которой стала бы именно ошибка искусственного интеллекта.
Этому есть веские причины, заложенные в саму архитектуру промышленной автоматизации (АСУ ТП).

На опасных производственных объектах ИИ никогда не управляет исполнительными механизмами (клапанами, задвижками, подачей топлива) напрямую. Системы автоматизации строятся по жесткой иерархической структуре:
1. Нижний уровень физической безопасности (ПАЗ — Противоаварийная защита):
Это независимые цифровые или механические реле, отсечные клапаны и датчики, работающие на жесткой логике. Если температура в реакторе или печи превысит критическую отметку, ПАЗ мгновенно сбросит давление или остановит подачу сырья. Этот уровень полностью изолирован от ИИ, его невозможно перегрузить или «запутать» неверным прогнозом.
2. Средний уровень (РСУ / SCADA):
Классические промышленные контроллеры, управляющие техпроцессом по строгим математическим алгоритмам (ПИД-регуляторы).
3. Верхний уровень (СУУТП / APC и ИИ-модели):
Именно здесь живет искусственный интеллект. Он выполняет роль «советчика» или системы оптимизации. Например, ИИ-модель рассчитывает: «Чтобы сэкономить 2% топлива в печи, нужно снизить подачу воздуха на такую-то величину». Она передает этот совет контроллеру РСУ.
Контроллер РСУ сначала проверяет этот «совет» на соответствие безопасным границам. Если ИИ из-за ошибки (галлюцинации или сбоя данных) выдаст аномальную команду, контроллер ее просто проигнорирует.

Хотя до физических катастроф ошибки ИИ не доводят, сбои алгоритмов приносят экономические убытки и срывы планов. Их называют технологическими инцидентами:
Сбои «виртуальных датчиков» (отравление данных): Если физический датчик температуры начинает сбоить и выдавать неверные данные («шум»), обученная нейросеть ломает свою логику и начинает выдавать некорректный прогноз качества бензина в колонне. В результате операторы, доверившись «умному датчику», могут некоторое время выпускать некондиционный продукт (брак), пока лаборатория не выявит отклонение.
Финансовые потери из-за ложной оптимизации: Неверно настроенная или недообученная модель RTO (оптимизации в реальном времени) может увести режим работы химического реактора в зону, где снижается селективность процесса. Взрыва не произойдет, но предприятие теряет миллионы рублей из-за повышенного расхода дорогостоящего катализатора.
«Усталость» от ложных срабатываний предиктивной диагностики: Если ИИ-система прогнозирования ремонтов обучена некорректно, она начинает генерировать десятки ложных предупреждений о «скорой поломке компрессора». Ремонтные бригады тратят время на проверки, не находят дефектов и в итоге начинают игнорировать сигналы системы. Из-за этого реальная поломка может быть пропущена.
По мере того как ИИ получает больше автономности (например, в рамках концепций автономных предприятий), риски смещаются в плоскость ИТ-безопасности. Основными угрозами для АСУ ТП сегодня называют «отравление» обучающих выборок ИИ хакерами (чтобы заставить систему работать неэффективно) и уязвимости в кодовой базе самих ИИ-агентов.

[Booker48]

Serg53 в сообщении #1736705 писал(а):

Вопрос к ИИ: Сколько возникало аварийных ситуаций на этих объектах из-за ошибок ИИ?

Было бы логично спросить об аварийных ситуациях на подобных объектах до появления ИИ.
Мне, например, вспоминается пожар на месторождении "Тенгиз" в Казахстане, 1985 год.
Его тушили полтора года, из-за высочайших температур местные минералы и те тысячи тонн химии, которой пытались потушить факел, образовали новый красивейший минерал - тенгизит, поделки из которого можно приобрести на профильных сайтах.
Может, управляй процессом ИИ, ничего подобного и не случилось бы, не?
Пока, судя по ответам на Ваши вопросы, ничего подобного не произошло ведь?

[Booker48]

del

[Serg53]

Booker48 в сообщении #1736706 писал(а):

логично спросить об аварийных ситуациях на подобных объектах до появления ИИ

Ответ ИИ на вопрос: "Сколько возникало аварийных ситуаций на этих объектах из-за ошибок ИИ?" выглядит очень хорошим.
Крупные аварии на таких объектах происходят из-за отключения или неисправности системы ПАЗ (противоаварийной защиты), нарушения режимов, запредельного износа оборудования, нарушения правил безопасности. Может ли ИИ это предотвратить? Не знаю.

[Booker48]

Serg53 в сообщении #1736705 писал(а):

Мне безразлично, какой ИИ сформировал текст ответа на вопрос. Разбираться в родословной этого ИИ у меня нет желания

Вы сказали что-то вроде: "Мне безразлично, кто отвечает на мой вопрос - бабулька у подъезда или специалист по теме".
Не все ИИ одинаково полезны.

[ozheredov]

Booker48 в сообщении #1736716 писал(а):

Вы сказали что-то вроде: "Мне безразлично, кто отвечает на мой вопрос - бабулька у подъезда или специалист по теме".

Вы реально считаете, что для человека, додумавшегося задать вот такой вопрос:

Serg53 в сообщении #1736705 писал(а):

Сколько в России нечестных людей, которые хотят обманывать других людей?

существует разница между ответами специалиста по теме и бабульки у подъезда?