Ошибки данных в ИИ

[mihaild]

Serg53 в сообщении #1698452 писал(а):

Повреждение кодов (данных)

В данном контексте имеется в виду програмный код (баги в программах).

vicvolf в сообщении #1698513 писал(а):

Ошибки программиста - это вопрос создания любой программы и не является специфическим для ИИ

Да, как и ошибки в хранении и извлечении данных.

[Serg53]

Mihaylo в сообщении #1698567 писал(а):

про какие данные говорит топик-стартер. Пускай уточнит.

Коды данных в моём понимании это все коды, в том числе и программные. То есть коды, которые используются как процессорные команды, и коды, используемые как данные для команд программы. Аппаратным искажениям могут подвергнуться любые коды. Программы могут содержать недоработки, ляпсусы, вирулентные фрагменты и другие ошибки. Наверное, программных проблем на этапе отладки возникает много.

[Mihaylo]

Ошибки в алгоритмах ML могут быть иногда, я думаю, в этом случае они проваливают качество, не более. Но так как популярных библиотек не так много, то кодовая база весьма качественная по факту.

Сами алгоритмы в целом очень устойчивы к локальным сбоям, это я сам убедился, разрабатывая подобные алгоритмы с нуля и допуская ошибки. Нейронка может неплохо работать в среднем, но изредка качество может упасть, иногда катастрофически, и этот процесс обычно случаен.

Когда я перешёл на PyTorch, количество ошибок резко снизилось, так как библиотека автоматизирует обратное распространение ошибки и некоторые другие вещи.

-- 31.08.2025, 18:38 --

Serg53
Вы в заголовке темы упомянули ошибки данных, а сейчас сказали про ошибке в коде. Это другое. Путаете людей.)

[mihaild]

Serg53 в сообщении #1700321 писал(а):

Коды данных в моём понимании это все коды, в том числе и программные

В контексте ML, "ошибка в коде" ("код" в единственном числе) общепринято синонимична к "неправильно написанная программа".
На этом предлагаю перестать обсуждать лингвистику, и вернуться к содержательному аргументу

mihaild в сообщении #1696814 писал(а):

Сравните частоту, с которой это происходит на практике из-за ошибок в коде и ошибок железа

Если данные повреждаются или просто модели обучаются неправильно сильно чаще из-за неправильно написанных программ, то думать о сбоях железа (что приведет к усложнению программ, и, соответственно, увеличению количества ошибок в них) контрпродуктивно.
Кроме того,

Serg53 в сообщении #1689465 писал(а):

значительная часть современных электронно-вычислительных устройств не использует никаких способов проверки данных

нуждается в доказательствах. Где статистика?

[realeugene]

Serg53 в сообщении #1689465 писал(а):

Однако следует заметить, что значительная часть современных электронно-вычислительных устройств не использует никаких способов проверки данных.

Следует заметить, что любой сотовый телефон или современный компьютер, или даже просто флешка используют. На самом деле, сложно помыслить современное электронно-вычислительное устройство, ни в какой своей части не использующее кодов проверки данных.

[Serg53]

Полупроводниковый триггер имеет два устойчивых состояния. Перейти из одного устойчивого состояния в другое триггер может от действия либо управляющих сигналов, либо помех. Думаю, что в современных процессорах нет аппаратного контроля (проверки достоверности) цифровых потоков. Искажение потока может нарушить структуру команды, вызвать ошибку адресации, или ошибку работы системы прерываний, или фатальную ошибку алгоритма и аварийный останов работы процессора. Но, возможно, некоторые искажения вызовут неправильные действия без аварийного останова. Наверное, вероятность такого события очень мала, но если при этом произойдёт искажение "информации" в долговременной памяти, то неизвестно, как это может повлиять на дальнейшую работу программы. Поэтому создание дублирующих систем необходимо там, где важно иметь высокую надёжность и достоверность хранения цифровой "информации", например, в системах, запоминающих данные клиентов. Мне неизвестно, как организовано хранение, контроль и проверка огромных массивов данных, в том числе программных модулей, используемых ИИ для своих вычислений. Можно предположить, что "глюки" ИИ связаны либо со сбоями и искажениями "информации", либо с неточностями программных алгоритмов. Отдельной проблемой является вирусное, паразитное и мошенническое программное обеспечение. Это извращение, тупиковое ответвление стратегии развития цифровой вычислительной техники.

[mihaild]

Serg53 в сообщении #1701275 писал(а):

Думаю, что в современных процессорах нет аппаратного контроля

А Вы не думайте, а почитайте документацию.

Serg53 в сообщении #1701275 писал(а):

Поэтому создание дублирующих систем необходимо там, где важно иметь высокую надёжность и достоверность хранения цифровой "информации", например, в системах, запоминающих данные клиентов.

Cost-benefit анализ сделайте, пожалуйста.

Serg53 в сообщении #1701275 писал(а):

Можно предположить, что "глюки" ИИ связаны либо со сбоями и искажениями "информации", либо с неточностями программных алгоритмов

Скорее с тем, что сервера не освящены.

Serg53 в сообщении #1701275 писал(а):

Отдельной проблемой является вирусное, паразитное и мошенническое программное обеспечение

А причем тут ML модели?

[Mihaylo]

Когда триггер неправильно переключился - это ошибка первого рода.

Когда программист ошибся - это ошибка второго рода.

Гораздо больше проблем от зависимостей, от ошибок третьего рода. Особенно в Linux. Представьте себе, ядро Linux обновили, и хоп - куча утилит, библиотек перестали работать. Если в данных 0 сменился на 1, то программа просто по-другому начала работать, а здесь - просто программа остановилась по системной ошибке.

При этом частота ошибок первого рода несопоставима с ошибками второго и третьего рода. Иными словами, глюки гораздо реже, чем ошибки программистов и их недоработки.

А вы изучали контроль и исправление ошибок при передачи данных?

Что касается ошибок в данных в ML-моделях, то они там изначально присутствуют. Вообще пофигу, нейросети их отловят. Это ошибки четвёртого рода. Если я сейчас поменяю вес одного синапса с 0.0 на 1.0, то нейросеть однозначно начнёт работать по-другому. Но не сильно по-другому.

-- 10.09.2025, 19:12 --

НО! С ошибками первого рода наверняка сталкивался каждый из нас. Итог - замена оперативной памяти, либо выбрасывание компьютера целиком вместе с монитором, так как тот компрометировался... Тут трудно сказать. Но это бывает. Но если память глючит, то обычно это сразу заметно, компьютер зависает, перезагружается. Не происходит того, что нейросеть вдруг начала неожиданно галлюцинировать. Это точно нет. Это фантазии.

[vicvolf]

Serg53 в сообщении #1689227 писал(а):

При передаче, хранении и обработке цифровых данных могут возникать искажения и ошибки. Причины этого могут быть разные – помехи при передаче сигналов, дефекты или старение носителей информации, неточные алгоритмы обработки данных и другие. Как это будет влиять на качество работы ИИ?

Ваше первое сообщение я воспринял как желание узнать, как решается сейчас эта проблема в ИИ. Чувствуется, что Вы когда-то давно занимались этими вопросами и хотели бы узнать их современное состояние в приложении к ИИ. Но последнее Ваше сообщение меня изумило.

Serg53 в сообщении #1701275 писал(а):

Полупроводниковый триггер имеет два устойчивых состояния. Перейти из одного устойчивого состояния в другое триггер может от действия либо управляющих сигналов, либо помех.

Это откровение)

Цитата:

Думаю, что в современных процессорах нет аппаратного контроля (проверки достоверности) цифровых потоков.

Глупость

Цитата:

Искажение потока может нарушить структуру команды, вызвать ошибку адресации, или ошибку работы системы прерываний, или фатальную ошибку алгоритма и аварийный останов работы процессора. Но, возможно, некоторые искажения вызовут неправильные действия без аварийного останова. Наверное, вероятность такого события очень мала, но если при этом произойдёт искажение "информации" в долговременной памяти, то неизвестно, как это может повлиять на дальнейшую работу программы.

Фантазии

Цитата:

Поэтому создание дублирующих систем необходимо там, где важно иметь высокую надёжность и достоверность хранения цифровой "информации", например, в системах, запоминающих данные клиентов.

Необоснованные выводы

Цитата:

Мне неизвестно, как организовано хранение, контроль и проверка огромных массивов данных, в том числе программных модулей, используемых ИИ для своих вычислений.

Это верно

Цитата:

Можно предположить, что "глюки" ИИ связаны либо со сбоями и искажениями "информации", либо с неточностями программных алгоритмов.

Не надо.

Цитата:

Отдельной проблемой является вирусное, паразитное и мошенническое программное обеспечение. Это извращение, тупиковое ответвление стратегии развития цифровой вычислительной техники.

Как все запущено) Если Вы не знаете, то не надо делать таких утверждений!

[Serg53]

mihaild в сообщении #1701277 писал(а):

сервера не освящены

В сети имеются сообщения об отказах серверов и потерях баз данных. Поэтому вопросы надёжного хранения цифровых данных, в том числе кодов программных модулей, требуют отдельного продумывания и выполнения.

[mihaild]

Serg53 в сообщении #1706210 писал(а):

В сети имеются сообщения об отказах серверов и потерях баз данных

Разумеется. Более того, при обработке достаточно больших объемов данных нужно учитывать вероятность того, что несколько из используемых серверов сломаются во время обработки - близка к единице, и, соответственно, нужно уметь это обрабатывать без перезапуска существенной части пайплайна.

Serg53 в сообщении #1706210 писал(а):

Поэтому вопросы надёжного хранения цифровых данных, в том числе кодов программных модулей, требуют отдельного продумывания и выполнения

И это всё делается. Причем на достаточно низком уровне, так что в прикладных алгоритмах про это думать уже не надо.

Предположение, что галлюцинации LLM связаны с ошибками в железе, аналогично предположению, что в неточной оценке времени по ощущениям виноваты релятивистские эффекты.

[Serg53]

mihaild в сообщении #1706214 писал(а):

при обработке достаточно больших объемов данных нужно учитывать вероятность того, что несколько из используемых серверов сломаются во время обработки

Технические устройства имеют определённый срок службы, ресурс работы, наработку на отказ. В накопителях внешней памяти на магнитных дисках можно сильно ускорить процесс износа непрерывными запросами позиционирования. Твёрдотельные полупроводниковые устройства полупостоянной памяти имеют ограниченный ресурс количества циклов записи. Время хранения информации (данных) в ППЗУ ограничено их физическими возможностями.

Теперь предположим, что вблизи компьютера произошел электростатический разряд молнии. Почти наверняка полупроводниковые элементы сетевой карты компьютера будут физически повреждены. Не исключено, что процесс электрического пробоя проникнет и в более глубокие структуры схем компьютера, например, в оперативную память или процессор, или же просто выжжет дорожку на печатной плате. О каких цифровых данных можно будет тогда говорить? Но, информация для размышления, безусловно, будет.

[ozheredov]

Serg53 в сообщении #1707240 писал(а):

Теперь предположим, что вблизи компьютера произошел электростатический разряд молнии. Почти наверняка полупроводниковые элементы сетевой карты компьютера будут физически повреждены.

Люблю грозу в начале мая:
Как фиганёт - и нет сарая.
А может быть, (пуркуа́ па?*) -
Как фиганёт - И НЕТ КОМПА!!

*pourquoi pas - почему бы нет

[mihaild]

Serg53
Я перестал понимать, о чем сейчас тема. Ответ на изначальный вопрос

Serg53 в сообщении #1689227 писал(а):

Как это будет влиять на качество работы ИИ?

Никак, все ошибки фильтруются на более низких уровнях.
Еще что-то?