сравнение методов измерения

[AndreyL]

Дамы и Господа!

Возникла задача о сравнении двух методов измерения. Есть $n$ образцов, по каждому делается по несколько измерений двумя методами. Как проверить гипотезу, что измерения разными методами одинаковые в терминах воспроизводимости измерений? Особенность в том, что отклонения могут быть в разные стороны для разных образцов.

[Александрович]

AndreyL в сообщении #1613854 писал(а):

Как проверить гипотезу, что измерения разными методами одинаковые в терминах воспроизводимости измерений?

Например проверить гипотезу о равенстве средних.

[AndreyL]

Это понятно, но как проверить гипотезу о равенстве нескольких пар средних, если у разных пар разные средние?

[Евгений Машеров]

Простейший ответ - равенство для зависимых выборок. Стьюдент или, из непараметрики, Вилкоксон. Но тут предполагается, что ошибки измерения независимые. Формулировка вопроса допускает и такую интерпретацию - есть методы, дающие не просто систематическую ошибку, одинаковую для всех измерений, но она может зависеть от объекта. В виде примера - необходимо определить содержание полезного вещества в руде. На результат измерения влияет наличие примесей, порождающее систематическую ошибку, причём на метод I влияет примесь I, на метод II примесь II, содержание примесей в образцах различно и наличие одной примеси меняется независимо от другой (совсем условный пример - надо найти концентрацию $NaCl$, первый прибор меряет по натрию, причём реагирует и на $Na_2CO_3$, давая суммарное содержание натрия, второй по хлору, и реагирует и на $CaCl_2$, давая суммарное содержание хлора; оба дают систематическое завышение, но разное на разных образцах). Тут, видимо, нужны дополнительные данные, без них только установим наличие существенного разброса.

[AndreyL]

Пока интересует только вопрос - есть различие или нет, интерпретация различий уже другой вопрос. Не совсем понятно, как при этом пользоваться Стьюдентом и Вилкоксоном, поскольку на входе не просто две выборки, а две выборки выборок. Пока понятно, как сделать дисперсионный анализ для случая одинаковых дисперсий воспроизводимости. Если $X_i$ и $Y_i$ - векторы измерений $i$-го образца двумя разными методами, а $n_i$ и $m_i$ - длины этих векторов, то внутригрупповая дисперсия, она же дисперсия воспроизводимости, может быть оценена как

$$s^2=\left[ \sum_{i=1}^N \sum_{j=1}^{n_i}\left(X_{ij}-\bar{X_i} \right)^2+\sum_{i=1}^N \sum_{j=1}^{m_i}\left(Y_{ij}-\bar{Y_i} \right)^2 \right]/\left[ \sum_{i=1}^N n_i+\sum_{i=1}^N m_i -2N\right]$$

А как быть, если дисперсии воспроизводимости разные?

[Александрович]

AndreyL в сообщении #1613856 писал(а):

если у разных пар разные средние?

По оси 0Х откладываются одни средние, по оси 0Y другие. Проверяется гипотеза о значении значении kкорр=1.

[AndreyL]

Александрович в сообщении #1613888 писал(а):

По оси 0Х откладываются одни средние, по оси 0Y другие. Проверяется гипотеза о значении значении kкорр=1.

А как учесть внутригрупповые дисперсии? К тому-же в лоб корреляция здесь даст неверный ответ, например если один метод систематически завышает значение, то корреляция тоже будет 1.
Кстати, а как проверить гипотезу, что коэффициент корреляции равен 1?

[realeugene]

AndreyL в сообщении #1613854 писал(а):

Как проверить гипотезу, что измерения разными методами одинаковые в терминах воспроизводимости измерений?

Для начала стоит сформулировать эти термины. С какой точностью вы хотите воспроизводимость? Потому что систематические ошибки приборов никто не отменял. Так что среднее заведомо будет разным.

Как правило, если не заморачиваться моделями погрешностей прибора, точность измерительного прибора должна быть на порядок выше желаемой точности измерений.

-- 19.10.2023, 15:10 --

AndreyL в сообщении #1613867 писал(а):

$$s^2=\left[ \sum_{i=1}^N \sum_{j=1}^{n_i}\left(X_{ij}-\bar{X_i} \right)^2+\sum_{i=1}^N \sum_{j=1}^{m_i}\left(Y_{ij}-\bar{Y_i} \right)^2 \right]/\left[ \sum_{i=1}^N n_i+\sum_{i=1}^N m_i -2N\right]$$

А как быть, если дисперсии воспроизводимости разные?

Не думаю, что есть готовые решения для вашего подхода. Метрологи специально отдельно разрабатывают методы измерения и их поверки на известных эталонах, прежде чем начать их использовать на неизвестных образцах. В ходе этих исследований и определяют погрешности каждого метода измерения.

[AndreyL]

Воспроизводимость определяется из серии параллельных измерений, вопрос "какая воспроизводимость нужна" не стоит, какая есть, такая и есть, это может быть и погрешность прибора и неоднородность образцов, разрушать образцы нельзя, поэтому просто делаем несколько измерений. Средние в любом случае будут разными, вопрос сильно разные, или не сильно, видно эти различия на фоне воспроизводимости, или не видно. По идее задача дисперсионного анализа, или я не прав?

[andreiandrei]

AndreyL в сообщении #1613854 писал(а):

Есть $n$ образцов, по каждому делается по несколько измерений двумя методами. Как проверить гипотезу, что измерения разными методами одинаковые в терминах воспроизводимости измерений? Особенность в том, что отклонения могут быть в разные стороны для разных образцов.

На мой взгляд, ответ здесь уже неоднократно прозвучал, и от Евгения Машерова, и от Александровича...
Но напишу и я немножко, так как сам недавно чем-то подобным занимался.
Для каждого метода находите дисперсии измерений каждого образца, и сравниваете среднее этих дисперсий с помощью, например, Стьюдента.
Если на заданном Вами уровне значимости оно отличается, то измерения разными методами - разные, "в терминах воспроизводимости измерений",
тем более, что измерений по каждому образцу всего несколько, а не достаточно много, воспроизводимости не будет.
Если среднее дисперсий окажется одинаковым, то не будет причин не использовать дисперсионный анализ для сравнения средних (при выполнении других условий его применимости).

[realeugene]

AndreyL в сообщении #1613922 писал(а):

Воспроизводимость определяется из серии параллельных измерений, вопрос "какая воспроизводимость нужна" не стоит, какая есть, такая и есть, это может быть и погрешность прибора и неоднородность образцов, разрушать образцы нельзя, поэтому просто делаем несколько измерений.

Петька, приборы? 13!

Вам интересна только стабильность получающихся в вашей лаборатории образцов, или вы хотите сравнивать получаемые цифры с какими-то физико-химическими моделями? Если сравнивать - то важно ещё и как получаемые цифры согласуются с иными областями науки.

Да, стандартный путь - вы отдельно оцениваете случайные погрешности измерений каждого метода, используя оценённые по большому числу различных измерений погрешности для оценки значимости нового измерения. Что правило порядка, что правило шести сигм гарантируют некоторый запас уверенности в том, что обнаруженное различие неслучайно. Тонкие статистические критерии типа уровня значимости 5% таких гарантий не дают и ими легко воспользоваться неправильно.