равенство нескольких средних

[Евгений Машеров]

Как-то я привык нулевой гипотезой почитать "отсутствие эффекта" и т.п. А наличие различий - альтернативной. Впрочем, с интересом увижу ссылки на предложенное Вами употребление. При этом выбор того, что считать нулевой, что альтернативной гипотезой в большинстве случаев несимметричен. "Нулевая" задаётся точно ("разница равна нулю"), а альтернативная обыкновенно в виде множества значений, и тогда имеет смысл, для расчёта мощности критерия, задавать конкретное значение.
Если же задавать вероятности различных вариантов альтернативной гипотезы, мы переходим к Байесу. И начинаем зависеть от выбора априорных вероятностей. Ещё более глубокий анализ учитывает цены ошибок. Но чтобы использовать его, надо, помимо цен ошибок I и II рода, нужны и априорные вероятности.
Но ничего этого у нас нет, так что остаётся работать в парадигме обычной проверки гипотез, Фишера с Пирсоном.

-- 26 сен 2023, 09:55 --

AndreyL в сообщении #1610856 писал(а):

Да, пока получается, что если в качестве весов использовать $w_i=1/\sigma_i^2$, то оценка среднего $a=\frac{1}{\sum _{i=1}^n w_i}\sum _{i=1}^n X_i w_i$ минимизирует сумму $\chi^2=\sum _{i=1}^n \frac{(X_i-a)^2}{\sigma_i ^2}$, которая, по идее, должна подчиняться $\chi_{n-1}^2$. Подскажите, пожалуйста, это совсем очевидно, или лучше на что нибудь сослаться? Справедлива ли здесь лемма Фишера, съедающая одну степень свободы при оценке среднего по выборке?

Похоже, что справедлива. Чисто геометрически - нормированные отклонения имеют распределения $N(0,1)$, сумма их квадратов имеет хи-квадрат распределение, но так как матожидание считаем через взвешенное среднее, то отклонения от него удовлетворяют линейному соотношению, то есть пространство, в котором они лежат, не n-мерное, а $n-1$, так что одна С.С. скушана. И берём обычные таблицы $\chi^2$.

[realeugene]

Евгений Машеров в сообщении #1611346 писал(а):

Как-то я привык нулевой гипотезой почитать "отсутствие эффекта" и т.п. А наличие различий - альтернативной.

Ну да. Гипотеза, которую мы проверяем - что величины получены измерением одного параметра. А альтернативная гипотеза - что разных не связанных. Но углубляться в это не хочу.

Евгений Машеров в сообщении #1611346 писал(а):

Если же задавать вероятности различных вариантов альтернативной гипотезы, мы переходим к Байесу. И начинаем зависеть от выбора априорных вероятностей. Ещё более глубокий анализ учитывает цены ошибок. Но чтобы использовать его, надо, помимо цен ошибок I и II рода, нужны и априорные вероятности.
Но ничего этого у нас нет, так что остаётся работать в парадигме обычной проверки гипотез, Фишера с Пирсоном.

Ну да. Байес позволяет честно оценить апостериорные вероятности гипотез. А статистические критерии выдают какое-то число. Более интересно, почему и в каких условиях эти приближенные критерии работают не сильно врут? Видимо, когда альтернативные гипотезы дают широкий, но более-менее равновероятный разброс значений. А проверяемая гипотеза имеет быстро убывающие хвосты, и, поэтому, точное значение порога не критично. Плюс её априорная вероятность не сильно мала: "экстраординарные утверждения требуют экстраординарных доказательств".

[AndreyL]

Я отвлекся, а тут серьезное обсуждение – извиняюсь.
По порядку – основной вопрос, как интерпретируются дисперсии $\sigma_i^2$. Это дисперсии единичных измерений, измерения ведутся с большой погрешностью, значительно превышающую генеральную дисперсию, поэтому делается несколько измерений по нескольким объектам, взятым из одного и того же места. Погрешность единичного измерения считается нормальной с центром в истинном среднем (неизвестном) и точной дисперсией $\sigma_i^2$. Но не исключено, что истинных средних несколько – в выборку попали пробы из разных мест. Когда средние сильно различаются их хорошо видно по полимодальному распределению. А когда распределение унимодальное нужно понять, одна и та же величина измеряется (тогда смысл имеет только среднее), или разные (тогда можно интерпретировать весь спектр значений).
Попробовал Монте-Карлой вариант $\chi^2=\sum _{i=1}^n \frac{(X_i-a)^2}{\sigma_i ^2}$, где $a=\frac{1}{\sum _{i=1}^n w_i}\sum _{i=1}^n X_i w_i$ и $w_i=1/\sigma_i^2$ - действительно подчиняется $\chi_{n-1}^2$ при любых объемах выборок. Не совсем понял, почему при малых объемах выборок «надо учесть, что оценка среднего зависит от ошибок наблюдений, и делить надо на величину, зависящую от всех $\sigma_i$»
Интересным представляется вариант «оценивать отклонение не от общей оценки, а от оценки, полученной по всем прочим». Тогда $\chi^2=\sum _{i=1}^n \frac{(X_i-a_i)^2}{\sigma_i ^2}$, где $a_i$ - такая же взвешенная оценка среднего, но по выборке без $X_i$. По идее должна подчиняться $\chi_{n}^2$. Монте-Карло показывает, что такая величина вообще не подчиняется $\chi^2$
Но тут получается, что $X_i$ и $a_i$ независимы и обе величины распределены нормально с дисперсиями $\sigma_i ^2$ и $\frac{1}{\left(\sum _{j=1}^{n} \frac{1}{\sigma (j)^2}\right)-\frac{1}{\sigma (i)^2}}$. Или я ошибаюсь? Почему-то тест не проходит, при малых объемах выборок близко, но не совсем то, при больших нормально, но интерес представляют любые объемы выборок.
Еще попробовал вариант

$$F(n-1,\infty)=\frac{\sum_{i=1}^n(X_i-\mu_X)^2}{\sum_{i=1}^n\sigma_i^2}$$

с оценкой среднего как средневзвешенного. Ту можно учесть, что если $f$ подчиняется $F(n-1,\infty) $, то $ (n-1) f$ подчиняется $\chi_{n-1}^2$. Тест Монте-Карло тоже не получается. Оно интуитивно понятно – погрешность $X_i$ зависит от $\sigma_i$, чего в числителе не учитывается.

[AndreyL]

Проверил Монте-Карлой. что если есть есть $n$ измерений $X_i$ со стандартными отклонениями $\sigma_i$, и есть еще одно измерение $y$ со стандартным отклонением $\sigma_y$, то $\chi^2= \frac{(y-\mu)^2}{\sigma_ y ^2+\frac{1}{\sum _{j=1}^{n} \frac{1}{\sigma (j)^2}}}$ подчиняется $\chi_{1}^2$, где $\mu$ считается как средевзвешенное по $X$, все распределения нормальные с одинаковыми центрами.
Единственное, что могу предположить, что в случае, когда $X$ и $y$ берутся из одной выборки для каждого элемента этой выборки, то величины $\chi^2= \frac{(y-\mu)^2}{\sigma_ y ^2+\frac{1}{\sum _{j=1}^{n} \frac{1}{\sigma (j)^2}}}$ не являются независимыми

[Евгений Машеров]

AndreyL в сообщении #1611853 писал(а):

Не совсем понял, почему при малых объемах выборок «надо учесть, что оценка среднего зависит от ошибок наблюдений, и делить надо на величину, зависящую от всех $\sigma_i$»

Это было моё предположение, но я проверил, и признал его неверным. Там n-1 степень свободы.

[AndreyL]

Евгений Машеров в сообщении #1611860 писал(а):

Это было моё предположение, но я проверил, и признал его неверным. Там n-1 степень свободы.

К сожалению, не получается для n-1 степеней свободы. При больших объемах выборок лучше n степеней свободы, а при малых вообще не получается, даже если подбирать количество степеней свободы - это вообще не хи-квадрат.

[realeugene]

AndreyL в сообщении #1611853 писал(а):

Но не исключено, что истинных средних несколько – в выборку попали пробы из разных мест.

Может быть правильнее решать задачу организационно, выстроив систему забора проб таким образом, чтобы в одну выборку не попадали пробы из разных мест? Ну а в качестве теста проверять хи-квадратом, не велик ли разброс, и заставлять всё перемерять, если велик? Потому что чем больше рассматривается конкурирующих гипотез - тем проще выбрать лажу за истину.

[AndreyL]

realeugene в сообщении #1611885 писал(а):

AndreyL в сообщении #1611853 писал(а):

Но не исключено, что истинных средних несколько – в выборку попали пробы из разных мест.

Может быть правильнее решать задачу организационно, выстроив систему забора проб таким образом, чтобы в одну выборку не попадали пробы из разных мест?

Очень бы хотелось, но к сожалению реализовать это может только Создатель - сами изучаемые объекты по природе могут быть гомогенными или полигенными, собственно это и нужно понять.

-- Вс окт 01, 2023 4:26 am --

Проверил Монте-Карлой вариант с одинаковыми дисперсиями, тогда статистика $\chi^2= \frac{(X_i-\mu_i)^2}{\frac{n}{n-1}\sigma^2}$, но все равно не получается хи-квадрат распределение, ни при каких степенях свободы.

[realeugene]

AndreyL в сообщении #1611899 писал(а):

Очень бы хотелось, но к сожалению реализовать это может только Создатель - сами изучаемые объекты по природе могут быть гомогенными или полигенными, собственно это и нужно понять.

И молитвы не помогают?

Обратитесь к святому Байесу. А он проповедует, что чем больше мы знаем про альтернативные гипотезы - тем точнее мы можем сделать выбор, минимизировав ожидаемую стоимость ошибки.
Ваш тест на совпадение средних ничего не говорит про гипотезы с разными средними. Может быть, там просто уатлайнеры. Или ещё что-либо.

AndreyL в сообщении #1611899 писал(а):

Проверил Монте-Карлой вариант с одинаковыми дисперсиями, тогда статистика $\chi^2= \frac{(X_i-\mu_i)^2}{\frac{n}{n-1}\sigma^2}$, но все равно не получается хи-квадрат распределение, ни при каких степенях свободы.

До конца расписывать не буду, как очевидная идея по памяти. Хи-квадрат - это статистика суммы квадратов равномерно распределённых гауссовых случайных величин с нулевым матожиданием и единичной дисперсией. Ваши величины $X_i-\mu_i$ имеют нулевое матожидание, они совместно гауссовы, но они более не независимы. Их матрица ковариации содержит внедиагональные элементы, она - квадратичная форма, оси эллипсоида которой как-то повёрнуты. Прежде, чем его масштабировать к единичным дисперсиям и суммировать, его нужно повернуть к главным осям, диагонализовав ковариационную матрицу.

[AndreyL]

realeugene в сообщении #1611922 писал(а):

До конца расписывать не буду, как очевидная идея по памяти. Хи-квадрат - это статистика суммы квадратов равномерно распределённых гауссовых случайных величин с нулевым матожиданием и единичной дисперсией. Ваши величины $X_i-\mu_i$ имеют нулевое матожидание, они совместно гауссовы, но они более не независимы. Их матрица ковариации содержит внедиагональные элементы, она - квадратичная форма, оси эллипсоида которого как-то повёрнуты. Прежде, чем его масштабировать к единичным дисперсиям и суммировать, его нужно повернуть к главным осям, диагонализовав ковариационную матрицу.

Вот я и спрашивал про справедливость леммы Фишера, точнее, ее применимость в этом случае. Для случая одой оценки среднего по всем данным лемма Фишера применима, а как для случая с оценками среднего по всем остальным элементам выборки? И как диагонализировать ковариационную матрицу?

[realeugene]

AndreyL в сообщении #1611925 писал(а):

И как диагонализировать ковариационную матрицу?

Разобрав её на части при помощи сингулярного разложения и сконструировав из её частей матрицу линейного преобразования ваших случайных величин, порождающего вектор независимых гауссовых случайных величин с единичной ковариационной матрицей. Запишите матричные уравнения и решите. Ввиду симметрии ковариационной матрицы, матрицы поворота в её сингулярном разложении равны друг другу.

[AndreyL]

А как найти ковариационную матрицу а общем виде, без чисел?

[realeugene]

Через её определение.

[AndreyL]

Для этого нужно знать закон совместного распределения всех $X_i-\mu_i$, а как его найти?

[realeugene]

Произвольное линейное преобразование случайного вектора с многомерным гауссовым распределением даёт случайный вектор с многомерным гауссовым распределением, ковариационная матрица которого связана очень просто с ковариационной матрицей исходного вектора.