равенство нескольких средних

[Евгений Машеров]

Тут, разумеется, топикстартер должен уточнить постановку задачи, иначе будет много остроумных, но бесполезных предложений, основанных на домысливании условий. Лично мне представляется так: есть ряд измерений, сделанных приборами разного класса точности, причём принято, что оценка параметра на данном приборе несмещённая, но отягощена случайной ошибкой с известной дисперсией. Дисперсия данного прибора не есть случайная величина, а детерминирована, скажем, берётся из паспорта прибора. Необходимо установить, одну и ту же ли величину мы измеряем, найти вероятность ошибки, в случае если примем за одну и ту же, и оценить значение этой величины.

[realeugene]

Какая тут нулевая гипотеза, и какое распределение величин она даёт?

[Евгений Машеров]

Полагаю, что у нас есть набор нормально распределённых величин, имеющих одинаковое матожидание $\mu$ и разные, но известные точно, дисперсии отклонений от МО $\sigma_i^2$
Для известного $\mu$ ответ понятен, отклонения от $\mu$ делим на $\sigma_i$ и возводим в квадрат. Сумма квадратов должна иметь распределение $\chi^2$ c n степенями свободы.
Если $\mu$ неизвестно, надо использовать его оценку, и тут "возможны варианты", поскольку взвешенное среднее и надо учитывать наличие весов.

[realeugene]

Так как про нулевую гипотезу не известно ничего, единственный разумный путь - предположить, что распределение нулевой гипотезы не слишком кривое, максимизировать правдоподобие полученного результата по $\mu$ и сравнить с некоторым настраиваемым фиксированным порогом.

Если измерения независимые, то логарифмическое правдоподобие сведётся к взвешенной сумме квадратов отклонений от $\mu$. Слегка модифицированный метод наименьших квадратов решит эту задачу.

[Евгений Машеров]

А что есть "распределение нулевой гипотезы"? Она, вообще-то, не случайная величина и фигурыраспределения не имеет.

[realeugene]

Евгений Машеров в сообщении #1611229 писал(а):

А что есть "распределение нулевой гипотезы"? Она, вообще-то, не случайная величина и фигурыраспределения не имеет.

Измерения в случае реализации нулевой гипотезы - случайные величины с некоторым другим распределением.

И, кстати, просто максимизация по $\mu$ - это тоже банальное следствие того, что про его априорное распределение вероятности мы не знаем ничего, но предполагаем, что в окрестности его реализованного значения плотность его распределения вероятности постоянна и она не влияет на максимум правдоподобия. Остаётся вопрос только порога принятия решения, но его без анализа нулевой гипотезы рассчитать всё равно невозможно, и нужно подбирать.

[ozheredov]

realeugene в сообщении #1611231 писал(а):

но предполагаем, что в окрестности его реализованного значения плотность его распределения вероятности постоянна и она не влияет на максимум правдоподобия

Небольшой комментарий: верно то же самое при более слабых условиях, когда плотность не постоянна, а линейна в окрестности его реализованного значения.

Пы.Сы.: восприятие параметра распределения как случайной величины мне очень нравится, но являестя "неклассическим", так что ща буит критика from Евгений Машеров.

[realeugene]

ozheredov в сообщении #1611245 писал(а):

Небольшой комментарий: верно то же самое при более слабых условиях, когда плотность не постоянна, а линейна в окрестности его реализованного значения.

Разве перекошенное распределение $\mu$ не сдвинет максимум функции правдоподобия по $\mu$?

[ozheredov]

realeugene в сообщении #1611250 писал(а):

Разве перекошенное распределение $\mu$ не сдвинет максимум функции правдоподобия по $\mu$?

Блин, точно, туплю:

$$L(m|x) = Cp_{\xi|\mu}(x,m)p_{\mu}(m)$$

$$p_{\mu}(m) = a + K(m - m_0)$$

$$L(m|x) = aCp_{\xi|\mu}(x,m) + KC(m - m_0)p_{\xi|\mu}(x,m)$$

А жаль, сильное утверждение могло бы получиться

[Евгений Машеров]

Идея рассматривать параметр, как случайную величину, сильна, сразу приходит Св.Байес и все присные его, но откуда брать априорное распределение? И откуда брать уверенность, что наш ответ не определяется выбранным априорным распределением более, чем данными?
"Общее МО" оцениваю, как
$\hat{\mu}=\frac{\sum x_i/\sigma_i^2}{\sum 1/\sigma_i^2}$
И, КМК, величина $\chi^2=\sum \frac{(x_i-\hat{\mu})^2}{\sigma_i^2}$ должна иметь хи-квадрат распределение с (n-1) С.С. Надо бы аккуратно расписать и проверить, но вдруг кто сделает?

[realeugene]

Евгений Машеров в сообщении #1611309 писал(а):

Идея рассматривать параметр, как случайную величину, сильна, сразу приходит Св.Байес и все присные его, но откуда брать априорное распределение? И откуда брать уверенность, что наш ответ не определяется выбранным априорным распределением более, чем данными?

А ниоткуда. Просто надеяться на чудо заметить, что часто такой подход успешно работает, и у нас всё равно не из чего особо выбирать в такой сильно недоопределённой задаче.

-- 25.09.2023, 18:52 --

Евгений Машеров в сообщении #1611309 писал(а):

И, КМК, величина

Так критерий выбора гипотезы какой будет в результате? Посчитать логарифмическую функцию правдоподобия и сравнить с порогом?

[Евгений Машеров]

Думается, проще. Вычислили статистику критерия хи-квадрат и сравнили с критическим значением для данного числа степеней свободы.

[realeugene]

Евгений Машеров в сообщении #1611312 писал(а):

Вычислили статистику критерия хи-квадрат и сравнили с критическим значением для данного числа степеней свободы.

Так хи-квадрат и выглядит как логарифмическая функция правдоподобия для этой задачи (ошибки измерения независимые с гауссовыми распределениями с разными известными дисперсиями), а вот как вы предлагаете выбирать порог без анализа нулевой гипотезы - это любопытно.

[Евгений Машеров]

Так нулевая гипотеза тут очевидна. Матожидания для всех измерений равны. Соответственно, статистика имеет распределение хи-квадрат (и похоже, $n-1$ степеней свободы тут получается чисто геометрически, без выкладок - n независимых случайных величин с единичной, после деления на $\sigma_i$, дисперсией, но наложено одно линейное ограничение, следующее из выражения для оценки $\mu$, так что они принадлежат пространству размерности $n-1$ ). Смотрим критические значения для этого числа степеней свободы и заданного уровня значимости и сравниваем.

[realeugene]

Евгений Машеров в сообщении #1611318 писал(а):

Так нулевая гипотеза тут очевидна. Матожидания для всех измерений равны.

А, тут возникла некоторая терминологическая путаница. Действительно, в критерии Пирсона нулевой гипотезой называют тестируемую гипотезу. Однако в других местах нулевой гипотезой часто называется гипотеза, противоположная тестируемой гипотезе. В данном случае, в этом смысле нулевая гипотеза - это гипотеза об отсутствии общего математического ожидания измерений. Для выбора лучшей их двух гипотез следует сравнить отношение правдоподобия (условных вероятностей получить измеренные значения для двух гипотез) с фиксированным порогом. Этот критерий при правильном выборе порога принятия решения минимизирует вероятность (или же стоимость, для произвольно выбранных стоимостей ошибок) ошибочного решения. Критерий Пирсона не учитывает условные вероятности альтернативной гипотезы и, поэтому, не может быть точным. В каких условиях он даёт приемлемые результаты - нужно подумать.