2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6  След.
 
 Re: равенство нескольких средних
Сообщение26.09.2023, 08:56 
Заслуженный участник
Аватара пользователя


11/03/08
10006
Москва
Как-то я привык нулевой гипотезой почитать "отсутствие эффекта" и т.п. А наличие различий - альтернативной. Впрочем, с интересом увижу ссылки на предложенное Вами употребление. При этом выбор того, что считать нулевой, что альтернативной гипотезой в большинстве случаев несимметричен. "Нулевая" задаётся точно ("разница равна нулю"), а альтернативная обыкновенно в виде множества значений, и тогда имеет смысл, для расчёта мощности критерия, задавать конкретное значение.
Если же задавать вероятности различных вариантов альтернативной гипотезы, мы переходим к Байесу. И начинаем зависеть от выбора априорных вероятностей. Ещё более глубокий анализ учитывает цены ошибок. Но чтобы использовать его, надо, помимо цен ошибок I и II рода, нужны и априорные вероятности.
Но ничего этого у нас нет, так что остаётся работать в парадигме обычной проверки гипотез, Фишера с Пирсоном.

-- 26 сен 2023, 09:55 --

AndreyL в сообщении #1610856 писал(а):
Да, пока получается, что если в качестве весов использовать $w_i=1/\sigma_i^2$, то оценка среднего $a=\frac{1}{\sum _{i=1}^n w_i}\sum _{i=1}^n X_i w_i$ минимизирует сумму $\chi^2=\sum _{i=1}^n \frac{(X_i-a)^2}{\sigma_i ^2}$, которая, по идее, должна подчиняться $\chi_{n-1}^2$. Подскажите, пожалуйста, это совсем очевидно, или лучше на что нибудь сослаться? Справедлива ли здесь лемма Фишера, съедающая одну степень свободы при оценке среднего по выборке?


Похоже, что справедлива. Чисто геометрически - нормированные отклонения имеют распределения $N(0,1)$, сумма их квадратов имеет хи-квадрат распределение, но так как матожидание считаем через взвешенное среднее, то отклонения от него удовлетворяют линейному соотношению, то есть пространство, в котором они лежат, не n-мерное, а $n-1$, так что одна С.С. скушана. И берём обычные таблицы $\chi^2$.

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение26.09.2023, 14:18 


27/08/16
10477
Евгений Машеров в сообщении #1611346 писал(а):
Как-то я привык нулевой гипотезой почитать "отсутствие эффекта" и т.п. А наличие различий - альтернативной.
Ну да. Гипотеза, которую мы проверяем - что величины получены измерением одного параметра. А альтернативная гипотеза - что разных не связанных. Но углубляться в это не хочу.

Евгений Машеров в сообщении #1611346 писал(а):
Если же задавать вероятности различных вариантов альтернативной гипотезы, мы переходим к Байесу. И начинаем зависеть от выбора априорных вероятностей. Ещё более глубокий анализ учитывает цены ошибок. Но чтобы использовать его, надо, помимо цен ошибок I и II рода, нужны и априорные вероятности.
Но ничего этого у нас нет, так что остаётся работать в парадигме обычной проверки гипотез, Фишера с Пирсоном.
Ну да. Байес позволяет честно оценить апостериорные вероятности гипотез. А статистические критерии выдают какое-то число. Более интересно, почему и в каких условиях эти приближенные критерии работают не сильно врут? Видимо, когда альтернативные гипотезы дают широкий, но более-менее равновероятный разброс значений. А проверяемая гипотеза имеет быстро убывающие хвосты, и, поэтому, точное значение порога не критично. Плюс её априорная вероятность не сильно мала: "экстраординарные утверждения требуют экстраординарных доказательств".

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение30.09.2023, 18:05 


27/10/09
602
Я отвлекся, а тут серьезное обсуждение – извиняюсь.
По порядку – основной вопрос, как интерпретируются дисперсии $\sigma_i^2$. Это дисперсии единичных измерений, измерения ведутся с большой погрешностью, значительно превышающую генеральную дисперсию, поэтому делается несколько измерений по нескольким объектам, взятым из одного и того же места. Погрешность единичного измерения считается нормальной с центром в истинном среднем (неизвестном) и точной дисперсией $\sigma_i^2$. Но не исключено, что истинных средних несколько – в выборку попали пробы из разных мест. Когда средние сильно различаются их хорошо видно по полимодальному распределению. А когда распределение унимодальное нужно понять, одна и та же величина измеряется (тогда смысл имеет только среднее), или разные (тогда можно интерпретировать весь спектр значений).
Попробовал Монте-Карлой вариант $\chi^2=\sum _{i=1}^n \frac{(X_i-a)^2}{\sigma_i ^2}$, где $a=\frac{1}{\sum _{i=1}^n w_i}\sum _{i=1}^n X_i w_i$ и $w_i=1/\sigma_i^2$ - действительно подчиняется $\chi_{n-1}^2$ при любых объемах выборок. Не совсем понял, почему при малых объемах выборок «надо учесть, что оценка среднего зависит от ошибок наблюдений, и делить надо на величину, зависящую от всех $\sigma_i$»
Интересным представляется вариант «оценивать отклонение не от общей оценки, а от оценки, полученной по всем прочим». Тогда $\chi^2=\sum _{i=1}^n \frac{(X_i-a_i)^2}{\sigma_i ^2}$, где $a_i$ - такая же взвешенная оценка среднего, но по выборке без $X_i$. По идее должна подчиняться $\chi_{n}^2$. Монте-Карло показывает, что такая величина вообще не подчиняется $\chi^2$
Но тут получается, что $X_i$ и $a_i$ независимы и обе величины распределены нормально с дисперсиями $\sigma_i ^2$ и $\frac{1}{\left(\sum _{j=1}^{n} \frac{1}{\sigma (j)^2}\right)-\frac{1}{\sigma (i)^2}}$. Или я ошибаюсь? Почему-то тест не проходит, при малых объемах выборок близко, но не совсем то, при больших нормально, но интерес представляют любые объемы выборок.
Еще попробовал вариант $$F(n-1,\infty)=\frac{\sum_{i=1}^n(X_i-\mu_X)^2}{\sum_{i=1}^n\sigma_i^2}$$ с оценкой среднего как средневзвешенного. Ту можно учесть, что если $f$ подчиняется $F(n-1,\infty) $, то $ (n-1) f$ подчиняется $\chi_{n-1}^2$. Тест Монте-Карло тоже не получается. Оно интуитивно понятно – погрешность $X_i$ зависит от $\sigma_i$, чего в числителе не учитывается.

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение30.09.2023, 19:25 


27/10/09
602
Проверил Монте-Карлой. что если есть есть $n$ измерений $X_i$ со стандартными отклонениями $\sigma_i$, и есть еще одно измерение $y$ со стандартным отклонением $\sigma_y$, то $\chi^2= \frac{(y-\mu)^2}{\sigma_ y ^2+\frac{1}{\sum _{j=1}^{n} \frac{1}{\sigma (j)^2}}}$ подчиняется $\chi_{1}^2$, где $\mu$ считается как средевзвешенное по $X$, все распределения нормальные с одинаковыми центрами.
Единственное, что могу предположить, что в случае, когда $X$ и $y$ берутся из одной выборки для каждого элемента этой выборки, то величины $\chi^2= \frac{(y-\mu)^2}{\sigma_ y ^2+\frac{1}{\sum _{j=1}^{n} \frac{1}{\sigma (j)^2}}}$ не являются независимыми

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение30.09.2023, 19:56 
Заслуженный участник
Аватара пользователя


11/03/08
10006
Москва
AndreyL в сообщении #1611853 писал(а):
Не совсем понял, почему при малых объемах выборок «надо учесть, что оценка среднего зависит от ошибок наблюдений, и делить надо на величину, зависящую от всех $\sigma_i$»


Это было моё предположение, но я проверил, и признал его неверным. Там n-1 степень свободы.

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение30.09.2023, 20:02 


27/10/09
602
Евгений Машеров в сообщении #1611860 писал(а):
Это было моё предположение, но я проверил, и признал его неверным. Там n-1 степень свободы.
К сожалению, не получается для n-1 степеней свободы. При больших объемах выборок лучше n степеней свободы, а при малых вообще не получается, даже если подбирать количество степеней свободы - это вообще не хи-квадрат.

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение30.09.2023, 23:17 


27/08/16
10477
AndreyL в сообщении #1611853 писал(а):
Но не исключено, что истинных средних несколько – в выборку попали пробы из разных мест.
Может быть правильнее решать задачу организационно, выстроив систему забора проб таким образом, чтобы в одну выборку не попадали пробы из разных мест? Ну а в качестве теста проверять хи-квадратом, не велик ли разброс, и заставлять всё перемерять, если велик? Потому что чем больше рассматривается конкурирующих гипотез - тем проще выбрать лажу за истину.

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение01.10.2023, 05:08 


27/10/09
602
realeugene в сообщении #1611885 писал(а):
AndreyL в сообщении #1611853 писал(а):
Но не исключено, что истинных средних несколько – в выборку попали пробы из разных мест.
Может быть правильнее решать задачу организационно, выстроив систему забора проб таким образом, чтобы в одну выборку не попадали пробы из разных мест?
Очень бы хотелось, но к сожалению реализовать это может только Создатель - сами изучаемые объекты по природе могут быть гомогенными или полигенными, собственно это и нужно понять.

-- Вс окт 01, 2023 4:26 am --

Проверил Монте-Карлой вариант с одинаковыми дисперсиями, тогда статистика $\chi^2= \frac{(X_i-\mu_i)^2}{\frac{n}{n-1}\sigma^2}$, но все равно не получается хи-квадрат распределение, ни при каких степенях свободы.

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение01.10.2023, 13:14 


27/08/16
10477
AndreyL в сообщении #1611899 писал(а):
Очень бы хотелось, но к сожалению реализовать это может только Создатель - сами изучаемые объекты по природе могут быть гомогенными или полигенными, собственно это и нужно понять.
И молитвы не помогают?

Обратитесь к святому Байесу. А он проповедует, что чем больше мы знаем про альтернативные гипотезы - тем точнее мы можем сделать выбор, минимизировав ожидаемую стоимость ошибки.
Ваш тест на совпадение средних ничего не говорит про гипотезы с разными средними. Может быть, там просто уатлайнеры. Или ещё что-либо.

AndreyL в сообщении #1611899 писал(а):
Проверил Монте-Карлой вариант с одинаковыми дисперсиями, тогда статистика $\chi^2= \frac{(X_i-\mu_i)^2}{\frac{n}{n-1}\sigma^2}$, но все равно не получается хи-квадрат распределение, ни при каких степенях свободы.
До конца расписывать не буду, как очевидная идея по памяти. Хи-квадрат - это статистика суммы квадратов равномерно распределённых гауссовых случайных величин с нулевым матожиданием и единичной дисперсией. Ваши величины $X_i-\mu_i$ имеют нулевое матожидание, они совместно гауссовы, но они более не независимы. Их матрица ковариации содержит внедиагональные элементы, она - квадратичная форма, оси эллипсоида которой как-то повёрнуты. Прежде, чем его масштабировать к единичным дисперсиям и суммировать, его нужно повернуть к главным осям, диагонализовав ковариационную матрицу.

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение01.10.2023, 13:52 


27/10/09
602
realeugene в сообщении #1611922 писал(а):
До конца расписывать не буду, как очевидная идея по памяти. Хи-квадрат - это статистика суммы квадратов равномерно распределённых гауссовых случайных величин с нулевым матожиданием и единичной дисперсией. Ваши величины $X_i-\mu_i$ имеют нулевое матожидание, они совместно гауссовы, но они более не независимы. Их матрица ковариации содержит внедиагональные элементы, она - квадратичная форма, оси эллипсоида которого как-то повёрнуты. Прежде, чем его масштабировать к единичным дисперсиям и суммировать, его нужно повернуть к главным осям, диагонализовав ковариационную матрицу.
Вот я и спрашивал про справедливость леммы Фишера, точнее, ее применимость в этом случае. Для случая одой оценки среднего по всем данным лемма Фишера применима, а как для случая с оценками среднего по всем остальным элементам выборки? И как диагонализировать ковариационную матрицу?

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение01.10.2023, 14:06 


27/08/16
10477
AndreyL в сообщении #1611925 писал(а):
И как диагонализировать ковариационную матрицу?
Разобрав её на части при помощи сингулярного разложения и сконструировав из её частей матрицу линейного преобразования ваших случайных величин, порождающего вектор независимых гауссовых случайных величин с единичной ковариационной матрицей. Запишите матричные уравнения и решите. Ввиду симметрии ковариационной матрицы, матрицы поворота в её сингулярном разложении равны друг другу.

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение01.10.2023, 14:17 


27/10/09
602
А как найти ковариационную матрицу а общем виде, без чисел?

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение01.10.2023, 14:26 


27/08/16
10477
Через её определение.

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение01.10.2023, 15:15 


27/10/09
602
Для этого нужно знать закон совместного распределения всех $X_i-\mu_i$, а как его найти?

 Профиль  
                  
 
 Re: равенство нескольких средних
Сообщение01.10.2023, 15:21 


27/08/16
10477
Произвольное линейное преобразование случайного вектора с многомерным гауссовым распределением даёт случайный вектор с многомерным гауссовым распределением, ковариационная матрица которого связана очень просто с ковариационной матрицей исходного вектора.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 81 ]  На страницу Пред.  1, 2, 3, 4, 5, 6  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: katzenelenbogen, MGM


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group