2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Статистический критерий
Сообщение15.01.2015, 21:43 


29/12/09
251
Привет, всем!

Подскажите, пожалуйста, какой статистический критерий нужно применить для следующей задачи. Есть три заданных закона распределения и случайная выборка. Нужно определить с какой вероятностью выборка принадлежит каждому из трех законов распределения, причем сумма вероятностей должна равняться единице. Как определить вероятность того, что выборка принадлежит одному из распределений, я примерно догадываюсь (нужно применить Критерий Колмогорова или любой другой из критериев согласия). А вот как поступить, если заранее известно, что выборка принадлежит одному из трех распределений и чтобы сумма трех вероятностей получилась единице, я не понимаю.

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение15.01.2015, 21:55 
Заслуженный участник
Аватара пользователя


11/03/08
5940
Москва
Байес не поможет?

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение15.01.2015, 22:47 


29/12/09
251
Т.е. сначала получить вероятность принадлежности выборки к каждому из распределений по критерию согласия $\alpha_1, \alpha_2, \alpha_3$, а потом просто взять получить новые вероятности по формуле $p_i=\frac{\alpha_i}{\alpha_1+ \alpha_2+ \alpha_3}$?

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение16.01.2015, 08:32 
Заслуженный участник
Аватара пользователя


23/11/06
3968
Никакие критерии согласия не дают вероятностей того, что проверяемая гипотеза верна. Вы хотите использовать реально достигнутые уровни значимости в роли таких вероятностей? Они совсем иное показывают: $\alpha_i$ - вероятность для выборки из распределения $\mathcal F_i$ получить худшее согласие с гипотезой $\mathcal F=\mathcal F_i$, чем по тестируемой выборке.
Чтобы вообще можно было говорить о вероятностях, с которыми гипотеза верна, слова "верна такая-то гипотеза" должны стать событиями, т.е. им следует приписать некие априорные вероятности $r_1,\,r_2,\,r_3$ в отдельном эксперименте. Допустим, приписали. Но дробь $\frac{\alpha_i}{\alpha_1+\alpha_2+\alpha_3}$ составлена из одних условных вероятностей: если, скажем, критерий непараметрический, значение статистики критерия на данной числовой выборке для распределения $\mathcal F_i$ есть $\rho_i^*$ и с.в. $\eta$ имеет такое же распределение, как статистика критерия при верной основной гипотезе (одно и то же для всех трёх гипотез), то
$$\alpha_i = \mathsf P(\eta > \rho_i^*)= \mathsf P(\eta > \rho^*\,|\,H_i),$$
где $\rho^*$ есть гипотетическая "усреднённая статистика критерия", которая с вероятностью $r_i$ равна $\rho_i^*$.

Т.е. дробь
$$\dfrac{\alpha_i}{\alpha_1+\alpha_2+\alpha_3} = \dfrac{\mathsf P(\eta > \rho^*\,|\,H_i)}{\mathsf P(\eta > \rho^*\,|\,H_1)+\mathsf P(\eta > \rho^*\,|\,H_2)+\mathsf P(\eta > \rho^*\,|\,H_3)}$$
вычисляет что-то по формуле Байеса только в случае $r_1=r_2=r_3=\frac13$, т.е. когда априори гипотезы равновозможны. Но и в этом случае она вычисляет не вероятность того, что выборка взята из $i$-го распределения, а вероятность, взяв выборку равновозможно из любого из трёх распределений, получить по ней худшее согласие с проверяемыми тремя гипотезами, чем по тестируемой числовой выборке.

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение16.01.2015, 09:16 
Заслуженный участник
Аватара пользователя


11/03/08
5940
Москва
alexey007 в сообщении #962828 писал(а):
Т.е. сначала получить вероятность принадлежности выборки к каждому из распределений по критерию согласия $\alpha_1, \alpha_2, \alpha_3$, а потом просто взять получить новые вероятности по формуле $p_i=\frac{\alpha_i}{\alpha_1+ \alpha_2+ \alpha_3}$?


Никак нет. Критерии согласия не дают "вероятности принадлежности к выборке".
Я скорее имел в виду нечто такое:
Считается вероятность получить для каждого распределения данные значения в выборке. Действительно вероятность получится для дискретного распределения, она равна $P_k= \Pi p_k(x_i)$, для непрерывного распределения, для непрерывных, перемножив плотности вероятности, вероятность не получим, но можно интерпретировать, как величину, пропорциональную вероятности попасть в некий интервал $(x-\Delta x; x+\Delta x)$. Затем эти вероятности подставляются в формулу Байеса в качестве $P(A|B_k)$, априорные вероятности $P(B_k)$ можно принять равными, если иное недоступно, и считаем $P(B_k|A)$

(Оффтоп)

Что-то подобное успешно работало в созданной некогда системе медицинской диагностики, триумфом которой был диагноз, правильно поставленный жене декана медина после того, как она полгода обследовалась, и ничего ясно не было. Впрочем, дело не в Мощи Науки, а в том, что врачи сложно болеют - они много знают о болезнях, и в простые диагнозы не верят, а тупая программа этим не отягощена;)

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение16.01.2015, 14:31 
Аватара пользователя


21/01/09
3123
Дивногорск
alexey007 в сообщении #962784 писал(а):
Есть три заданных закона распределения и случайная выборка. Нужно определить с какой вероятностью выборка принадлежит каждому из трех законов распределения, причем сумма вероятностей должна равняться единице.

Для этого нужен достаточно значимый накопленный статистический материал. Он у вас есть?
alexey007 в сообщении #962784 писал(а):
Как определить вероятность того, что выборка принадлежит одному из распределений, я примерно догадываюсь (нужно применить Критерий Колмогорова или любой другой из критериев согласия).

Боюсь, что нет.

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение20.01.2015, 20:40 


29/12/09
251
Александрович в сообщении #963087 писал(а):
alexey007 в сообщении #962784 писал(а):
Есть три заданных закона распределения и случайная выборка. Нужно определить с какой вероятностью выборка принадлежит каждому из трех законов распределения, причем сумма вероятностей должна равняться единице.

Для этого нужен достаточно значимый накопленный статистический материал. Он у вас есть?


Поясните, пожалуйста, я не понял, для чего (этого) нужен значимый статистический материал?

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение20.01.2015, 22:21 
Заслуженный участник
Аватара пользователя


23/11/06
3968
Не обращайте внимания.

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение21.01.2015, 14:23 


23/12/07
1579
Кстати, а нельзя ли на это посмотреть так:
есть смесь $P$ из трех распределений $P_1, P_2, P_3$, заданных на $(\matbb{R}^n, \mathcal{B}(\matbb{R}^n))$, то есть,
$$P = \alpha_1  P_1 + \alpha_2  P_2 + \alpha_3  P_3, \alpha_i \geq 0,  \alpha_1 + \alpha_2 + \alpha_3 = 1.$$

Требуется по выборке $X \in \matbf{R}^n$ оценить параметры $\alpha_i$ распределения $P$. Например, методом максимального правдоподобия. (Хотя, конечно, это будет частный случай байесовского)

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение21.01.2015, 17:20 


07/08/14
2583
alexey007 в сообщении #962784 писал(а):
Нужно определить с какой вероятностью выборка принадлежит каждому из трех законов распределения, причем сумма вероятностей должна равняться единице.

вероятность равная единице - это когда что, выборка появляется во всех распределениях? или что?
П.С.
предположу, что надо найти вероятность появления конкретной выборки у разных случайных величин и сравнить эти вероятности.

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение21.01.2015, 20:18 
Заслуженный участник
Аватара пользователя


23/11/06
3968
Абсолютно бессмысленный набор слов.

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение21.01.2015, 20:26 


07/08/14
2583

(Оффтоп)

перечитал еще раз тему, все то что хотел написать уже есть в первом же ответе

 Профиль  
                  
 
 Re: Статистический критерий
Сообщение21.01.2015, 20:50 
Модератор


20/03/14
8218
 !  upgrade
Предупреждение за безграмотность в ответах на вопросы в учебном разделе.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 13 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group