2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Статистический критерий
Сообщение15.01.2015, 21:43 
Привет, всем!

Подскажите, пожалуйста, какой статистический критерий нужно применить для следующей задачи. Есть три заданных закона распределения и случайная выборка. Нужно определить с какой вероятностью выборка принадлежит каждому из трех законов распределения, причем сумма вероятностей должна равняться единице. Как определить вероятность того, что выборка принадлежит одному из распределений, я примерно догадываюсь (нужно применить Критерий Колмогорова или любой другой из критериев согласия). А вот как поступить, если заранее известно, что выборка принадлежит одному из трех распределений и чтобы сумма трех вероятностей получилась единице, я не понимаю.

 
 
 
 Re: Статистический критерий
Сообщение15.01.2015, 21:55 
Аватара пользователя
Байес не поможет?

 
 
 
 Re: Статистический критерий
Сообщение15.01.2015, 22:47 
Т.е. сначала получить вероятность принадлежности выборки к каждому из распределений по критерию согласия $\alpha_1, \alpha_2, \alpha_3$, а потом просто взять получить новые вероятности по формуле $p_i=\frac{\alpha_i}{\alpha_1+ \alpha_2+ \alpha_3}$?

 
 
 
 Re: Статистический критерий
Сообщение16.01.2015, 08:32 
Аватара пользователя
Никакие критерии согласия не дают вероятностей того, что проверяемая гипотеза верна. Вы хотите использовать реально достигнутые уровни значимости в роли таких вероятностей? Они совсем иное показывают: $\alpha_i$ - вероятность для выборки из распределения $\mathcal F_i$ получить худшее согласие с гипотезой $\mathcal F=\mathcal F_i$, чем по тестируемой выборке.
Чтобы вообще можно было говорить о вероятностях, с которыми гипотеза верна, слова "верна такая-то гипотеза" должны стать событиями, т.е. им следует приписать некие априорные вероятности $r_1,\,r_2,\,r_3$ в отдельном эксперименте. Допустим, приписали. Но дробь $\frac{\alpha_i}{\alpha_1+\alpha_2+\alpha_3}$ составлена из одних условных вероятностей: если, скажем, критерий непараметрический, значение статистики критерия на данной числовой выборке для распределения $\mathcal F_i$ есть $\rho_i^*$ и с.в. $\eta$ имеет такое же распределение, как статистика критерия при верной основной гипотезе (одно и то же для всех трёх гипотез), то
$$\alpha_i = \mathsf P(\eta > \rho_i^*)= \mathsf P(\eta > \rho^*\,|\,H_i),$$
где $\rho^*$ есть гипотетическая "усреднённая статистика критерия", которая с вероятностью $r_i$ равна $\rho_i^*$.

Т.е. дробь
$$\dfrac{\alpha_i}{\alpha_1+\alpha_2+\alpha_3} = \dfrac{\mathsf P(\eta > \rho^*\,|\,H_i)}{\mathsf P(\eta > \rho^*\,|\,H_1)+\mathsf P(\eta > \rho^*\,|\,H_2)+\mathsf P(\eta > \rho^*\,|\,H_3)}$$
вычисляет что-то по формуле Байеса только в случае $r_1=r_2=r_3=\frac13$, т.е. когда априори гипотезы равновозможны. Но и в этом случае она вычисляет не вероятность того, что выборка взята из $i$-го распределения, а вероятность, взяв выборку равновозможно из любого из трёх распределений, получить по ней худшее согласие с проверяемыми тремя гипотезами, чем по тестируемой числовой выборке.

 
 
 
 Re: Статистический критерий
Сообщение16.01.2015, 09:16 
Аватара пользователя
alexey007 в сообщении #962828 писал(а):
Т.е. сначала получить вероятность принадлежности выборки к каждому из распределений по критерию согласия $\alpha_1, \alpha_2, \alpha_3$, а потом просто взять получить новые вероятности по формуле $p_i=\frac{\alpha_i}{\alpha_1+ \alpha_2+ \alpha_3}$?


Никак нет. Критерии согласия не дают "вероятности принадлежности к выборке".
Я скорее имел в виду нечто такое:
Считается вероятность получить для каждого распределения данные значения в выборке. Действительно вероятность получится для дискретного распределения, она равна $P_k= \Pi p_k(x_i)$, для непрерывного распределения, для непрерывных, перемножив плотности вероятности, вероятность не получим, но можно интерпретировать, как величину, пропорциональную вероятности попасть в некий интервал $(x-\Delta x; x+\Delta x)$. Затем эти вероятности подставляются в формулу Байеса в качестве $P(A|B_k)$, априорные вероятности $P(B_k)$ можно принять равными, если иное недоступно, и считаем $P(B_k|A)$

(Оффтоп)

Что-то подобное успешно работало в созданной некогда системе медицинской диагностики, триумфом которой был диагноз, правильно поставленный жене декана медина после того, как она полгода обследовалась, и ничего ясно не было. Впрочем, дело не в Мощи Науки, а в том, что врачи сложно болеют - они много знают о болезнях, и в простые диагнозы не верят, а тупая программа этим не отягощена;)

 
 
 
 Re: Статистический критерий
Сообщение16.01.2015, 14:31 
Аватара пользователя
alexey007 в сообщении #962784 писал(а):
Есть три заданных закона распределения и случайная выборка. Нужно определить с какой вероятностью выборка принадлежит каждому из трех законов распределения, причем сумма вероятностей должна равняться единице.

Для этого нужен достаточно значимый накопленный статистический материал. Он у вас есть?
alexey007 в сообщении #962784 писал(а):
Как определить вероятность того, что выборка принадлежит одному из распределений, я примерно догадываюсь (нужно применить Критерий Колмогорова или любой другой из критериев согласия).

Боюсь, что нет.

 
 
 
 Re: Статистический критерий
Сообщение20.01.2015, 20:40 
Александрович в сообщении #963087 писал(а):
alexey007 в сообщении #962784 писал(а):
Есть три заданных закона распределения и случайная выборка. Нужно определить с какой вероятностью выборка принадлежит каждому из трех законов распределения, причем сумма вероятностей должна равняться единице.

Для этого нужен достаточно значимый накопленный статистический материал. Он у вас есть?


Поясните, пожалуйста, я не понял, для чего (этого) нужен значимый статистический материал?

 
 
 
 Re: Статистический критерий
Сообщение20.01.2015, 22:21 
Аватара пользователя
Не обращайте внимания.

 
 
 
 Re: Статистический критерий
Сообщение21.01.2015, 14:23 
Кстати, а нельзя ли на это посмотреть так:
есть смесь $P$ из трех распределений $P_1, P_2, P_3$, заданных на $(\matbb{R}^n, \mathcal{B}(\matbb{R}^n))$, то есть,
$$P = \alpha_1  P_1 + \alpha_2  P_2 + \alpha_3  P_3, \alpha_i \geq 0,  \alpha_1 + \alpha_2 + \alpha_3 = 1.$$

Требуется по выборке $X \in \matbf{R}^n$ оценить параметры $\alpha_i$ распределения $P$. Например, методом максимального правдоподобия. (Хотя, конечно, это будет частный случай байесовского)

 
 
 
 Re: Статистический критерий
Сообщение21.01.2015, 17:20 
alexey007 в сообщении #962784 писал(а):
Нужно определить с какой вероятностью выборка принадлежит каждому из трех законов распределения, причем сумма вероятностей должна равняться единице.

вероятность равная единице - это когда что, выборка появляется во всех распределениях? или что?
П.С.
предположу, что надо найти вероятность появления конкретной выборки у разных случайных величин и сравнить эти вероятности.

 
 
 
 Re: Статистический критерий
Сообщение21.01.2015, 20:18 
Аватара пользователя
Абсолютно бессмысленный набор слов.

 
 
 
 Re: Статистический критерий
Сообщение21.01.2015, 20:26 

(Оффтоп)

перечитал еще раз тему, все то что хотел написать уже есть в первом же ответе

 
 
 
 Re: Статистический критерий
Сообщение21.01.2015, 20:50 
 !  upgrade
Предупреждение за безграмотность в ответах на вопросы в учебном разделе.

 
 
 [ Сообщений: 13 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group