Большая задача по статистике!

[Neytrall]

Здравствуйте! Мне очень нужна ваша помощь, что бы понять как решать задачу:
Проводят эксперимент с радиоктивными частицами. У каждой есть свой заряд энергии. Известно, что энергия имеет гамма-распределение с неизвестными $\alpha$ и $\beta$. В ходе эксперимента при соприкасании частиц с тонким фосфорным покрытием, частицы выделяли какое-то колличество фотонов (чем был больше заряд у частицы, тем больше фотонов она выделяла).
Если частица имела энергию $U$, то колличество фотонов которое выделяет эта частица имеет распределение $Pois(U)$. Надо найти estimator (оценка) для $\alpha$ и $\beta$.

$f(x;\alpha,\beta)=x^{\alpha-1} \frac{\exp\left(-x/\beta\right)}{\Gamma(\alpha)\,\beta^{\alpha}}$

Так же мне дан присок 1500 выбросов фотонов (то есть число фотонов от каждой из 1500 частиц, но не известна энергия каждой частицы).

Как решать такую задачу?

[PAV]

Во-первых, можно выписать функцию правдоподобия выборки и максимизировать ее по $\alpha$ и $\beta$.

Но поскольку в каждом наблюдении есть неизвестная величина (значение энергии частицы мы не наблюдаем непосредственно, а только косвенно, по числу фотонов), то решить эту задачу непосредственно может быть сложно. В этом случае можно воспользоваться алгоритмом EM (Expectation-Maximization), он как раз для подобных ситуаций подходит.

[Neytrall]

функция правдоподобия?
$L(x;\alpha,\beta)=\prod\limits_{i=1}^n x_i^{\alpha-1} \frac{\exp\left(-x_i/\beta\right)}{\Gamma(\alpha)\,\beta^{\alpha}}$
но не лучше взять лог-функцию?

$l(x;\alpha,\beta)=Ln\prod\limits_{i=1}^n( x_i^{\alpha-1} \frac{\exp\left(-x_i/\beta\right)}{\Gamma(\alpha)\,\beta^{\alpha}})=\sum\limits_{i=1}^nx_i^{\alpha-1}-\frac{\sum\limits_{i=1}^nx_i}{\beta}-n(\ln\Gamma(\alpha)\beta^{\alpha})$
Это я сделал, но тут застрял(

-- Вт дек 22, 2009 23:07:02 --

Нас пустили в свободное плаванье (типо вот вам задание непосильное, пользуйтесь чем хотите, но в конце концов принесите решение...вот помучившись я пришёл сюда)

-- Вт дек 22, 2009 23:16:26 --

Как я понял $U$ в задании это та самая энергия имеющая гамма-распределение, да?

[Neytrall]

Expectation-Maximization - я об этом впервые слышу( мы такое не проходили.

[PAV]

Может быть, EM тут и не подойдет, надо подумать еще. Но вообще эта штука очень известная и Вы без труда найдете массу описаний.

Вы написали функцию правдоподобия выборки, порожденной гамма-распределением. Но это сейчас бесполезно, потому что значения энергии-то Вам неизвестны. Вам нужно написать правдоподобие для числа фотонов. Т.е. вероятность того, что число фотонов примет заданное значение. Подставив в эту функцию имеющиеся значения, получится функция, зависящая только от параметров гамма-распределения. Максимизируя ее, Вы получите требуемые оценки параметров.

(Оффтоп)

Интересно, где это такие задачи дают для самостоятельной работы?

Поскольку задача скорее исследовательская, чем стандартная учебная, то я ее переношу в корневой раздел

[Neytrall]

PAV в сообщении #274322 писал(а):

равдоподобие для числа фотонов

вот то, что у меня получилось
$l(x;\theta)=\ln \prod\limits_{i=1}^n\frac{\theta_i^{x_i} e^{-\theta_i}}{x_i!}=\ln \frac{\prod\limits_{i=1}^n\theta_i^{x_i} e^{-\sum\limits_{i=1}^n\theta_i}}{\prod\limits_{i=1}^nx_i!}=\sum\limits_{i=1}^nx_i \ln\theta_i -\sum\limits_{i=1}^n\theta_i-\sum\limits_{i=1}^n\ln x_i!$

Далее нужно максимализировать функцию по $\theta_i$.
Hе подскажите как это сделать?
Я попробывал и у меня вышло, что $\theta_i=x_i$, но это как-то слишком просто. Hе могли бы вы показать как это решается с помощью expectation-maximization?

-- Ср дек 23, 2009 11:07:16 --

(Оффтоп)

Израиль

[PAV]

Это не та задача. То, что Вы делали сейчас - это попытка оценить параметр распределения Пуассона по единственному наблюдению. Но в Вашей постановке нет никакого параметра $\theta_i$. Функция правдоподобия должна зависеть только от имеющихся параметров $\alpha$ и $\beta$.

Не торопитесь с EM, может быть он и не понадобится. Сначала Вы должны все-таки правильно найти функцию правдоподобия.

Смотрите. Каждое наблюдение (частица) задается парой случайных величин: $(U,N)$, где $U$ - энергия, имеет гамма-распределение, а $N$ - число фотонов, имеет распределение Пуассона с параметром $\theta=U$. Особенность задачи в том, что величина $U$ является скрытой или ненаблюдаемой (hidden component).

Вы должны найти распределение вероятностей величины $N$, т.е. вычислить вероятность $P(N=x)$, зависящую от $\alpha$ и $\beta$. Вероятностная интуиция должна подсказать, что для этого нужно усреднить пуассоновскую вероятность по случайному параметру $\theta=U$. Строго же говоря, это выводится (совершенно несложно) с помощью техники условных математических ожиданий. Вас этому учили? Попробуйте написать что-то осмысленное, потом будем двигаться дальше.

(Оффтоп)

Что Израиль, это я понял. Меня скорее интересует специальность и уровень учебного заведения. Ваша специальность связана с математикой и, в частности, с теорией вероятностей и математической статистикой? Какой уровень владения этими предметами предполагается, чему Вас учили? С чего вообще Вам дают такое задание, явно исследовательского характера? Разумеется, Вы совершенно не обязаны отвечать, просто интересно и может помочь в дальнейшем обсуждении. Хотя бы - на каком уровне строгости требуется привести решение? Потому что я могу хоть сейчас сформулировать некоторый разумный алгоритм решения (итеративный) в духе EM, но без особых математических обоснований.

-- Ср дек 23, 2009 13:02:11 --

Возможно, Вам понадобится оценка параметра распределения Пуассона по одному наблюдению, которую Вы получили, но нужно понимать, что она "не работает" если $x=0$, так как параметр распределения Пуассона должен быть положительным (иначе распределение вырождается в точку).

[Neytrall]

Как я могу выразить $N$ который имеет распределение Пуассона при помощи $\alpha$ и $\beta$ из Гамма-распределения?
Мы проходили условное мат.ожидание, но я не вижу как применить это здесь. И что значит усреднить пуассоновскую вероятность?

(Оффтоп)

Я учусь в Иерусалимском университете. Экономика и статистика. Этот курс относится к статистике. Курс называется "статистические выводы".
Учимся в основном по википедии и другим инет-ресурсам. Это задание дано как-бы "наперёд", то есть нам ещё не дали шужных инструментовдля его решения, но мы можем попытаться.

[PAV]

Neytrall в сообщении #274457 писал(а):

Как я могу выразить $N$ который имеет распределение Пуассона при помощи $\alpha$ и $\beta$ из Гамма-распределения?

Параметр $\theta$, задающий распределение Пуассона, в Вашем случае сам является случайной величиной, имеющей гамма-распределение.

Это делается так. Нас интересует вероятность $P(N=x)$. Будем обозначать через $I(\cdot)$ случайную величину, равную индикатору события; тогда вероятность события - это математическое ожидание этой случайной величины:
$P(N=x)=E(I(N=x))$
Теперь стандартный прием: представим это (безусловное) математическое ожидание как мат. ожидание от условного:
$E(I)=E(E(I|U))$

А теперь сами сообразите, пользуясь знаниями о том, что такое условное математическое ожидание, что будет представлять из себя $E(I|U)$.
Короче, теперь Ваш ход.

[Neytrall]

$E(I)=E(E(I|U))=E(\sum\limits_{i=0}^1iP[I=i|U=u])=E(\frac{P(I=1,U=u)}{P(U=u)})$
Так?

[PAV]

Нет. Про внешнее математическое ожидание пока что забудьте.

$E(I|U)=P(N=x|U)$

Что вообще представляет из себя условное математическое ожидание $E(I|U)$? Исходите из содержательного смысла этого понятия. И не забывайте, что $U$ распределена непрерывно, поэтому любая вероятность $P(U=u)$ равна нулю, так что делить на нее бессмысленно. Здесь как раз та ситуация, когда условная вероятность берется при условии события нулевой вероятности, поэтому классическое определение условной вероятности неприменимо.

[Neytrall]

так...гамма- непрерывное, а пуассон- дискретное.
условное математическое ожидание $E(I|U)$ должно быть функцией $u$. Теперь я вижу, что делить нельзя. Но как тогда, если определение не помогает??

-- Чт дек 24, 2009 09:46:31 --

$E(X|U=u_j)=\sum\limits_{i=1}^{\infty} x_i\, P_{X \mid U}(x_i \mid u_j)$

-- Чт дек 24, 2009 10:06:10 --

А что если попробывать решить задачу при помощи нескольких моментов?

[Neytrall]

И всё же...я не понимаю, что вы от меня просите(

[PAV]

Neytrall в сообщении #274711 писал(а):

условное математическое ожидание $E(I|U)$ должно быть функцией $u$

Говорите точнее: $E(I|U)$ является функцией не $u$, а $U$. Пожалуй, для наглядности все-таки вернемся к обозначениям вероятности:
$P(N=x|U)=g(U)$

Значение функции $g$ в конкретной точке $t$ можно (и нужно) понимать так: $g(t)=P(N=x|U=t)$

А теперь соберите воедино все, что дано в задаче, и догадайтесь, чему это равно: $P(N=x|U=t)$? Интуитивно это должно быть совершенно очевидно. По сути, это дано в задаче.

[Neytrall]

по логике $P(N=x|U=t)=\frac{t^x}{x!}\ e^{-t}$