Большая задача по статистике!

[PAV]

Ну да. А что еще остается? Получается функция от одного аргумента, который по условию должен быть целым. Можно перебирать. Можно какими-то эвристиками попробовать уточнить, какое значение должно быть, чтобы перебор был поменьше. Когда значение правдоподобия начнет убывать, можно либо "поверить", что найден не локальный, а глобальный максимум, либо как-то строго доказать, если хочется и получится.

-- Сб дек 26, 2009 23:58:17 --

Еще раз: Вы можете (временно) проигнорировать условие целочисленности $\alpha$ и работать с гамма-функцией. Тогда можно как-то еще аналитически поработать.

[Neytrall]

PAV в сообщении #275549 писал(а):

Еще раз: Вы можете (временно) проигнорировать условие целочисленности $\alpha$ и работать с гамма-функцией. Тогда можно как-то еще аналитически поработать.

то есть сделать производную, а потом подставить ближайшие целые и посмотреть у которой из них результат больше?

Я пробую сейчас в Excel сделать, но у меня не получается уж слишком много всего(

-- Сб дек 26, 2009 23:18:18 --

Вы можете, пожалуйста, проверить мои предыдущие вычисления?

[PAV]

Ну например можно так. Просто производная гамма-функции тоже не такая уж простая функция будет. Можно просто график построить с некоторым шагом и посмотреть, как он себя вести будет. Скорее всего, сначала будет возрастать до какой-то точки, а потом убывать.

Насчет вычислений не обещаю, будет время - может быть, посмотрю. Но это уже техника, которая меня не очень интересует. Идейно более-менее все разобрали. Алгоритм, который я держал в голове, в итоге не понадобился, и без него все нормально получается.

[Neytrall]

Нашёл))
$\alpha=7$ ,а $\beta=0.804761905$

[Neytrall]

Огромное вам спасибо!

[Neytrall]

PAV в сообщении #275552 писал(а):

Алгоритм, который я держал в голове, в итоге не понадобился, и без него все нормально получается.

А что за алгоритм?

[PAV]

В данном случае задача максимизации функции правдоподобия по $\alpha$ и $\beta$ решилась достаточно легко. Но если бы так не вышло (что случается в подобных задачах), то пришлось бы как-то решать задачу численно. Это можно делать примерно следующим образом. Строится последовательность приближений $(\alpha_i,\beta_i)$, $i=0,1,2,\ldots$, такая что функция правдоподобия на каждом шаге растет.

Начальное приближение можно было бы сделать так. Вы находили раньше, что если пуассоновская случайная величина приняла значение $x$, то наиболее правдоподобное значение параметра равно этому $x$. Поэтому можно принять, что энергия каждой частицы равна числу фотонов, и оценить параметры гамма распределения по полученной выборке. Алгоритм такой оценки описан в википедии Gamma distribution. Для пользователей статистического пакета R: там реализована данная процедура, она называется gammafit и включена в состав пакета mhsmm.

Далее попробуем придумать разумный шаг алгоритма. Для каждой частицы с одной стороны, есть некоторое априорное распределение вероятностей для ее энергии (гамма с параметрами $(\alpha_0,\beta_0)$); с другой стороны, есть измерение числа фотонов $x$. Типичная ситуация для применения байесовского подхода. Мы можем пересчитать новое распределение вероятностей для энергии этой частицы: для этого нужно перемножить плотность гамма-распределения и пуассоновскую вероятность и нормировать так, чтобы получилась плотность.

Классический алгоритм EM основан на том, чтобы оценивать следующее приближение параметров, используя полностью это новое распределение энергии. Получится ли это легко сделать в данном случае - я не думал. Но разумным и интуитивно понятным мне виделся следующий подход: выбрать на этом новом распределении самое вероятное значение (точку максимума плотности) и взять ее в качестве предполагаемой энергии частицы. Получаем новую выборку энергий, по которой оцениваем параметры гамма распределения $(\alpha_1,\beta_1)$. Затем берем эти параметры в качестве априорных и снова пересчитываем. Вот так примерно я думал, что придется поступить.

[Neytrall]

Я сначала думал взять $x$ как "предположительная" энергия $U$...хорошо, что я этого не сделал)

Скажите, можно ли в этой задаче (при решении, в котором вы мне помогли) использовать "Информацию Фишера", Rao–Blackwell theorem или неравенство Крамера — Рао, что бы увеличить точность оценки?
(Мы это не проходили, но я посмотрел, что будет дальше у меня по курсу...и судя по тому что написанно в википедии, это может помочь)

[PAV]

Нет, не думаю. Я вообще не припомню, чтобы подобные вещи использовались для получения оценок в нетривиальных задачах. ИМХО они имеют исключительно теоретический смысл, как некоторый анализ существующих оценок (да и то - в довольно несложных ситуациях). Не знаю, есть ли в них какой-то реально практический смысл.

[Neytrall]

Просто я поговорил с человеком, который проводит уроки-"тренировки" по статистике. И он сказал, что мы ещё будем проходить все эти вещи и они могут улучшить результат, и поэтому я не должен торопиться с показывать решение...

[PAV]

Я не знаю, каким образом эти понятия могут улучшить результаты оценок, ни в данном случае, ни вообще. Мне кажется, что поскольку здесь получилось в явном виде найти функцию правдоподобия и точно ее максимизировать, то здесь улучшить точно ничего не получится.

Если я неправ, то надеюсь, что Вы расскажете здесь, как это делается, когда узнаете.

[Neytrall]

На самом деле я тоже считаю, что это конечный ответ. Возможно они просто хотят, что бы я другими способами нашёл оценки (они не обязательно будут такими) и сравнил их $MSE$ допустим...или показал при помощи функции риска, что эта оценка лучшая...