Граница Рао-Крамера

[Caran-d'Ache]

Добрый день.
Вот какой вопрос беспокоит.
Есть случайная величина $\varphi$ с известной функцией плотности вероятности $w_{\vartheta}(x)$, которая является функцией детерминированного параметра $\vartheta$.
ПРВ в общем случае может быть любой (даже смесью распределений). На практике я имею некоторую конечную выборку $x_1,x_2 \ldots x_N$. На основе которой я могу сформировать функцию правдоподобия (если нужно).
Используя методы мат.статистики я могу получить набор оценок (какие-то аналитически, какие-то численно в зависимости от степени противности ПРВ) параметра $\vartheta$, например, $\hat{\vartheta}_{ML}$ (оценку по методу максимального правдоподобия), $\hat{\vartheta}_{MM}$ (оценку при использовании метода моментов), $\hat{\vartheta}_{MAP}$ (оценку по максимуму апостериорной плотности вероятности) и т.д. Для каждой из этих оценок (используя неравенство Рао-Крамера ) я могу найти минимально возможную дисперсию, которую может обеспечивать та или иная оценка $\mathbf{D}\hat{\vartheta}_{ML}$, $\mathbf{D}\hat{\vartheta}_{MM}$, $\mathbf{D}\hat{\vartheta}_{MAP}$ и т.д. (пока всё верно?)
С другой стороны я могу воспользоваться исходной ПРВ $w_{\vartheta}(x)$ (она апостериорная) и посчитать с её помощью количество информации по Фишеру, содержащееся в обной выборке (это если выполняется условие регулярности ПРВ), а потом, считая, что элементы выборки независимые, найти границу Рао-Крамера для дисперсии параметра $\vartheta$: $\mathbf{D}\hat{\vartheta}$ (имеет ли это смысл?).
Значил ли это, что дисперсия любой из оценок будет не меньше, чем полученная дисперсия $\mathbf{D}\hat{\vartheta}$. Т.е. для любой оценки это будет своеобразной нижней гранью.
Или я не прав? Если так, то где я ошибаюсь?

[profrotter]

Имею предположение, что граница Крамера-Рао не зависит от способа оценивания.

[Caran-d'Ache]

Не уверен, что я прав, но почему же они не должны зависеть от способа оценивания? Ведь каждая из оценок будет иметь свою плотность распределения вероятности (так МП оценки по-моему будут иметь нормальную ПРВ, если мне память не изменяет, при большом объёме выборки (т.е. асимптотически) это точно так, ММ оценка будет иметь свою ПРВ), и все эти ПРВ будут отличаться от исходной. Так почему же они должны быть одинаковыми?

[profrotter]

Не знаю какой литературой вы пользуетесь, я вот открываю Б.Р. Левин Теоретические основы статистической радиотехники на странице 388 и читаю п. 14.2.3: "Неравенство Рао-Крамера. Существует неравенство, с помощью которого можно определить нижнюю границу среднеквадратических ошибок при использовании любых оценок параметра."
Приводить запись неравенства Крамера-Рао мне за вас лениво, но там в правой части неравенства в знаменателе стоит совместая ПРВ выборок при условии, что оцениваемый параметр принял определённое значение. Она никак не зависит от той последовательности действий, в результате которой вы будете формировать оценку на основе выборок, а сам знаменатель в общем случае зависит только от значения оцениваемого параметра.

[profrotter]

Caran-d'Ache в сообщении #465183 писал(а):

Не уверен, что я прав, но почему же они не должны зависеть от способа оценивания? Ведь каждая из оценок будет иметь свою плотность распределения вероятности...

А когда у вас есть ПРВ самой оценки, то говорить о границе Крамера-Рао вообще не имеет смысла, так как вам уже известна дисперсия оценки (она однозначно определяется по ПРВ). Когда говорят о границе Крамера - Рао, то способ оценивания предполагается незаданным и его следует выбрать таким, чтобы дисперсия оценки была как можно ближе к нижней границе.

[Caran-d'Ache]

Хмм... спасибо.
В общем-то я этими книгами и пользуюсь: Левин, Тихонов, Трифонов, Шахтарин, Боровков, Леман + Kay, Levi и ещё парочкой.
С тем, что Вы сказали я согласен. Дело не совсем в этом. Тут я затупил и не смог объяснить нормально что хочу понять. Моя оплошность. Я согласен, что ГРК определяет минимально возможно достижимую дисперсию для любой несмещённой (хотя и для смещённой тоже есть формула) оценки. Тут спору нет. Вопрос не в этом. Обычно, в примерах разобранных в учебниках (Шахтарин, Kay) делается следующее: берётся какая-нибудь красивая ПРВ (гауссова) находятся для некоторых параметров (м.о., дисперсия и т.д.) оценки (ОМП, ММ и т.д.) и дальше для них подсчитывается ГРК. Ну и обычно там всё проходит красиво: мол, ПРВ регулярная, унимодальная, функция правдоподобия красивая, ну и оказывается что почти все оценки (в примерах), состоятельные, несмещённые, оптимальные, а выражения получаются строго аналитически.
Меня же вот что интересовало. Пусть у меня ПРВ противная, например смесь, да ещё и не гауссов. Оценки, например, ОМП я могу найти только численно (например EM-алгоритмом), но хотелось бы иметь аналитическое выражение для минимума дисперсии, чтобы в дальнейшем его использовать (ну например для синтеза устройства). Однако информацию по Фишеру для одного отсчёта я посчитать аналитически могу. Вот это-то меня и смутило при сравнение с уже виденными примерами использования ГРК: не уверен, что это корректно называть оценкой, так как за значение оценки тогда будет взято само значение этой одиночной выборки.
Ну и если в дальнейшем оказывается, что любая другая оценка даёт большую дисперсию (это была вторая часть вопроса), я просто буду пользоваться полученным аналитическим выражением, а на все другие оценки закрывать глаза. :)

-- Ср июл 06, 2011 09:38:52 --

profrotter в сообщении #465648 писал(а):

Caran-d'Ache в сообщении #465183 писал(а):

Не уверен, что я прав, но почему же они не должны зависеть от способа оценивания? Ведь каждая из оценок будет иметь свою плотность распределения вероятности...

А когда у вас есть ПРВ самой оценки, то говорить о границе Крамера-Рао вообще не имеет смысла, так как вам уже известна дисперсия оценки (она однозначно определяется по ПРВ). Когда говорят о границе Крамера - Рао, то способ оценивания предполагается незаданным и его следует выбрать таким, чтобы дисперсия оценки была как можно ближе к нижней границе.

Вот тут стало понятнее, спасибо большое.
Тогда понятно, зачем в примерах проделывается всё вышеперечисленное! :)
Остаётся вопрос, что делать, если не возможно получить ПРВ оценки?

-- Ср июл 06, 2011 09:59:15 --

И если уж пошёл такой разговор, то не посоветуете ещё русскоязычную литературу по другим оценкам нижней границы дисперсии: Баттачария (есть немного в Ван-Трисе, но буквально капля), Баранкина, Абеля, Роббинса-Чапмена (нашёл их статью, но увы не смогу её использовать), Зив-Закая (тоже кажется на подходит, но внятной информации не имею), Бобровского и т.д. Дело в том, что нашёл ряд статей и книг (зарубежных), где описывается неадекватное поведение ГРК при малых значениях некоторых параметров (для радиофизики/радиотехники, например, ОСШ). Там появляется характерная область (как правило плюс-минус пара децибел в районе нуля: у них называется transition region), где минимальная дисперсия оценки резко вырастает, а ГРК продолжает плавный монотонный рост. В связи с эти они не использую ГРК для малого ОСШ. А мне интересен именно этот случай. Но внятной (да и вообще хоть какой-то) литературы на русском по этой теме найти не могу.
К своему стыду из "их статей" обнаружил, что собственно существует чуть ли не с десяток всяких границ (а с модификациями так и вовсе целая уйма) с разными требованиями на ПРВ и разными обеспечиваемыми точностями.

[--mS--]

Неравенство Бхаттачария есть у Г.И.Ивченко, Ю.И.Медведева в "Математической статистике", и гораздо более полно - у Ш.Закса в его замечательной "Теории статистических выводов", параграф 4.2, неравенство Чепмена - Роббинса есть у А.А.Боровкова (параграф 22* главы 3 "Разностное неравенство типа Рао - Крамера").

[Caran-d'Ache]

--mS-- в сообщении #465915 писал(а):

Неравенство Бхаттачария есть у Г.И.Ивченко, Ю.И.Медведева в "Математической статистике", и гораздо более полно - у Ш.Закса в его замечательной "Теории статистических выводов", параграф 4.2, неравенство Чепмена - Роббинса есть у А.А.Боровкова (параграф 22* главы 3 "Разностное неравенство типа Рао - Крамера").

Большое спасибо за ссылки. Оказались очень полезными.

[Caran-d'Ache]

Чего-то после всего этого я ещё больше стал запутываться!

В нер-ве Рао-Крамера используется функционал отношения правдоподобия (при независимой выборке просто произведение апостериорных ПРВ). И дальше по ней же (выборке) происходит усреднение.
Не понимаю, зачем вообще тогда это нужно. Почему просто не найти дисперсию (если апостериорное ПРВ в аналитическом виде известно)? Зачем нужна ОЦЕНКА этой дисперсии?

[mikroz]

Caran-d'Ache в сообщении #469271 писал(а):

Чего-то после всего этого я ещё больше стал запутываться!

В нер-ве Рао-Крамера используется функционал отношения правдоподобия (при независимой выборке просто произведение апостериорных ПРВ). И дальше по ней же (выборке) происходит усреднение.
Не понимаю, зачем вообще тогда это нужно. Почему просто не найти дисперсию (если апостериорное ПРВ в аналитическом виде известно)? Зачем нужна ОЦЕНКА этой дисперсии?

Для того, чтобы говорить о "качестве" полученной оценки. Неравенство Рао-Крамера, как известно, гласит

$D \hat{\theta} \geq \frac{1}{n I(\theta)}$, где $n$ - размер выборки, а $I(\theta)$ - информация Фишера. Т.е. если мы получили оценку $D \hat{\theta} = \frac{1}{n I(\theta)}$, то она является наилучшей оценкой.