Свойство асимптотически нормальной оценки

[Sdy]

Пусть у нас есть асимптотически нормальная оценка $\hat\theta_n$ : $\sqrt{n}(\hat\theta_n-\theta) \xrightarrow{d} \mathcal{N}(0, \sigma^2)$.
Нужно доказать, что тогда дисперсия асимптотически нормальной оценки стремится к нулю, $\mathbb{V}ar[\hat\theta_n] \to 0 \ , n \to \infty$.
Я знаю, как доказывается, что асимптотически нормальная оценка состоятельна, но из этого не следует, что ее дисперсия стремится к нулю.
Попробовал поиграть с известными мне фактами из теории сходимостей последовательностей случайных величин, но пока что это не помогло.

Может быть, тут какие-то дополнительные условия нужны, чтобы это утверждение было выполнено? Я его в курсе статистики встретил, лектор не говорит, почему это верно, но говорит, что верно.

[ipgmvq]

$ Var(\sqrt{n}(\hat\theta_n-\theta)) = \sigma^2 $
$ n Var( \hat\theta_n-\theta ) = \sigma^2 $
$ Var( \hat\theta_n-\theta ) = \frac{\sigma^2}{n} $
$ Var( \hat\theta_n) + Var(-\theta) = \frac{\sigma^2}{n} $
$ Var( \hat\theta_n) + 0 = \frac{\sigma^2}{n} $
$ Var( \hat\theta_n) = \frac{\sigma^2}{n} $

[Sdy]

ipgmvq, спасибо.
Но ведь это всё приближенные равенства. Я бы сказал, что для меня это скорее интуиция, которая говорит, о том что утверждение должно быть верно, но не является его доказательством.
То есть мы говорим: вместо сходимости по распределению скажем, что распределения приблизительно совпадают при больших $n$, а потом арифметическими преобразованиями получаем желаемое. Мне тяжело воспринимать это как строгое доказательство.

[ShMaxG]

Sdy
Сходимость по распределению равносильна поточечной сходимости характеристической функции. Запишите эту сходимость и посмотрите, к чему сходится матожидание (мнимая часть) и дисперсия (вещественная часть).

[ipgmvq]

Sdy в сообщении #1594358 писал(а):

Но ведь это всё приближенные равенства.

Справидливо.
Так можно?
$ \lim_{{n \to \infty}} Var(\sqrt{n}(\hat\theta_n-\theta)) = \sigma^2 $
$ \lim_{{n \to \infty}} n Var( \hat\theta_n-\theta ) = \sigma^2 $
$ \lim_{{n \to \infty}} Var( \hat\theta_n-\theta ) = \frac{\sigma^2}{n} $
$ \lim_{{n \to \infty}} Var( \hat\theta_n) + Var(-\theta) = \frac{\sigma^2}{n} $
$ \lim_{{n \to \infty}} Var( \hat\theta_n) + 0 = \frac{\sigma^2}{n} $
$ \lim_{{n \to \infty}} Var( \hat\theta_n) = \frac{\sigma^2}{n} = 0 $

[Sdy]

ShMaxG, спасибо за ответ.

ShMaxG в сообщении #1594361 писал(а):

Сходимость по распределению равносильна поточечной сходимости характеристической функции.

Так, ну это я знаю: $\sqrt{n}(\hat\theta_n-\theta) \xrightarrow{d} \mathcal{N}(0, \sigma^2) \Rightarrow \varphi _{\xi_n}(t) \xrightarrow{n \to \infty} \varphi_\xi(t), \ \forall t \in \mathbb{R}$, где $\xi_n = \sqrt{n}(\hat\theta_n-\theta)$ и $\xi \sim \mathcal{N}(0, \sigma^2).$
То есть, $\mathbb{E}e^{it\sqrt{n}(\hat\theta_n-\theta)} \xrightarrow{n \to \infty} e^{\frac{i \mu t - \sigma^2 t^2}{2}} = e^{-\frac{\sigma^2t^2}{2}}, \ \forall t \in \mathbb{R}.$

ShMaxG в сообщении #1594361 писал(а):

посмотрите, к чему сходится матожидание (мнимая часть) и дисперсия (вещественная часть).

А вот эту часть не понял.

-- 19.05.2023, 00:19 --

ipgmvq в сообщении #1594362 писал(а):

Так можно?
$ \lim_{{n \to \infty}} Var(\sqrt{n}(\hat\theta_n-\theta)) = \sigma^2 $

А почему эта строчка верна? Вы, наверное скажете, потому что при больших $n$ у нас распределение $\sqrt{n}(\hat\theta-\theta)$ совпадает с $\mathcal{N}(0, \sigma^2)$. Тогда я попрошу показать асимптотику, в каком смысле идёт это приближённое равенство. А я не видел честно сказать, чтобы кто-то обосновал это приближённое равенство так, чтобы я мог в это поверить. А словами "приближённо, аппроксиматически" у меня не получиться себя убедить, что это верно.

[ipgmvq]

Sdy в сообщении #1594364 писал(а):

А вот эту часть не понял.

Там будет сходиться и характеристическая функция, а следовательно и функция моментов и функция распределения. Из сходимости последней уже будет следовать сходимость всех (конечных) моментов. Т.е. мы могли бы найти моменты по функции распределения (хотя они и так даны в условии), но если душа требует экзотики , то можно взять функцию моментов $e^{\mu t + \frac{\sigma^2 t^2}{2}}$ и найти из неё дисперсию через производные в $t = 0$:
$ (\frac{d^2}{dx^2} e^{\mu t + \frac{\sigma^2 t^2}{2}}) - (\frac{d}{dx} e^{\mu t + \frac{\sigma^2 t^2}{2}})^2 = e^{\mu t + \frac{\sigma^2 t^2}{2}} (\sigma^4 t^2 + 2 \sigma^2 \mu t + \sigma^2 + \mu^2) - (e^{\mu t + \frac{\sigma^2 t^2}{2}} (\sigma^2 t + \mu))^2 = e^{\mu 0 + \frac{\sigma^2 0^2}{2}} (\sigma^4 0^2 + 2 \sigma^2 \mu 0 + \sigma^2 + \mu^2) - (e^{\mu 0 + \frac{\sigma^2 0^2}{2}} (\sigma^2 0 + \mu))^2 = e^0 (\sigma^2 + \mu^2) - (e^0 \mu)^2 = \sigma^2 + \mu^2 - \mu^2 = \sigma^2 $

[Sdy]

ipgmvq, спасибо.
Я так и подумал, т.к. я знаю из фактов, связывающих моменты с характеристической функцией, только что если $\xi$ это случайная величина и $\varphi_\xi(t)$ это её характеристическая функция, то $\mathbb{E}\xi = -i\varphi_\xi'(0)$ и $\mathbb{V}ar\xi = -\varphi_\xi''(0) + (\varphi_\xi'(0))^2$ (ну и общую формулу для $\mathbb{E}\xi^k$).
Тогда получается, из того что
$\mathbb{E}e^{it\sqrt{n}(\hat\theta_n-\theta)} \xrightarrow{n \to \infty} e^{-\frac{\sigma^2t^2}{2}}, \ \forall t \in \mathbb{R}$ нужно выводить поточечную сходимость производных (наверное, есть такая теорема в анализе, тем более нас только $t=0$ интересует) и вторых производных и тогда мы получаем, что у нас что математическое ожидание к нулю сходится, что дисперсия?

[ShMaxG]

Я ошибочно предположил, что оценка является нормальной. В общем же случае сходимость по распределению не влечет сходимость моментов. Может быть какие-то дополнительные свойства у оценки есть?

[Sdy]

ShMaxG в сообщении #1594379 писал(а):

Я ошибочно предположил, что оценка является нормальной.

Вы про асимптотическую нормальность? Она ею и является.

То есть дано: оценка $\hat\theta_n$, такая что $\sqrt{n}(\hat\theta_n-\theta) \xrightarrow{d} \mathcal{N}(0, \sigma^2).$ Это мы считаем верным.
Доказать: $\mathbb{V}ar[\hat\theta_n] \to 0 \ , n \to \infty$.
Больше ничего не дано. Лектор просто пишет то что у меня в дано и ставит импликацию в то что нужно доказать.

[ShMaxG]

Нет, я имел ввиду что теты имеют нормальное распределение. Если они могут быть произвольными (лишь бы асимптотически нормальными), то утверждение неверно. Достаточно рассмотреть смесь нормальных распределений — одно слагаемое сходится к тете, а другое убегает на бесконечность, тогда можно добиться того, что никакой момент не сойдется куда надо. См. например https://mathoverflow.net/questions/441789/examples-of-convergence-in-distribution-not-implying-convergence-in-moments. Для сходимости моментов нужно потребовать еще что-то вроде равномерной ограниченности моментов или равномерной интегрируемости.

[Sdy]

ShMaxG, спасибо за помощь, почитаю.

Жаль, такое красивое доказательство получалось.

[Sdy]

ShMaxG, а можете всё-таки подсказать, а что ломается, когда мы говорим так:
Пусть $\hat\theta_n$ : $\sqrt{n}(\hat\theta_n-\theta) \xrightarrow{d} \mathcal{N}(0, \sigma^2)$, также мы знаем, что $\frac{1}{\sqrt{n}} \xrightarrow{P} 0 $, тогда по теореме Слуцкого, $\frac{1}{\sqrt{n}} \cdot \sqrt{n}(\hat\theta_n-\theta) \xrightarrow{d} \frac{1}{\sqrt{n}} \cdot \mathcal{N}(0, \sigma^2)$, то есть имеем, что $(\hat\theta_n-\theta) \xrightarrow{d} 0 $.
Сходимость к константе по распределению влечёт сходимость к константе по вероятности, поэтому $(\hat\theta_n-\theta) \xrightarrow{\mathbb{P}} 0 $.
В итоге, с помощью теоремы о непрерывном отображении получаем, что $\hat\theta_n \xrightarrow{\mathbb{P}} \theta$.
То есть это самое доказательство того что асимптотически нормальная оценка слабо состоятельна.

И вот тут хочется всё-таки совершить ещё один переход. Мне приходила идея в голову использовать ещё раз теорему о непрерывном отображении с $g(x) = \mathbb{V}ar[x]$. Почему тут всё ломается?

[ShMaxG]

Sdy в сообщении #1594421 писал(а):

$\frac{1}{\sqrt{n}} \cdot \sqrt{n}(\hat\theta_n-\theta) \xrightarrow{d} \frac{1}{\sqrt{n}} \cdot \mathcal{N}(0, \sigma^2)$

Предел по $n$ не может зависеть от $n$.

-- Пт май 19, 2023 14:45:56 --

Sdy в сообщении #1594421 писал(а):

Мне приходила идея в голову использовать ещё раз теорему о непрерывном отображении с $g(x) = \mathbb{V}ar[x]$.

Это не функция, она сопоставляет не числу число, а случайной величине число. То есть это скорее функционал.

[Sdy]

ShMaxG в сообщении #1594443 писал(а):

Предел по $n$ не может зависеть от $n$.

Да, я просто хотел сказать что первый множитель сходится к нулю, второй по распределению к нормальному и тогда по теореме Слуцкого имеем желаемое, но получилось неаккуратно.

ShMaxG в сообщении #1594443 писал(а):

Это не функция, она сопоставляет не числу число, а случайной величине число. То есть это скорее функционал.

Я думал об этом, но ведь теорема о непрерывном отображении работает между метрическими пространствами (хотя да, для функций, а не функционалов). С другой стороны, функционал то тоже является функцией. Я знаю, что случайные величины образуют векторное пространство, тогда математическое ожидание и дисперсия это функционалы на этом векторном пространстве. Надо, наверное, ещё это обдумать.