Ср.-кв. отклонение мат. ожидания у нормального распределения

[Daniiiil]

Всем добрый день!

Когда мы хотим дать оценку мат. ожиданию (МО) случ. величины (СВ) с нормальным распределением по имеющейся выборке, мы будем иметь какую-то ошибку. Зададимся целью найти ср.-кв. отклонение оценки МО среди всех возможных выборок СВ размера $m$. В моем учебнике моментально приводится ответ:

Здесь $Var(Smth)$ - это дисперсия $Smth$.

Но когда я пытаюсь найти ответ самостоятельно, пришел к др. ответу (он внизу справа):


Пожалуйста, подскажите, где я ошибся.

Спасибо за ваше внимание и время.

[Combat Zone]

Daniiiil
А что пишет учебник по поводу обозначения $x^{(i)}$?

[Daniiiil]

Combat Zone, ничего) Одно значение $i$ соотв. одной целой выборке (состоящей из нескольких $x^{(i)}_j$), которую мы рассматриваем в одной из итераций $i$ от $1$ до $n$.

[Combat Zone]

Мне не хватает хорошо поставленной задачи. Выборки независимы из одной генеральной совокупности? Тогда ответ такой, и он действительно очевиден.

[Daniiiil]

Combat Zone, выборки независимы между собой, но все содержат $m$ элементов и относятся к одному и тому же распределению.

Но я не вижу очевидного ответа) Ведь речь идет о корне из дисперсии самого МО, а не из выборочной дисперсии. Поэтому не понимаю, как можно так быстро прийти к выводу и почему он такой получается. Можете пожалуйста объяснить?

И можно узнать, правильно ли я начал свой путь вычислений в первой строке бумажных выкладок?

[ShMaxG]

Daniiiil
Под дисперсией $\mathrm{Var}$ здесь следует понимать истинную дисперсию, а не выборочную или какой-то предел. И дисперсия эта берется не "от самого МО", а от выборочного среднего.

[Daniiiil]

ShMaxG, спасибо за уточнение - да, мы ищем истинную дисперсию выборочного среднего.

Но все равно не понимаю, почему у меня получился др. результат и уж тем более почему ответ из учебника очевиден.

Пробую найти ответ в интернете, но получаю только статьи по самой дисперсии и самому выбор. среднему.

[Combat Zone]

Daniiiil
Поставьте нормально задачу, пожалуйста, или, на худой конец, принесите всю страницу с несколькими абзацами до этой строки.
Или дайте ссылку на учебник, если он есть в сети.

[Daniiiil]

Combat Zone, простите за неудобства.

Задача: найти истинное ср.-кв. отклонение выборочного среднего нормального распределения.

Выдержка была из книги "Глубокое обучение" (Я. Гудфеллоу, И. Бенджио, А. Курвилль). Привожу страницы:



Не понимаю, как у них так быстро получилось посчитать данную величину. Можете пожалуйста объяснить?

[Combat Zone]

Ну и вы много додумали.
То есть у вас есть выборка $x_1,\ldots, x_m$ (про набор выборок никто не говорит, различное оформление индексов в разных строках, скорее всего, проблемы набора при переводе).
$\mathrm{Var}(\bar x)=\mathrm{Var}(\frac 1m \sum_{k=1}^m x_k) = \frac 1{m^2}\sum_{k=1}^m \mathrm{Var}(x_k)= \sigma^2/m$

Как видно, нормальность распределения тут не используется вообще, то есть это верно для независимой выборки из любой генеральной совокупности (или, если вы не знаете такого слова, подчиненной любому распределению). Факт обычно доказывается в курсе статистики на первой лекции или предлагается для самостоятельной работы.

[Евгений Машеров]

Мы ищем истинную дисперсию среднего. То есть отклонения берутся не от $\mu_m$, а от $\mu$. Работаем не с оценками матожидания, а с (неизвестным нам, вообще говоря) истинным значением. Каждое значение х (отмечу, что обозначения в книге не вполне обычные, обычно i-тый элемент обычной, неупорядоченной выборки, обозначается $x_i$, а $x^{(i)}$ чаще означает i-тый элемент вариационного ряда) имеет дисперсию $\sigma^2$, и, если они независимы, дисперсия суммы есть сумма дисперсий, в m раз больше, но так как при расчёте среднего мы делим сумму на m, то квадратичная величина делится на $m^2$,то есть дисперсия среднего есть $\sigma^2/m$, а в корне из дисперсии, стандартном отклонении, появляется в знаменателе корень. Нормальность тут не нужна, важна независимость, а нормальность лишь для того, чтобы дисперсия вообще существовала бы.

[ShMaxG]

Daniiiil в сообщении #1619861 писал(а):

Но все равно не понимаю, почему у меня получился др. результат и уж тем более почему ответ из учебника очевиден.

Вы применяете несуществующую формулу для дисперсии, в этом заключается ошибка.

[Daniiiil]

Combat Zone, Евгений Машеров, спасибо за подробное объяснение. Я его понял. Теперь я лучше понимаю логику вычисления ср.-кв. отклонения и дисперсии оценок!

Кстати, а есть ли какой-то готовый термин, охватывающий [смещение, дисперсию, ср.-кв. отклонение] оценки? Ведь оценка - это нечто отличное от обычной СВ.

Интересно, что если в формуле Combat Zone распределение $x_k$ зависит от $k$, то формула все равно имеет смысл (в этом случае мы бы вычисляли ср.-кв. отклонение не МО некоторого распределения, а довольно специфической средней величины, берущейся по разным распределениям).

Спасибо, вопрос решен.

-- 26.11.2023, 14:17 --

ShMaxG в сообщении #1619883 писал(а):

Daniiiil в сообщении #1619861 писал(а):

Но все равно не понимаю, почему у меня получился др. результат и уж тем более почему ответ из учебника очевиден.

Вы применяете несуществующую формулу для дисперсии, в этом заключается ошибка.

ShMaxG, $(i)$ в формуле обозначает номер выборки, рассматриваемой в итерации по $i$. Так что по-моему в формуле все правильно.

Но мой подход был неправилен или как минимум неэффективен. Даже в случае такого детального представления $Var(\hat{\mu}_m)$ в виде лимита при $n \to \infty$ мне нужно было сразу же вытащить $\frac{1}{m}$ из лимита наружу (тогда дробь превратилась бы в $\frac{1}{m^2}$). Тогда у меня получался такой же ответ, как у Combat Zone и Евгений Машеров.

-- 26.11.2023, 14:44 --

Единственное - здесь говорится, что "к сожалению, ни квадратный корень из выборочной дисперсии, ни квадратный корень из несмещенной оценки дисперсии не является несмещенной оценкой стандартного отклонения":

(это отрывок страниц, которые отправлял в 9 сообщении от начала)

Но ведь мы можем по выборке посчитать несмещенную выборочную дисперсию и потом взять из нее корень и получить (грубо говоря) истинное ср.-кв. отклонение СВ, а затем разделить его на $\sqrt{m}$ и получить (грубо говоря) ср.-кв. отклонение выборочного среднего. Разве нет? Единственная неточность здесь - это то, что мы считаем несмещенную выборочную дисперсию истинной дисперсией. Но в целом это же нормальный метод? Если да, то почему в книге говорят о "сожалении"?

[Combat Zone]

Daniiiil в сообщении #1619914 писал(а):

а довольно специфической средней величины, берущейся по разным распределениям

Вот только независимая (повторная) выборка - это набор независимых случайных величин с одним распределением. Мало ли чего под ответ хочется подгонять. Для бесповторных выборок, скажем, дисперсия выборочного среднего другая.

Daniiiil в сообщении #1619914 писал(а):

$(i)$ в формуле обозначает номер выборки, рассматриваемой в итерации по $i$.

Переведите, пожалуйста. Я уже не понимаю. Что такое номер выборки, рассматриваемой в итерации по $i$?

(Оффтоп)

И зря вы учите ShMaxG статистике, он сам кого хочешь научит. :) Так что если говорит - неправильно, значит, неправильно.

-- 26.11.2023, 13:59 --

Daniiiil в сообщении #1619914 писал(а):

Если да, то почему в книге говорят о "сожалении"?

Они же пишут - эта оценка не является несмещенной. Но для больших объемов выборки сойдет (в силу состоятельности и асимптотической несмещенности).
А чем вызван вопрос? Мне не очень понятно, потому что вы его задаете уже после полученного ответа в книге. Обычно это означает, что что-то понято превратно.

[Евгений Машеров]

Потому, что, вообще говоря, $M(f(x))\ne f(M(x))$
Матожидание функции случайной величины не обязано быть равным функции от матожидания. Если функция линейна - то равно. В остальных случаях совпасть может лишь случайно. А корень функция нелинейная. Искажение мало, но оно есть.
Точного выражения для несмещённой оценки стандартного отклонения, не зависящего от вида распределения, не существует. В него непременно входят, в силу нелинейности, моменты высших порядков. Есть формула поправки для нормального, через гамма-функцию, есть приближение для распределения с известным эксцессом
$\hat{\sigma}=\sqrt{\frac 1 {n-1.5-\frac 1 4 \gamma_2}\Sum(x_i-\bar{x})^2}$
Где $\gamma_2$ - эксцесс распределения, для нормального=0.