Интерпретация результата статистического эксперимента

[Евгений Машеров]

Взгляд прикладника. Варварский и не гарантировано, что верный.
В результате эксперимента оказалось, что неизвестная величина a является квантилем порядка $p=\frac n N$ стандартного нормального распределения с дисперсией $\sigma^2$. Асимптотически его матожидание будет $m=\sigma \Phi^{-1}(p)$, а его дисперсия будет $\sigma^2_Q=\frac {\sigma^2} N \frac{p(1-p)}{\varphi^2(\Phi^{-1}(p))}$
Если N невелико, придётся считать численно, беря формулы из "Введение в теорию порядковых статистик" (М.: Статистика, 1970) или из готовых приведенных там таблиц Тейчроева.

[B@R5uk]

--mS-- в сообщении #1418475 писал(а):

По определению, как сумму значений, умноженных на биномиальные вероятности.

Пожалуйста, приведите формулы, совершенно не понимаю, какие именно значения вы имеете в виду.

[--mS--]

B@R5uk в сообщении #1418541 писал(а):

--mS-- в сообщении #1418475 писал(а):

По определению, как сумму значений, умноженных на биномиальные вероятности.

Пожалуйста, приведите формулы, совершенно не понимаю, какие именно значения вы имеете в виду.

Только после Вас.
1. Назовите возможные значения случайной величины $n$.

-- Ср окт 02, 2019 10:22:54 --

Евгений Машеров в сообщении #1418496 писал(а):

В результате эксперимента оказалось, что неизвестная величина a является квантилем порядка $p=\frac n N$ стандартного нормального распределения с дисперсией $\sigma^2$.

Не совсем. Квантиль есть порядковая статистика $X_{(n)}$. Но выборка не наблюдается, от неё наблюдаются лишь индикаторы "больше-меньше", т.е. само $n=\sum_{i=1}^N I(X_i<a)\sim B(N,p)$, где $p=\Phi_{0,\sigma^2}(a)$. Соответственно, оценка есть $a^*=\Phi^{-1}_{0,\sigma^2}(n/N)$, а не $X_{(n)}$. Но разница невелика, и асимптотическая дисперсия такая же:

$$ \sqrt{N}(a^*-a) \Rightarrow N(0,c^2), \text{ где } c^2=2\pi \sigma^2 p(1-p) e^{\frac{a^2}{2\sigma^2}}. $$

Но ТС хотел вычислить дисперсию оценки, т.е. судя по исходному сообщению ему ни к чему асимптотическая нормальность.

[B@R5uk]

--mS-- в сообщении #1418621 писал(а):

Назовите возможные значения случайной величины $n$.

Возможные значения величины $n$ — это целые числа от $0$ до $N$.

--mS-- в сообщении #1418475 писал(а):

По определению, как сумму значений, умноженных на биномиальные вероятности.

То есть вы предлагаете мне посчитать величину

$$\widetilde{n}=\sum\limits_{n=0}^{N}{n\cdot P\left(n\right)}=\sum\limits_{n=0}^{N}{n\left( \begin{matrix}N\\n\\ \end{matrix} \right){{p}^{n}}{{\left( 1-p \right)}^{N-n}}}$$

Но это будет среднее значение случайной величины $n$ (по определению). Как оно соотносится с искомой оценкой величины $a$? Плюс я это среднее не могу посчитать ни в перёд, ни назад: сама величина $a$ неизвестна, следовательно вероятность $p$ тоже. И в эксперименте у меня $n$ всего лишь одно-единственное значение.

[Евгений Машеров]

--mS-- в сообщении #1418621 писал(а):

$$ \sqrt{N}(a^*-a) \Rightarrow N(0,c^2), \text{ где } c^2=2\pi \sigma^2 p(1-p) e^{\frac{a^2}{2\sigma^2}}. $$

Прошу прощения, а при возведении в квадрат плотности распределения двойка в знаменателе показателя не убежит?

-- 02 окт 2019, 08:35 --

--mS-- в сообщении #1418621 писал(а):

Но ТС хотел вычислить дисперсию оценки, т.е. судя по исходному сообщению ему ни к чему асимптотическая нормальность.

Ну и если величина характеризуется только средним и дисперсией - не означает ли это "неявное постулирование нормальности"?

[--mS--]

B@R5uk в сообщении #1418628 писал(а):

Возможные значения величины $n$ — это целые числа от $0$ до $N$.

2. Какие значения принимает величина $a^*=\Phi_{0,\sigma^2}^{-1}(n/N)$?

-- Ср окт 02, 2019 20:30:31 --

Евгений Машеров в сообщении #1418633 писал(а):

Прошу прощения, а при возведении в квадрат плотности распределения двойка в знаменателе показателя не убежит?

Конечно, убежит. В квадрат-то экспоненту я и забыла возвести. Конечно, $c^2=2\pi \sigma^2 p(1-p) e^{\frac{a^2}{\sigma^2}}$

Евгений Машеров в сообщении #1418633 писал(а):

Ну и если величина характеризуется только средним и дисперсией - не означает ли это "неявное постулирование нормальности"?

Если кому-то нужны математическое ожидание и дисперсия оценки, это совсем не значит, что она только ими характеризуется.

[B@R5uk]

--mS-- в сообщении #1418700 писал(а):

Какие значения принимает величина $a^*=\Phi_{0,\sigma^2}^{-1}(n/N)$?

Какие-то дискретные (и это мне не нравится, если честно), только это могу сказать. Что вы буквой Фи-большое обозначаете?

[--mS--]

B@R5uk в сообщении #1418714 писал(а):

Какие-то дискретные (и это мне не нравится, если честно), только это могу сказать. Что вы буквой Фи-большое обозначаете?

Разумеется, функцию распределения нормального распределения с параметрами $0$ и $\sigma^2$. Хотите вместо этого функцию ошибок - пожалуйста:

B@R5uk в сообщении #1418002 писал(а):

... и подставить в функцию, обратную функции распределения нормального распределения:

$$\tilde{a}=\sigma \sqrt{2}\operatorname{erfinv}\left( \frac{2n}{N}-1 \right)$$

Так какие у $\tilde{a}$ значения?

[B@R5uk]

Если честно, ваши наводящие вопросы всё больше заводят меня в тупик. Было бы проще, если бы вы написали формулу, а я, если бы не понял, из каких соображений она взялась, об этом бы спросил. Никаких правил форума вы бы при этом не нарушили, так как задача не является учебной, а я давным давно не являюсь учеником.

Мне не очень нравится ваш вопрос: "какие значения?", так как он слишком расплывчатый. Случайные? Дискретные? Заострение внимания на какой именно характеристике должно привести меня к просветлению? Возможно, вам кажется, что вы объясняете что-то совсем тривиальное совсем глупому человеку, а мне кажется, что вы пытаетесь втолковать мне совсем отвлечённое от моей задачи вычисление. Обрисуйте, пожалуйста, общую идею что ли, как вы предлагаете построить оценку для величины $a$? Я действительно хочу понять, какие есть возможные подходы к моей задаче и из каких соображений они берутся, прежде чем жаловаться на то, что мне кажется неудовлетворительным.

Давайте для начала уточним: $n$ — это фиксированное число, полученное из эксперимента. Пусть соответствующая случайная величина, подчиняющаяся биномиальному распределению обозначается буквой $m$ (чтобы мне не путаться). Я правильно понимаю, что вы предлагаете значения производной случайной величины:

$$b\left( m \right)=\sigma \sqrt{2}\operatorname{erfinv}\left( \frac{2m}{N}-1 \right)$$

помножить на вероятности

$$P\left( m \right)=\left( \begin{matrix} N \\ m \\ \end{matrix} \right){{p}^{m}}{{\left( 1-p \right)}^{N-m}}$$

и то, что получится в результате суммирования считать оценкой величины $a$? В любом случае, эти вероятности считаются через величину $p$, являющуюся функцией неизвестной мне величины $a$, поэтому сумма не может быть посчитана.

[upgrade]

B@R5uk
А вы можете написать какие значения принимает биноминальная с.в.?

[--mS--]

B@R5uk в сообщении #1418795 писал(а):

Давайте для начала уточним: $n$ — это фиксированное число, полученное из эксперимента.

Как же Вы собираетесь искать математическое ожидание и дисперсию функции от этого "фиксированного числа"? Нет, $n$ у Вас - это случайная величина с биномиальным распределением. Ну не хотите $n$, пусть будет $m$ :)

B@R5uk в сообщении #1418795 писал(а):

Пусть соответствующая случайная величина, подчиняющаяся биномиальному распределению обозначается буквой $m$ (чтобы мне не путаться). Я правильно понимаю, что вы предлагаете значения производной случайной величины:

$$b\left( m \right)=\sigma \sqrt{2}\operatorname{erfinv}\left( \frac{2m}{N}-1 \right)$$

помножить на вероятности

$$P\left( m \right)=\left( \begin{matrix} N \\ m \\ \end{matrix} \right){{p}^{m}}{{\left( 1-p \right)}^{N-m}}$$

и то, что получится в результате суммирования считать оценкой величины $a$? В любом случае, эти вероятности считаются через величину $p$, являющуюся функцией неизвестной мне величины $a$, поэтому сумма не может быть посчитана.

Оценка для величины $a$ - это у Вас $\tilde a$. А совсем не то матожидание, которое получится. Вы хотели знать, как считать матожидание оценки - так, как выше у Вас написано, перемножая значения на вероятности. Математическое ожидание и должно зависеть от неизвестного параметра, так всегда бывает.

[B@R5uk]

--mS-- в сообщении #1418808 писал(а):

Оценка для величины $a$ - это у Вас $\tilde a$.

Ну, это была моя первая идея и она не очень мне нравилась. Потом я попробовал считать через Байеса и у меня получилось, что $\tilde a$ — это наивероятнейшее значение оценки для $a$, но оно, вообще говоря, отличается от средней оценки (распределение для оценки кривобокое потому что).

--mS-- в сообщении #1418808 писал(а):

Вы хотели знать, как считать матожидание оценки — так, как выше у Вас написано, перемножая значения на вероятности.

Нет, конечно! Я хочу посчитать саму оценку и дисперсию к ней (или оценку дисперсии — чтобы бы это ни было, лишь бы это было считаемым числом). Из известных мне данных, чтобы получить конкретные числа для дальнейшей работы.

--mS-- в сообщении #1418808 писал(а):

Как же Вы собираетесь искать математическое ожидание и дисперсию функции от этого "фиксированного числа"?

Вот в том-то и проблема! У меня задано три числа, а найти мне надо распределение.

[--mS--]

Сама оценка у Вас выписана: это $\tilde a$. оценка метода моментов. Она же в данном случае и оценка максимального правдоподобия.
Это случайная величина. Она есть функция от случайной величины с биномиальным распределением. Математическое ожидание (а потом и дисперсия) случайной величины $\tilde a$ считается, как уже 10 раз повторено: суммируем значения, умноженные на вероятности, получаем матожидание. Суммируем квадраты значений, умноженных на вероятности, получаем второй момент. Если Вы хотите иметь матожидание и дисперсию этой оценки, никаких иных царских путей не существует. Если Вы хотите что-то иное - сформулируйте, что именно.

[B@R5uk]

--mS-- в сообщении #1418830 писал(а):

Если Вы хотите что-то иное - сформулируйте, что именно.

Ну я же уже сформулировал что мне нужно: числа для работы с ними. То, что вы предлагаете, посчитать нельзя, поэтому мне от этого никакого проку. Я больше не знаю, как ещё можно объяснить. То, что вы говорите, возможно, концептуально верно с точки зрения теории, но практической пользы от этого никакой. Я не знаю, поставьте себя на моё место: вам нужна не стройная и строгая теория, а практические методы расчёта величин.

-- 03.10.2019, 14:20 --

--mS-- в сообщении #1418830 писал(а):

...никаких иных царских путей не существует...

Я своим вторым сообщением в этой теме предложил расчёт через формулу Байеса, но пока не получил никаких комментариев/замечаний/утверждений о неверности вывода. Я правильно понимаю, что вы отрицаете такой подход? В принципе через Байеса я могу посчитать всё, что мне нужно, просто у меня были сомнения в выводе и вопрос о том, есть ли другие подходы.

[--mS--]

Числа (асимптотические значения матожидания и дисперсии) давно дал Евгений Машеров.

Евгений Машеров в сообщении #1418496 писал(а):

В результате эксперимента оказалось, что неизвестная величина a является квантилем порядка $p=\frac n N$ стандартного нормального распределения с дисперсией $\sigma^2$. Асимптотически его матожидание будет $m=\sigma \Phi^{-1}(p)$, а его дисперсия будет $\sigma^2_Q=\frac {\sigma^2} N \frac{p(1-p)}{\varphi^2(\Phi^{-1}(p))}$

Байесовский подход нельзя отрицать, он существует. Но, как уже многократно обсуждалось, должен основываться на реальных предположениях о случайности параметра $a$, а не на его незнании.