2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу 1, 2, 3  След.
 
 Интерпретация результата статистического эксперимента
Сообщение28.09.2019, 21:49 
Аватара пользователя


26/05/12
1694
приходит весна?
Имеется система, выдающая случайную величину с нормальным распределением $\mathrm{N}\left(0,\sigma^2\right)$ и сравнивающая её с некой неизвестной величиной $a$, выдавая результат сравнения (больше, меньше). Проведено $N$ экспериментов, в результате которых $n$ имеют значение "меньше". Требуется найти оценку для величины $a$ и дисперсию этой оценки $\sigma_a$.

Первое, что приходит в голову, — это взять оценку на вероятность получить "меньше" — величину $n/N$ — и подставить в функцию, обратную функции распределения нормального распределения: $$\tilde{a}=\sigma \sqrt{2}\operatorname{erfinv}\left( \frac{2n}{N}-1 \right)$$ Однако с оценкой дисперсии ничего не могу сообразить, всё забыл. Подскажите, пожалуйста, в каком направлении копать.

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 11:41 


10/03/16
4444
Aeroport
Ваша оценка детерминированно зависит от биномиально распределенной с.в. Почитайте в хелпах, как вычислить дисперсию функции с.в.

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 13:05 
Аватара пользователя


26/05/12
1694
приходит весна?
Наверное, сформулирую задачу ещё раз, не спеша. Система генерирует случайную величину $\xi\in N\left(0,\sigma^2\right)$ с известной $\sigma$ и сравнивает её с неизвестной пороговой величиной $a$. Случаи, когда результатом сравнения является "меньше" будем называть удачными. Вероятность удачного исхода будет равна:$$p=P\left( \xi <a \right)=\frac{1}{2}\left( 1+\operatorname{erf}\left( \frac{a}{\sigma \sqrt{2}} \right) \right)$$ Фактически это функция распределения случайной величины $\xi$. С этой системой проводится $N$ экспериментов, и $n$ этих экспериментов являются удачными. По этим данным требуется оценить неизвестную величину $a$ и дисперсию этой оценки. Фактически я хочу получить результат для величины $a$ снова в виде нормального распределения. И отбросить случаи, когда величины $n$ и $N$ такие, что распределение для $a$ не похоже на нормальное.

Дальше я пытаюсь решать это всё через формулу Байеса (нечестную). Для этого надо обозначить события. Число экспериментов $N$ фиксировано. Пусть событие $A$ — это попадание величины $a$ в диапазон $\left( y,y+dy \right)$, а событие B — число удачных экспериментов равно $n$. Тогда: $$P\left( AB \right)=P\left( A|B \right)P\left( B \right)=P\left( B|A \right)P\left( A \right)$$ $$P\left( A|B \right)={{f}_{B}}\left( y \right)dy$$ $$\[P\left( B|A \right)=\left( \begin{matrix} N \\ n \\ \end{matrix} \right){{p}^{n}}\left( y \right){{\left( 1-p\left( y \right) \right)}^{N-n}}\]$$ $$\[P\left( B \right)=\int\limits_{-\infty }^{+\infty }{P\left( B|A \right)f\left( y \right)dy}\]$$ $$P\left( A \right)=f\left( y \right)dy$$ $$p\left( y \right)=\frac{1}{2}\left( 1+\operatorname{erf}\left( \frac{y}{\sigma \sqrt{2}} \right) \right)$$ Здесь ${{f}_{B}}\left( y \right)$ — искомая функция распределения моей неизвестной величины $a$. А $f\left( y \right)$ — априорное распределение величины $a$, которую я полагаю равномерной (функция равна константе, не знаю, как такое нормировать). Если собрать все константы в кучу и выделить только функциональную зависимость, то получается вот такая страшная формула: $${{f}_{B}}\left( y \right)=C{{\left( 1+\operatorname{erf}\left( \frac{y}{\sigma \sqrt{2}} \right) \right)}^{n}}{{\left( 1-\operatorname{erf}\left( \frac{y}{\sigma \sqrt{2}} \right) \right)}^{N-n}}$$

Я пока правильно рассуждаю?

-- 29.09.2019, 13:07 --

Пока печатал решение появился ответ.
ozheredov в сообщении #1418087 писал(а):
Ваша оценка детерминированно зависит от биномиально распределенной с.в. ...

Я тоже сначала так думал. Но сейчас, после того, как попытался решить через формулу Байеса, думаю, что это утверждение ошибочно. Поправьте, если не прав.

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 13:24 


07/08/14
4231
B@R5uk
Так пробовали?:
$F(X+Y)=f(X)\ast f(Y)$

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 13:34 
Аватара пользователя


26/05/12
1694
приходит весна?
upgrade, не понимаю, что вы имеете в виду. Можете пояснить, пожалуйста?

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 13:41 


07/08/14
4231
B@R5uk в сообщении #1418002 писал(а):
сравнивающая её с некой неизвестной величиной $a$

Сравнение больше меньше - это тоже самое что суммирование и определение знака результата.
Сумма случайных величин - свёртка их распределений.
Узнав распределение свёртки вы автоматически узнаете распределение результатов сравнения.
Ну а зная распределение намного легче работать с его характеристиками (матожидание, дисперсия, ...).
Я глубоко не вдавался, так - идея просто.

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 14:11 
Аватара пользователя


26/05/12
1694
приходит весна?
upgrade в сообщении #1418105 писал(а):
Сумма случайных величин - свёртка их распределений.

Спасибо за интересный совет, но так здесь работать не будет. Из двух величин только одна является случайной — величина $\xi$. А величина $a$ — константа, хоть и неизвестная. Снова случайной становится лишь оценка $y$ величины $a$ и то, только потому, что о самой величине $a$ можно судить только из статистического эксперимента, точно измерить её нельзя.

-- 29.09.2019, 14:14 --

B@R5uk в сообщении #1418096 писал(а):
Здесь ${{f}_{B}}\left( y \right)$ — искомая функция распределения моей неизвестной величины $a$. А $f\left( y \right)$ — априорное распределение величины $a$, которую я полагаю равномерной...

Правильно будет написать так:
Цитата:
Здесь ${{f}_{B}}\left( y \right)$ — искомая функция распределения оценки $y$ моей неизвестной величины $a$. А $f\left( y \right)$ — априорное распределение оценки $y$, которую я полагаю равномерной...

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 15:09 


10/03/16
4444
Aeroport
B@R5uk в сообщении #1418096 писал(а):
Здесь ${{f}_{B}}\left( y \right)$ — искомая функция распределения моей неизвестной величины $a$.


Я прочитал пост по диагонали, но: сорян, вот эта фраза
B@R5uk в сообщении #1418096 писал(а):
Здесь ${{f}_{B}}\left( y \right)$ — искомая функция распределения моей неизвестной величины $a$.


руинит весь подход: ваша $a$ неслучайная величина, у нее нет распределения (окромя дельта-функции). Случайной является ее точечная оценка , дисперсию которой вам надо оценить

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 15:12 
Аватара пользователя


26/05/12
1694
приходит весна?
ozheredov, буквально постом перед вами я именно эту неграмотность исправил. Извиняюсь, что не выразил свою мысль грамотно с первого раза.

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 15:21 


10/03/16
4444
Aeroport
B@R5uk
А, тогда все ок. Это вы меня простите )

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 15:26 
Аватара пользователя


26/05/12
1694
приходит весна?
То есть формула $${{f}_{B}}\left( y \right)=C{{\left( 1+\operatorname{erf}\left( \frac{y}{\sigma \sqrt{2}} \right) \right)}^{n}}{{\left( 1-\operatorname{erf}\left( \frac{y}{\sigma \sqrt{2}} \right) \right)}^{N-n}}$$ для функции распределения оценки $y$ имеет право на жизнь?

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 19:03 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Посмотрите "порядковые статистики"
https://en.wikipedia.org/wiki/Order_statistic

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение01.10.2019, 06:57 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Снова одно и то же. Если $a$ - неизвестная постоянная, у неё нет никакой "равномерной на всей прямой" плотности распределения. Величина $n$ имеет биномиальное распределение с параметрами $N$ и $p$, матожидание и дисперсия оценки считается как указано
ozheredov в сообщении #1418087 писал(а):
Ваша оценка детерминированно зависит от биномиально распределенной с.в. Почитайте в хелпах, как вычислить дисперсию функции с.в.


Ситуация, когда $a$ неизвестное число, - это совсем не то же самое, что ситуация, когда $a$ - случайная величина с некоторой плотностью распределения. Какой смысл любую задачу оценивания параметра сводить к байесовской постановке?

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение01.10.2019, 08:31 
Аватара пользователя


26/05/12
1694
приходит весна?
--mS--, как тогда вы предложите посчитать среднее и дисперсию для оценки величины $a$?

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение01.10.2019, 09:05 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Выше это дважды написано. По определению, как сумму значений, умноженных на биномиальные вероятности.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 41 ]  На страницу 1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: eugensk


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group