2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу 1, 2, 3  След.
 
 Интерпретация результата статистического эксперимента
Сообщение28.09.2019, 21:49 
Аватара пользователя


26/05/12
1694
приходит весна?
Имеется система, выдающая случайную величину с нормальным распределением $\mathrm{N}\left(0,\sigma^2\right)$ и сравнивающая её с некой неизвестной величиной $a$, выдавая результат сравнения (больше, меньше). Проведено $N$ экспериментов, в результате которых $n$ имеют значение "меньше". Требуется найти оценку для величины $a$ и дисперсию этой оценки $\sigma_a$.

Первое, что приходит в голову, — это взять оценку на вероятность получить "меньше" — величину $n/N$ — и подставить в функцию, обратную функции распределения нормального распределения: $$\tilde{a}=\sigma \sqrt{2}\operatorname{erfinv}\left( \frac{2n}{N}-1 \right)$$ Однако с оценкой дисперсии ничего не могу сообразить, всё забыл. Подскажите, пожалуйста, в каком направлении копать.

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 11:41 


10/03/16
4444
Aeroport
Ваша оценка детерминированно зависит от биномиально распределенной с.в. Почитайте в хелпах, как вычислить дисперсию функции с.в.

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 13:05 
Аватара пользователя


26/05/12
1694
приходит весна?
Наверное, сформулирую задачу ещё раз, не спеша. Система генерирует случайную величину $\xi\in N\left(0,\sigma^2\right)$ с известной $\sigma$ и сравнивает её с неизвестной пороговой величиной $a$. Случаи, когда результатом сравнения является "меньше" будем называть удачными. Вероятность удачного исхода будет равна:$$p=P\left( \xi <a \right)=\frac{1}{2}\left( 1+\operatorname{erf}\left( \frac{a}{\sigma \sqrt{2}} \right) \right)$$ Фактически это функция распределения случайной величины $\xi$. С этой системой проводится $N$ экспериментов, и $n$ этих экспериментов являются удачными. По этим данным требуется оценить неизвестную величину $a$ и дисперсию этой оценки. Фактически я хочу получить результат для величины $a$ снова в виде нормального распределения. И отбросить случаи, когда величины $n$ и $N$ такие, что распределение для $a$ не похоже на нормальное.

Дальше я пытаюсь решать это всё через формулу Байеса (нечестную). Для этого надо обозначить события. Число экспериментов $N$ фиксировано. Пусть событие $A$ — это попадание величины $a$ в диапазон $\left( y,y+dy \right)$, а событие B — число удачных экспериментов равно $n$. Тогда: $$P\left( AB \right)=P\left( A|B \right)P\left( B \right)=P\left( B|A \right)P\left( A \right)$$ $$P\left( A|B \right)={{f}_{B}}\left( y \right)dy$$ $$\[P\left( B|A \right)=\left( \begin{matrix} N \\ n \\ \end{matrix} \right){{p}^{n}}\left( y \right){{\left( 1-p\left( y \right) \right)}^{N-n}}\]$$ $$\[P\left( B \right)=\int\limits_{-\infty }^{+\infty }{P\left( B|A \right)f\left( y \right)dy}\]$$ $$P\left( A \right)=f\left( y \right)dy$$ $$p\left( y \right)=\frac{1}{2}\left( 1+\operatorname{erf}\left( \frac{y}{\sigma \sqrt{2}} \right) \right)$$ Здесь ${{f}_{B}}\left( y \right)$ — искомая функция распределения моей неизвестной величины $a$. А $f\left( y \right)$ — априорное распределение величины $a$, которую я полагаю равномерной (функция равна константе, не знаю, как такое нормировать). Если собрать все константы в кучу и выделить только функциональную зависимость, то получается вот такая страшная формула: $${{f}_{B}}\left( y \right)=C{{\left( 1+\operatorname{erf}\left( \frac{y}{\sigma \sqrt{2}} \right) \right)}^{n}}{{\left( 1-\operatorname{erf}\left( \frac{y}{\sigma \sqrt{2}} \right) \right)}^{N-n}}$$

Я пока правильно рассуждаю?

-- 29.09.2019, 13:07 --

Пока печатал решение появился ответ.
ozheredov в сообщении #1418087 писал(а):
Ваша оценка детерминированно зависит от биномиально распределенной с.в. ...

Я тоже сначала так думал. Но сейчас, после того, как попытался решить через формулу Байеса, думаю, что это утверждение ошибочно. Поправьте, если не прав.

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 13:24 


07/08/14
4231
B@R5uk
Так пробовали?:
$F(X+Y)=f(X)\ast f(Y)$

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 13:34 
Аватара пользователя


26/05/12
1694
приходит весна?
upgrade, не понимаю, что вы имеете в виду. Можете пояснить, пожалуйста?

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 13:41 


07/08/14
4231
B@R5uk в сообщении #1418002 писал(а):
сравнивающая её с некой неизвестной величиной $a$

Сравнение больше меньше - это тоже самое что суммирование и определение знака результата.
Сумма случайных величин - свёртка их распределений.
Узнав распределение свёртки вы автоматически узнаете распределение результатов сравнения.
Ну а зная распределение намного легче работать с его характеристиками (матожидание, дисперсия, ...).
Я глубоко не вдавался, так - идея просто.

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 14:11 
Аватара пользователя


26/05/12
1694
приходит весна?
upgrade в сообщении #1418105 писал(а):
Сумма случайных величин - свёртка их распределений.

Спасибо за интересный совет, но так здесь работать не будет. Из двух величин только одна является случайной — величина $\xi$. А величина $a$ — константа, хоть и неизвестная. Снова случайной становится лишь оценка $y$ величины $a$ и то, только потому, что о самой величине $a$ можно судить только из статистического эксперимента, точно измерить её нельзя.

-- 29.09.2019, 14:14 --

B@R5uk в сообщении #1418096 писал(а):
Здесь ${{f}_{B}}\left( y \right)$ — искомая функция распределения моей неизвестной величины $a$. А $f\left( y \right)$ — априорное распределение величины $a$, которую я полагаю равномерной...

Правильно будет написать так:
Цитата:
Здесь ${{f}_{B}}\left( y \right)$ — искомая функция распределения оценки $y$ моей неизвестной величины $a$. А $f\left( y \right)$ — априорное распределение оценки $y$, которую я полагаю равномерной...

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 15:09 


10/03/16
4444
Aeroport
B@R5uk в сообщении #1418096 писал(а):
Здесь ${{f}_{B}}\left( y \right)$ — искомая функция распределения моей неизвестной величины $a$.


Я прочитал пост по диагонали, но: сорян, вот эта фраза
B@R5uk в сообщении #1418096 писал(а):
Здесь ${{f}_{B}}\left( y \right)$ — искомая функция распределения моей неизвестной величины $a$.


руинит весь подход: ваша $a$ неслучайная величина, у нее нет распределения (окромя дельта-функции). Случайной является ее точечная оценка , дисперсию которой вам надо оценить

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 15:12 
Аватара пользователя


26/05/12
1694
приходит весна?
ozheredov, буквально постом перед вами я именно эту неграмотность исправил. Извиняюсь, что не выразил свою мысль грамотно с первого раза.

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 15:21 


10/03/16
4444
Aeroport
B@R5uk
А, тогда все ок. Это вы меня простите )

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 15:26 
Аватара пользователя


26/05/12
1694
приходит весна?
То есть формула $${{f}_{B}}\left( y \right)=C{{\left( 1+\operatorname{erf}\left( \frac{y}{\sigma \sqrt{2}} \right) \right)}^{n}}{{\left( 1-\operatorname{erf}\left( \frac{y}{\sigma \sqrt{2}} \right) \right)}^{N-n}}$$ для функции распределения оценки $y$ имеет право на жизнь?

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение29.09.2019, 19:03 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Посмотрите "порядковые статистики"
https://en.wikipedia.org/wiki/Order_statistic

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение01.10.2019, 06:57 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Снова одно и то же. Если $a$ - неизвестная постоянная, у неё нет никакой "равномерной на всей прямой" плотности распределения. Величина $n$ имеет биномиальное распределение с параметрами $N$ и $p$, матожидание и дисперсия оценки считается как указано
ozheredov в сообщении #1418087 писал(а):
Ваша оценка детерминированно зависит от биномиально распределенной с.в. Почитайте в хелпах, как вычислить дисперсию функции с.в.


Ситуация, когда $a$ неизвестное число, - это совсем не то же самое, что ситуация, когда $a$ - случайная величина с некоторой плотностью распределения. Какой смысл любую задачу оценивания параметра сводить к байесовской постановке?

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение01.10.2019, 08:31 
Аватара пользователя


26/05/12
1694
приходит весна?
--mS--, как тогда вы предложите посчитать среднее и дисперсию для оценки величины $a$?

 Профиль  
                  
 
 Re: Интерпретация результата статистического эксперимента
Сообщение01.10.2019, 09:05 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Выше это дважды написано. По определению, как сумму значений, умноженных на биномиальные вероятности.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 41 ]  На страницу 1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group