2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Оценка погрешности для вероятности события
Сообщение17.01.2019, 17:43 
Заслуженный участник
Аватара пользователя


28/04/16
2388
Внутри ускорителя
Добрый день.

Прошу прощения за идиотический и простой вопрос, но у меня немного шарики за ролики зашли. :oops:
У меня имеется набор из $N$ симуляций, которые могут закончиться различными способами. В результате каждого из измерений может получиться некоторый результат. Соответственно, я могу вычислить вероятность каждого $i$-го исхода как $p_i = \frac{n_i}{N}$, где $n_i$ число измерений, закончившихся $i$-м исходом.
А могу ли я как-нибудь разумным способом вычислить погрешность (например, стандартное отклонение) к этому числу $p_i$, чтобы получить оценку $p_i_{-\sigma_-}^{+\sigma_+}$?

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение17.01.2019, 18:40 


11/07/16
801
Нахождение интервальных оценок вероятностей полиномиального распределения изложено, например, в книге Г. Ивченко, Ю. Медведев, Введение в математическую статистику:Учебник. М.: Издательство ЛКИ, 2010.-600 С., Пример 18 на с. 238-239.

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение17.01.2019, 21:37 
Заслуженный участник
Аватара пользователя


28/04/16
2388
Внутри ускорителя
Markiyan Hirnyk, спасибо большое. Правда, я с полиномиальными распределениями за всю жизнь (к своему стыду) не сталкивался, поэтому пока что буксую.

А такой вопрос: если я сделаю "макросерию" из серий независимых $N$ симуляций, а потом среднее посчитаю как среднее вероятностей исходов в этих "макросериях" симуляций, и аналогично обойдусь со стандартным отклонением, это будет корректная оценка, или нет?

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение17.01.2019, 22:05 


11/07/16
801
Цитата:
Правда, я с полиномиальными распределениями за всю жизнь (к своему стыду) не сталкивался, поэтому пока что буксую

Проконсультируйтесь со специалистами.
Цитата:
А такой вопрос: если я сделаю "макросерию" из серий независимых $N$ симуляций, а потом среднее посчитаю как среднее вероятностей исходов в этих "макросериях" симуляций, и аналогично обойдусь со стандартным отклонением, это будет корректная оценка, или нет?

Не понял, поэтому не могу ответить. "Среднее" каких величин имеете в виду? Что такое "симуляция"? Пожалуйста, изъясняйтесь точно и четко. Извините, по моему местному времени уже поздний вечер.

PS. Если я Вас правильно понял и если точечные оценки вероятностей распределены асимптотически нормально (в данный момент это выяснять не стану), то так поступать можно. Однако это неэффективный путь. Есть такое высказывание, что статистика начинается с 30. Если "симуляция" состоит из 30 опытов и "макросерий" тоже 30, то понадобится 900 опытов. Насколько я понимаю, для оценок из книги Ивченко и Медведева требуется на порядок меньший объем данных.

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение18.01.2019, 00:18 
Заслуженный участник
Аватара пользователя


28/04/16
2388
Внутри ускорителя
Markiyan Hirnyk в сообщении #1369435 писал(а):
Не понял, поэтому не могу ответить.

Извиняюсь. Попробую объяснить поподробнее. У меня имеется виртуальный химический реактор (типа известного Urey-Miller Nanoreactor Simulation). Задавая разные начальные условия, я могу проводить моделирование, в результате которого на выходе образуются разные продукты реакций. Соответственно, одно начальное условие даёт один набор продуктов, и это есть та самая одна симуляция.
Я случайным образом меняю начальные условия, в результате чего могу набрать статистику из $N$ прогонов (порядка сотни штук, симуляции не очень дешёвые, да и весит каждая ~ по 5 гигов). И я хочу оценить относительный выход разных продуктов реакции, он, как я понимаю, равен $\omega_i = 100\% \cdot \underbrace{n_i/N}_{\approx p_i}$ (число симуляций, которые привели к i-му продукту на общее число симуляций). А поскольку выходы бывают маленькие (порядка 1-10%), я хочу дать этим выходам оценку погрешности (много симуляций сделать не удастся).
Markiyan Hirnyk в сообщении #1369435 писал(а):
Проконсультируйтесь со специалистами.

Пытаюсь это сделать тут.
В приведённой Вами книге, на стр. 38 (§ 1.1.6) есть формула для дисперсии полиномиального распределения:
$D \nu_i = n p_i (1 - p_i)$. Если я правильно понимаю, именно эту формулу мне и можно использовать? Т.е. оценка среднеквадратичного отклонения для выхода $\omega_i$ будет $\sigma_i \approx 100\% \cdot \sqrt{N p_i(1-p_i)}$, а соответствующая стандартная ошибка $\mathrm{SE}_i =100\% \cdot \frac{\sigma_i}{\sqrt{N}} = 100\% \cdot \sqrt{ p_i(1-p_i)} $, правильно?

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение18.01.2019, 09:37 


11/07/16
801
madschumacher У меня такое впечатление, что Вы не обратили внимание на PS в моем предыдущем сообщении. Вы пишете
Цитата:
В приведённой Вами книге, на стр. 38 (§ 1.1.6) есть формула для дисперсии полиномиального распределения:

Это на с. 39, а не 38. На с. 40 указано, что компоненты полиномиального распределения являются биномиальными распределениями. Этот случай рассмотрен в примере 17 на с. 237-238. Извините, я сейчас занят и не имею возможности рассмотреть Вашу новую идею. Всего доброго!

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение18.01.2019, 22:07 
Аватара пользователя


26/05/12
1534
приходит весна?
madschumacher в сообщении #1369481 писал(а):
Я случайным образом меняю начальные условия, в результате чего могу набрать статистику из $N$ прогонов (порядка сотни штук, симуляции не очень дешёвые, да и весит каждая ~ по 5 гигов). И я хочу оценить относительный выход разных продуктов реакции, он, как я понимаю, равен $\omega_i = 100\% \cdot \underbrace{n_i/N}_{\approx p_i}$ (число симуляций, которые привели к i-му продукту на общее число симуляций).

А смысл всего этого? Я ещё понимаю, если бы при одних и тех же начальных условиях по каким-то внутренним причинам получались бы разные результаты, тогда имело бы смысл наводить статистику и смотреть как среднее и дисперсия зависят от начальных значений. Но вы же сами в ручную меняете начальные условия, зачем же потом это всё в одну кучу смешивать?

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение18.01.2019, 22:47 
Заслуженный участник
Аватара пользователя


28/04/16
2388
Внутри ускорителя
Markiyan Hirnyk в сообщении #1369545 писал(а):
Извините, я сейчас занят и не имею возможности рассмотреть Вашу новую идею. Всего доброго!

Ничего страшного. Спасибо за помощь и наводки, я постараюсь разобраться получше! :D
B@R5uk в сообщении #1369737 писал(а):
Но вы же сами в ручную меняете начальные условия, зачем же потом это всё в одну кучу смешивать?

А кто сказал, что я вручную меняю? Может под
madschumacher в сообщении #1369481 писал(а):
случайным образом меняю начальные условия

я подразумевал нечто физически осмысленное?

(спойлер)

(а я подразумевал :lol: )

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение18.01.2019, 23:02 
Аватара пользователя


26/05/12
1534
приходит весна?
Тогда вам стоит более подробно объяснить, что именно происходит, и почему величина, которую вы рассчитываете имеет смысл.

А вообще, если абстрагироваться от всей физики/химии, то можно придумать что-то такое. Дальше в теме можно почитать критику моего предложения. Но оно, во всяком случае, позволяет ввести распределение для искомой вероятности и рассчитать по нему среднее, наивероятнейшее, дисперсию и чего только пожелаете.

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение18.01.2019, 23:50 
Заслуженный участник
Аватара пользователя


28/04/16
2388
Внутри ускорителя
B@R5uk в сообщении #1369771 писал(а):
Тогда вам стоит более подробно объяснить, что именно происходит, и почему величина, которую вы рассчитываете имеет смысл.

Ну куда уж подробнее? Я не понимаю, что тут непонятного, честно. Задайте вопрос какой-нть, чтобы я понял в каком направлении копать...
B@R5uk в сообщении #1369771 писал(а):
А вообще, если абстрагироваться от всей физики/химии

Мне не очень хочется от неё абстрагироваться, всё же это для меня физика и химия первичны. Работа однако, жрат за неё могу купить. :lol: Да и мозг у меня в других терминах не мыслит, проф.деформация, однако.
А за ссылку спасибо, посмотрю.

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение19.01.2019, 01:07 
Заслуженный участник


09/05/13
8904
madschumacher
Постановка задачи непонятна. Что значит "меняю начальные условия"?
Вот смотрите, я сейчас буду менять начальные условия.
У меня в корзине $n$ белых, $m$ красных и $k$ черных шариков.
Я достаю из нее шарики, пытаясь по частоте оценить состав.

Поменяю начальные условия (состав корзины). И буду проделывать ту же процедуру.

Ага, а теперь буду менять начальные условия каждый раз.

Так у Вас? Потому что выглядит так, а так ничего не выйдет.

Или все-таки Вы набираете нужную статистику на каждом из начальных условий?

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение19.01.2019, 02:07 
Заслуженный участник
Аватара пользователя


04/09/14
5003
ФТИ им. Иоффе СПб
Otta в сообщении #1369857 писал(а):
Постановка задачи непонятна. Что значит "меняю начальные условия"?
Я, как человек далекий от всего, попытаюсь пояснить, а madschumacher, если что, подправит. Как я понял, случайной величиной являются те самые начальные условия. Видимо, про них известно все (функция распределения и т.п.). После пропускания этих начальных условий через стимулятор на выходе симулятора появляется набор неких других величин, являющихся случайными в силу случайности начальных условий. Проблема в том, что симулятор - "черный ящик", и что он делает с начальными условиями - загадка. Хочется знать (сосчитать) хоть какие стат. свойства выходных параметров. madschumacher, так?

 Профиль  
                  
 
 Re: Оценка погрешности для вероятности события
Сообщение19.01.2019, 02:57 
Заслуженный участник
Аватара пользователя


28/04/16
2388
Внутри ускорителя
amon в сообщении #1369870 писал(а):
Хочется знать (сосчитать) хоть какие стат. свойства выходных параметров. madschumacher, так?

Точнее и не сказать! Спасибо большое! :D

В контексте приведённого выше виртуального реактора это конкретно означает следующее: у меня есть распределение начальных скоростей/координат системы, из него получаются конкретные варианты стартовых условий. Т.е. система одна и та же, но из-за её квантовой сущности, она может быть разной в начальный момент времени.

(Оффтоп)

Начальные условия генерятся из вигнеровской функции основного колебательного состояния молекулярной системы.

На сгенерированных начальных условиях проводится эволюция системы (по уравнениям класс.меха в жутко сложном потенциале, вычисляемом численно) в присутствии внешних условий (они фиксированы). Это и есть тот самый чёрный ящик.
А выходными параметрами является образующий состав продуктов реакции. Хочется оценить, как распределены разные финальные продукты.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 13 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group