Оценка погрешности для вероятности события

[madschumacher]

Добрый день.

Прошу прощения за идиотический и простой вопрос, но у меня немного шарики за ролики зашли.
У меня имеется набор из $N$ симуляций, которые могут закончиться различными способами. В результате каждого из измерений может получиться некоторый результат. Соответственно, я могу вычислить вероятность каждого $i$-го исхода как $p_i = \frac{n_i}{N}$, где $n_i$ число измерений, закончившихся $i$-м исходом.
А могу ли я как-нибудь разумным способом вычислить погрешность (например, стандартное отклонение) к этому числу $p_i$, чтобы получить оценку $p_i_{-\sigma_-}^{+\sigma_+}$?

[Markiyan Hirnyk]

Нахождение интервальных оценок вероятностей полиномиального распределения изложено, например, в книге Г. Ивченко, Ю. Медведев, Введение в математическую статистику:Учебник. М.: Издательство ЛКИ, 2010.-600 С., Пример 18 на с. 238-239.

[madschumacher]

Markiyan Hirnyk, спасибо большое. Правда, я с полиномиальными распределениями за всю жизнь (к своему стыду) не сталкивался, поэтому пока что буксую.

А такой вопрос: если я сделаю "макросерию" из серий независимых $N$ симуляций, а потом среднее посчитаю как среднее вероятностей исходов в этих "макросериях" симуляций, и аналогично обойдусь со стандартным отклонением, это будет корректная оценка, или нет?

[Markiyan Hirnyk]

Цитата:

Правда, я с полиномиальными распределениями за всю жизнь (к своему стыду) не сталкивался, поэтому пока что буксую

Проконсультируйтесь со специалистами.

Цитата:

А такой вопрос: если я сделаю "макросерию" из серий независимых $N$ симуляций, а потом среднее посчитаю как среднее вероятностей исходов в этих "макросериях" симуляций, и аналогично обойдусь со стандартным отклонением, это будет корректная оценка, или нет?

Не понял, поэтому не могу ответить. "Среднее" каких величин имеете в виду? Что такое "симуляция"? Пожалуйста, изъясняйтесь точно и четко. Извините, по моему местному времени уже поздний вечер.

PS. Если я Вас правильно понял и если точечные оценки вероятностей распределены асимптотически нормально (в данный момент это выяснять не стану), то так поступать можно. Однако это неэффективный путь. Есть такое высказывание, что статистика начинается с 30. Если "симуляция" состоит из 30 опытов и "макросерий" тоже 30, то понадобится 900 опытов. Насколько я понимаю, для оценок из книги Ивченко и Медведева требуется на порядок меньший объем данных.

[madschumacher]

Markiyan Hirnyk в сообщении #1369435 писал(а):

Не понял, поэтому не могу ответить.

Извиняюсь. Попробую объяснить поподробнее. У меня имеется виртуальный химический реактор (типа известного Urey-Miller Nanoreactor Simulation). Задавая разные начальные условия, я могу проводить моделирование, в результате которого на выходе образуются разные продукты реакций. Соответственно, одно начальное условие даёт один набор продуктов, и это есть та самая одна симуляция.
Я случайным образом меняю начальные условия, в результате чего могу набрать статистику из $N$ прогонов (порядка сотни штук, симуляции не очень дешёвые, да и весит каждая ~ по 5 гигов). И я хочу оценить относительный выход разных продуктов реакции, он, как я понимаю, равен $\omega_i = 100\% \cdot \underbrace{n_i/N}_{\approx p_i}$ (число симуляций, которые привели к i-му продукту на общее число симуляций). А поскольку выходы бывают маленькие (порядка 1-10%), я хочу дать этим выходам оценку погрешности (много симуляций сделать не удастся).

Markiyan Hirnyk в сообщении #1369435 писал(а):

Проконсультируйтесь со специалистами.

Пытаюсь это сделать тут.
В приведённой Вами книге, на стр. 38 (§ 1.1.6) есть формула для дисперсии полиномиального распределения:
$D \nu_i = n p_i (1 - p_i)$. Если я правильно понимаю, именно эту формулу мне и можно использовать? Т.е. оценка среднеквадратичного отклонения для выхода $\omega_i$ будет $\sigma_i \approx 100\% \cdot \sqrt{N p_i(1-p_i)}$, а соответствующая стандартная ошибка $\mathrm{SE}_i =100\% \cdot \frac{\sigma_i}{\sqrt{N}} = 100\% \cdot \sqrt{ p_i(1-p_i)} $, правильно?

[Markiyan Hirnyk]

madschumacher У меня такое впечатление, что Вы не обратили внимание на PS в моем предыдущем сообщении. Вы пишете

Цитата:

В приведённой Вами книге, на стр. 38 (§ 1.1.6) есть формула для дисперсии полиномиального распределения:

Это на с. 39, а не 38. На с. 40 указано, что компоненты полиномиального распределения являются биномиальными распределениями. Этот случай рассмотрен в примере 17 на с. 237-238. Извините, я сейчас занят и не имею возможности рассмотреть Вашу новую идею. Всего доброго!

[B@R5uk]

madschumacher в сообщении #1369481 писал(а):

Я случайным образом меняю начальные условия, в результате чего могу набрать статистику из $N$ прогонов (порядка сотни штук, симуляции не очень дешёвые, да и весит каждая ~ по 5 гигов). И я хочу оценить относительный выход разных продуктов реакции, он, как я понимаю, равен $\omega_i = 100\% \cdot \underbrace{n_i/N}_{\approx p_i}$ (число симуляций, которые привели к i-му продукту на общее число симуляций).

А смысл всего этого? Я ещё понимаю, если бы при одних и тех же начальных условиях по каким-то внутренним причинам получались бы разные результаты, тогда имело бы смысл наводить статистику и смотреть как среднее и дисперсия зависят от начальных значений. Но вы же сами в ручную меняете начальные условия, зачем же потом это всё в одну кучу смешивать?

[madschumacher]

Markiyan Hirnyk в сообщении #1369545 писал(а):

Извините, я сейчас занят и не имею возможности рассмотреть Вашу новую идею. Всего доброго!

Ничего страшного. Спасибо за помощь и наводки, я постараюсь разобраться получше!

B@R5uk в сообщении #1369737 писал(а):

Но вы же сами в ручную меняете начальные условия, зачем же потом это всё в одну кучу смешивать?

А кто сказал, что я вручную меняю? Может под

madschumacher в сообщении #1369481 писал(а):

случайным образом меняю начальные условия

я подразумевал нечто физически осмысленное?

(спойлер)

(а я подразумевал )

[B@R5uk]

Тогда вам стоит более подробно объяснить, что именно происходит, и почему величина, которую вы рассчитываете имеет смысл.

А вообще, если абстрагироваться от всей физики/химии, то можно придумать что-то такое. Дальше в теме можно почитать критику моего предложения. Но оно, во всяком случае, позволяет ввести распределение для искомой вероятности и рассчитать по нему среднее, наивероятнейшее, дисперсию и чего только пожелаете.

[madschumacher]

B@R5uk в сообщении #1369771 писал(а):

Тогда вам стоит более подробно объяснить, что именно происходит, и почему величина, которую вы рассчитываете имеет смысл.

Ну куда уж подробнее? Я не понимаю, что тут непонятного, честно. Задайте вопрос какой-нть, чтобы я понял в каком направлении копать...

B@R5uk в сообщении #1369771 писал(а):

А вообще, если абстрагироваться от всей физики/химии

Мне не очень хочется от неё абстрагироваться, всё же это для меня физика и химия первичны. Работа однако, жрат за неё могу купить. Да и мозг у меня в других терминах не мыслит, проф.деформация, однако.
А за ссылку спасибо, посмотрю.

[Otta]

madschumacher
Постановка задачи непонятна. Что значит "меняю начальные условия"?
Вот смотрите, я сейчас буду менять начальные условия.
У меня в корзине $n$ белых, $m$ красных и $k$ черных шариков.
Я достаю из нее шарики, пытаясь по частоте оценить состав.

Поменяю начальные условия (состав корзины). И буду проделывать ту же процедуру.

Ага, а теперь буду менять начальные условия каждый раз.

Так у Вас? Потому что выглядит так, а так ничего не выйдет.

Или все-таки Вы набираете нужную статистику на каждом из начальных условий?

[amon]

Otta в сообщении #1369857 писал(а):

Постановка задачи непонятна. Что значит "меняю начальные условия"?

Я, как человек далекий от всего, попытаюсь пояснить, а madschumacher, если что, подправит. Как я понял, случайной величиной являются те самые начальные условия. Видимо, про них известно все (функция распределения и т.п.). После пропускания этих начальных условий через стимулятор на выходе симулятора появляется набор неких других величин, являющихся случайными в силу случайности начальных условий. Проблема в том, что симулятор - "черный ящик", и что он делает с начальными условиями - загадка. Хочется знать (сосчитать) хоть какие стат. свойства выходных параметров. madschumacher, так?

[madschumacher]

amon в сообщении #1369870 писал(а):

Хочется знать (сосчитать) хоть какие стат. свойства выходных параметров. madschumacher, так?

Точнее и не сказать! Спасибо большое!

В контексте приведённого выше виртуального реактора это конкретно означает следующее: у меня есть распределение начальных скоростей/координат системы, из него получаются конкретные варианты стартовых условий. Т.е. система одна и та же, но из-за её квантовой сущности, она может быть разной в начальный момент времени.

(Оффтоп)

Начальные условия генерятся из вигнеровской функции основного колебательного состояния молекулярной системы.

На сгенерированных начальных условиях проводится эволюция системы (по уравнениям класс.меха в жутко сложном потенциале, вычисляемом численно) в присутствии внешних условий (они фиксированы). Это и есть тот самый чёрный ящик.
А выходными параметрами является образующий состав продуктов реакции. Хочется оценить, как распределены разные финальные продукты.