Сравнение оценок на вероятности

[Андрей1]

Есть выборка из двух дискретных распределений (с одним максимумом; близкие к пуассоновскому):
\{\{g_1,g_2\}, \{f_1,f_2\}\} (N штук)

g_i \ge 0, f_i \ge 0

Стоит задача, как можно более точно, оценить P\{g_1+g_2 > f_1+f_2\} (а также P\{g_1+g_2 = f_1+f_2\} и P\{g_1+g_2 < f_1+f_2\}).

Это можно делать как минимум двумя способами:
1) Для каждого элемента выборки найти g_1+g_2 > f_1+f_2 и потом найти частоту этого события по всей выборке P_{1)}\{g_1+g_2 < f_1+f_2\}).
2) Найти P_g\{g=i\} и P_f\{f=i\} как частоты, по выборке и затем найти P\{g_1+g_2 > f_1+f_2\} через эти вероятности: P_{2)}\{g_1+g_2 > f_1+f_2\}=\sum_{i>j}{P_g\{g=i\} P_f\{f=i\}}.

Вопрос в том, какой способ - более точный (как вообще исследовать такие задачи)?
Конечно, первый способ выглядит более приемлемым, но всегда ли он будет более точным?...

Кроме того, сразу возникает идея 3) построить некие P*_g\{g=i\} и P*_f\{f=i\} такие, чтобы P_{1)}\{g_1+g_2 > f_1+f_2\}=\sum_{i>j}{P*_g\{g=i\} P*_f\{f=i\}}. И, соответственно, возникает вопрос можно ли это сделать?

[Андрей1]

Изучалась где-нибудь теория, из которой можно понять, какие преобразования для P_g\{g1+g2=g\} не разрушают его асимптотику?

Ключевые слова для задачи, видимо: непараметрическая теория и робастные оценки...

[epros]

Андрей1 писал(а):

1) Для каждого элемента выборки найти g_1+g_2 > f_1+f_2 и потом найти частоту этого события по всей выборке P_{1)}\{g_1+g_2 < f_1+f_2\}).
2) Найти P_g\{g=i\} и P_f\{f=i\} как частоты, по выборке и затем найти P\{g_1+g_2 > f_1+f_2\} через эти вероятности: P_{2)}\{g_1+g_2 > f_1+f_2\}=\sum_{i>j}{P_g\{g=i\} P_f\{f=i\}}.

Вопрос в том, какой способ - более точный (как вообще исследовать такие задачи)?
Конечно, первый способ выглядит более приемлемым, но всегда ли он будет более точным?...

Второй способ основан на гипотезе независимости величин, которой на практике у Вас может и не быть. Первый способ можно получить как результат Байесовского оценивания по максимуму вероятности при равномерном априорном распределении, поэтому для указанных условий задачи (самого общего случая) он является наиболее подходящим.

[Андрей1]

epros писал(а):

Второй способ основан на гипотезе независимости величин, которой на практике у Вас может и не быть.

Можно считать, что есть независимость есть.

epros писал(а):

Первый способ можно получить как результат Байесовского оценивания по максимуму вероятности при равномерном априорном распределении, поэтому для указанных условий задачи (самого общего случая) он является наиболее подходящим.

Какое равномерное априорное распределение Вы имели ввиду?

[epros]

Андрей1 писал(а):

Можно считать, что есть независимость есть.

Тогда эту априорную информацию можно использовать при выводе формулы для оценивания. Только, как я понимаю, в данном случае это нам ничего нового не даст.

Андрей1 писал(а):

Какое равномерное априорное распределение Вы имели ввиду?

Распределение оцениваемой величины. В данном случае оцениваемая величина - это вероятность того, что одно сл. число меньше другого. Если положите априорное распределение этой вероятности равномерным по отрезку [0,1], а потом примените формулу Байеса для нахождения апостеориорного распределения этой величины, то максимум этого распределения как раз будет соответствовать формуле для первого случая.

[Андрей1]

epros писал(а):

Распределение оцениваемой величины. В данном случае оцениваемая величина - это вероятность того, что одно сл. число меньше другого. Если положите априорное распределение этой вероятности равномерным по отрезку [0,1], а потом примените формулу Байеса для нахождения апостеориорного распределения этой величины, то максимум этого распределения как раз будет соответствовать формуле для первого случая.

А разве формула для P_{2)}\{g1>g2\} не опредлеление? По моим представлениям - да и никакие дополнительные предположения не нужны .

[epros]

Андрей1 писал(а):

А разве формула для P_{2)}\{g1>g2\} не опредлеление? По моим представлениям - да и никакие дополнительные предположения не нужны .

Определение чего? Оценки определённого вида - да. Самой вероятности - нет.

Представьте, что Вы бросили монетку 5 раз, из которых 2 она выпала орлом. Какова вероятность выпадения орла? 2/5 - это оценка этой вероятности, но вовсе не обязательно данная оценка должна совпадать с самой вероятностью.

[Mikhail Sokolov]

Поясните, пожалуйста, условие задачи. Выборка берется одновременно из двух двумерных распределений (из первого - $(g_1,g_2)$, из второго - $(f_1,f_2)$)? Если это так, то почему бы сразу не ввести случайные величины $g=g_1+g_2$, $f=f_1+f_2$ и не оценивать вероятность $P \left\{ g<f \right\}$?

В любом случае задача сводится к оценке вероятностной меры на множестве элементарных исходов $P \left\{ g<f \right\}$, $P \left\{ g=f \right\}$, $P \left\{ g>f \right\}$ по выборке. Например, если вероятностью $P\left\{ g=f \right\} $ можно пренебречь, то задача сводится к оценке вероятности успеха в схеме Бернулли по $N$ независимым испытаниям. Во многих смыслах "хорошей" оценкой для этих вероятностей (несмещенной, состоятельной, эффективной) является частотная оценка, то есть ваш пункт 1.

[Андрей1]

Mikhail Sokolov писал(а):

Если это так, то почему бы сразу не ввести случайные величины $g=g_1+g_2$, $f=f_1+f_2$ и не оценивать вероятность $P \left\{ g<f \right\}$?

Да, верно .

Величины g_i, f_i будут нужны для следующего этапа задачи.

Mikhail Sokolov писал(а):

... Например, если вероятностью $P\left\{ g=f \right\} $ можно пренебречь, то задача сводится к оценке вероятности успеха в схеме Бернулли по $N$ независимым испытаниям.

Вероятностью $P\left\{ g=f \right\} $ пренебречь нельзя.

Mikhail Sokolov писал(а):

Во многих смыслах "хорошей" оценкой для этих вероятностей (несмещенной, состоятельной, эффективной) является частотная оценка, то есть ваш пункт 1.

Да, это понятно. Только второй способ тоже дает хорошую оценку. И для задачи нужны именно $P\left\{ g=i \right\} $, $P\left\{ f=j \right\} $.

Добавлено спустя 8 минут 59 секунд:

Re: Сравнение оценок на вероятности

epros писал(а):

Андрей1 писал(а):

А разве формула для P_{2)}\{g1>g2\} не опредлеление? По моим представлениям - да и никакие дополнительные предположения не нужны .

Определение чего? Оценки определённого вида - да. Самой вероятности - нет.

Ну как нет? Если есть две дискретные неотрицательные случайные величины с плотностями P1{q1=i} и P2{q2=i}, то плотность вероятности их суммы P\{q1+q2=i\}=\sum_{j=0,...,i}{P1\{q1=j\} P2\{q2=i-j\}} следует из определения вероятности суммы множеств.

[Mikhail Sokolov]

По-моему, ваш пункт 2 - это пример бутстреп оценки для $P\left\{ g>f \right\}$.

[epros]

Андрей1 писал(а):

epros писал(а):

Определение чего? Оценки определённого вида - да. Самой вероятности - нет.

Ну как нет? Если есть две дискретные неотрицательные случайные величины с плотностями P1{q1=i} и P2{q2=i}, то плотность вероятности их суммы P\{q1+q2=i\}=\sum_{j=0,...,i}{P1\{q1=j\} P2\{q2=i-j\}} следует из определения вероятности суммы множеств.

Только у Вас нет плотностей P1 и P2, а есть только их оценки.

[Андрей1]

epros писал(а):

Только у Вас нет плотностей P1 и P2, а есть только их оценки.

Да, в этом тонкость есть. Однако, как только у нас есть оценки, что мешает строить от них функции?

Добавлено спустя 6 минут 36 секунд:

Mikhail Sokolov писал(а):

По-моему, ваш пункт 2 - это пример бутстреп оценки для $P\left\{ g>f \right\}$.

К сожелению, я не знаком с теорией бутстрепа (только вижу, что мой пример на "размножение выборок" никак не походит...).
По этому случаю можете мне посоветовать лучшую книжку на эту тему (которую можно было бы заказать с amazon.com).

[epros]

Андрей1 писал(а):

Однако, как только у нас есть оценки, что мешает строить от них функции?

Ничего не мешает. Но при большом количестве возможных значений и при не очень большой выборке качество оценок вероятностей может быть весьма низким.