Определение вероятностей событий

[mserg]

В системе может происходить одно из трех событий: $A$, $B$ или $AB$. Имеются экспериментальные данные, каждое из которые представляет суммарные результаты некоторого (неизвестного) числа событий в виде пары чисел $<a_i,b_i>$. Здесь $a_i$ и $b_i$ – частоты $A$ и $B$. Например, экспериментальные данные могут быть следующими
$<2,1>, <3,2>, <2,2>, <0,1>, ...$
В задаче требуется определить оценки вероятности событий $P(A)$, $P(B)$ и $P(AB)$. Если бы экспериментальные данные были бы одиночными, то все было бы элементарно. Но в реальности данные "смешиваются". Т.е., например, для пары $ <2,1>$ исходная последовательность событий могла бы быть
$<A, B,A>$ или $<AB,A>$ или $<B,A,A>$ ...

[PAV]

Правильно ли, что хотя бы одно из событий $A$ или $B$ происходит обязательно? Т.е. пара $<2,1>$ не может отвечать цепочке вида $<0,A,0,0,AB,0$?

Вообще сходу возникает ощущение, что для решения задачи таких данных явно недостаточно.

[mserg]

Да, какое-нибудь событие возникает обязательно. Т.е.
$P(A)+P(B)+P(AB)=1$
Возможно, действительно, чего-то не хватает. Но чего?

[PAV]

mserg в сообщении #293564 писал(а):

Да, какое-нибудь событие возникает обязательно. Т.е.
$P(A)+P(B)+P(AB)=1$

Здесь уже написано неверно. Правильно так: $P(A\backslash B)+P(B\backslash A)+P(AB)=1$ или совсем просто $A\cup B=\Omega$

[mserg]

Ну да, именно это имелось в виду. Как же определить вероятности?

[PAV]

Ну вот некоторые соображения. Во-первых, рассмотрим частный случай, согласно которому события $A$ и $B$ несовместные, т.е. одновременно никогда не происходят. Тогда из Ваших данных можно сразу определить приближенно их вероятности как частоты, и получим модель, которая данным противоречить не будет. И вроде как мы никак не сможем проверить, обосновано ли наше предположение о несовместности или нет.

В общем случае можно задать модель тремя числовыми параметрами: $P(A\backslash B)=a$, $P(B\backslash A)=b$ и $P(AB)=c$.

(Можно рассматривать другие виды параметризации, например, рассматривать в качестве параметров $P(A)$ и $P(B|A)$. Это удобнее тем, что обе величины друг с другом не связаны и принимают любые значения от 0 до 1.)

В рамках первой параметризации на три переменных нужно три уравнения. Первое очевидно: $a+b+c=1$. Другие нужно брать из данных или из априорных соображений.

Ваши данные заведомо дают следующую информацию: отношение числа раз, сколько происходило событие $A$, к числу наступлений события $B$, дает оценку на соотношение между их истинными вероятностями. Ведь общее число экспериментов нам хотя и неизвестно, но по крайней мере оно одно и то же для $A$ и $B$. Таким образом, мы можем статистически оценить величину $\frac{a+c}{b+c}$, что дает второе уравнение.

А вот можно ли получить из Ваших данных еще одно уравнение, я не знаю. Сходу ничего не видно.

В крайнем случае мы можем принять предположение о том, что события $A$ и $B$ происходят независимо. Это точно дает третье необходимое условие и задачу можно решить. Допустимо ли такое предположение - это нужно решить исходя из содержательного смысла данных событий.

[mserg]

Скорее всего, подойдет метод максимального правдоподобия. Случай $<2,1>$ может быть реализован двумя способами (с точностью до перестановки) $<A,A,B>$ и $<A,AB>$. Максимально правдоподобный случай получается из максимизации выражения $Max(a*a*b,a*c)$. Т.к. у нас множество данных, то для них вероятности перемножаются. Т.е. для примера из первого сообщения, нужно максимизировать:
$Max(a*a*b,a*c)*Max(a*a*a*b*b,a*a*b*c,a*c*c)*Max(a*a*b*b,a*b*c,c*c)*...$
с учетом неотрицательности переменных $a,b,c$ и равенства их суммы единицы.
Задача связана с изучением поведения потребителя. Продавцы видят только чеки, в которых множество "позиций заказа" товаров. Покупатель, очевидно, берет товары не только для себя. Топ продуктов – это тривиально, хочется еще понять статистическую корреляцию товаров в заказах.
Задача, которую я описал, получается так: все товары кроме двух убираются из заказов. Далее подсчитывается корреляция. Не уверен что это корректно, но пока ничего другого не придумал. Может быть, можно еще нужно учесть количество элементов в каждом из заказов?

[PAV]

Нет, это не метод максимального правдоподобия, а что-то непонятное.

[mserg]

Хорошо, не метод максимального правдоподобия. Пусть будет "принцип максимального правдоподобия" при определенных допущениях. Цель: подобрать такие "вероятности", чтобы "получение" исходных данных было бы максимально правдоподобно...

[PAV]

Меня в целом все это смущает, хотя я пока не могу сформулировать, что именно мне не нравится. Но ощущение, что в целом все не очень верно.

Во-первых, что бесспорно, вероятности подсчитаны неверно. Вместо максимумов должны быть суммы. А слагаемые должны быть взяты с коэффициентами, учитывающими число перестановок. Например, наблюдаемому событию <2,1> могут соответствовать следующие цепочки: $<A,A,B>; <A,B,A>; <B,A,A>; <A,AB>; <AB,A>$, поэтому "вероятность" тогда уж должна быть равна $(3a^2b+2ac)$.

Далее, все равно мне это не нравится, потому что я не вижу нормально заданного пространства элементарных исходов, сумма вероятностей которых была бы равна 1.

mserg в сообщении #293801 писал(а):

Задача, которую я описал, получается так: все товары кроме двух убираются из заказов. Далее подсчитывается корреляция. Не уверен что это корректно, но пока ничего другого не придумал. Может быть, можно еще нужно учесть количество элементов в каждом из заказов?

Что в этой постановке представляют из себя наблюдаемые события $<x,y>$, что такое $A$, $B$ и $AB$?

[mserg]

Считайте, что $A$ – это пиво; $B$ – это раки. Приходят покупатели и заказывают для веселых кампаний пиво и раки. $<x,y>$ - в покупке $x$ бутылок пива и $y$ штук раков. Считается, что одни будут только пиво (1 бутылка в руки), другие – только раки (1 рак на человека), а третьи хотят одновременно и пиво, и раки (по одной паре пиворака на одно лицо). Нужно среди покупателей определить долю хотетелей пивов и раков одновременно.

Вероятность $3a^2b+2ac$ для $<2,1>$, о которой Вы пишете, является априорной. Задача, которую нужно решить - обратная. $<2,1>$ уже случилось и нужно определить вероятности a,b и c. Принцип максимального правдоподобия состоит в том, чтобы среди возможных сценариев реализации $<2,1>$, найти вариант с максимумом вероятности (случается только один конкретный вариант, а не его среднее). Эта идея обобщается на множество покупок путем умножения вероятностей для заказов. Предварительный анализ показал (я могу, конечно, ошибаться), что другие продукты в первом приближении не влияют на результат.

[hurtsy]

mserg
Можно мне высказать, как я понимаю Вашу задачу? Для каждого i испытания получается $a_i$ штук пива , $b_i$ штук раков. Вы делаете вывод покупателей $max(a_i,b_i)$, $min(a_i,b_i)$ жаждущих пива и раков вместе. Нужная частота в этом испытании $min(a_i,b_i)/max(a_i,b_i) $. Наберете "представительную" статистику и выдавайте вероятность. Кажется так? С уважением,

[mserg]

Такой подход, видимо, имеет право на существование при определенных условиях. Однако он дает смещенную (завышенную) оценку вероятности "пиво и рак одновременно". Представьте себе случай из трех закупок:
Заказ 1: Сто бутылок пива
Заказ 2: Сто раков
Заказ 3: Один рак и одна бутылка пива.
Очевидно, что вероятность "пиво и рак одновременно" не 33.3%. Даже если взвесить вероятности заказов с помощью количеств, то результат все равно будет подозрительным. Наиболее достоверно, что вероятность "пиво и рак одновременно" здесь равна нулю.

P.S. Данная задача несколько утратила актуальность, т.к. мы не можем связаться с представителем заказчика. Исчез, подлец, куда-то с "нашими" деньгами...

[hurtsy]

mserg

Да, заказчик -это что-то(проблемма).
С выводами по Вашей "непредставительной" выборке я тоже не могу согласиться, хотя мои подсчеты дают(по трем выборкам) 11%. С уважением,