2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Определение вероятностей событий
Сообщение01.03.2010, 10:27 


17/10/08

1313
В системе может происходить одно из трех событий: $A$, $B$ или $AB$. Имеются экспериментальные данные, каждое из которые представляет суммарные результаты некоторого (неизвестного) числа событий в виде пары чисел $<a_i,b_i>$. Здесь $a_i$ и $b_i$ – частоты $A$ и $B$. Например, экспериментальные данные могут быть следующими
$<2,1>, <3,2>, <2,2>, <0,1>, ...$
В задаче требуется определить оценки вероятности событий $P(A)$, $P(B)$ и $P(AB)$. Если бы экспериментальные данные были бы одиночными, то все было бы элементарно. Но в реальности данные "смешиваются". Т.е., например, для пары $ <2,1>$ исходная последовательность событий могла бы быть
$<A, B,A>$ или $<AB,A>$ или $<B,A,A>$ ...

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение01.03.2010, 10:40 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Правильно ли, что хотя бы одно из событий $A$ или $B$ происходит обязательно? Т.е. пара $<2,1>$ не может отвечать цепочке вида $<0,A,0,0,AB,0$?

Вообще сходу возникает ощущение, что для решения задачи таких данных явно недостаточно.

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение01.03.2010, 13:59 


17/10/08

1313
Да, какое-нибудь событие возникает обязательно. Т.е.
$P(A)+P(B)+P(AB)=1$
Возможно, действительно, чего-то не хватает. Но чего?

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение01.03.2010, 15:17 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
mserg в сообщении #293564 писал(а):
Да, какое-нибудь событие возникает обязательно. Т.е.
$P(A)+P(B)+P(AB)=1$


Здесь уже написано неверно. Правильно так: $P(A\backslash B)+P(B\backslash A)+P(AB)=1$ или совсем просто $A\cup B=\Omega$

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение01.03.2010, 15:32 


17/10/08

1313
Ну да, именно это имелось в виду. Как же определить вероятности?

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение01.03.2010, 18:09 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Ну вот некоторые соображения. Во-первых, рассмотрим частный случай, согласно которому события $A$ и $B$ несовместные, т.е. одновременно никогда не происходят. Тогда из Ваших данных можно сразу определить приближенно их вероятности как частоты, и получим модель, которая данным противоречить не будет. И вроде как мы никак не сможем проверить, обосновано ли наше предположение о несовместности или нет.

В общем случае можно задать модель тремя числовыми параметрами: $P(A\backslash B)=a$, $P(B\backslash A)=b$ и $P(AB)=c$.

(Можно рассматривать другие виды параметризации, например, рассматривать в качестве параметров $P(A)$ и $P(B|A)$. Это удобнее тем, что обе величины друг с другом не связаны и принимают любые значения от 0 до 1.)

В рамках первой параметризации на три переменных нужно три уравнения. Первое очевидно: $a+b+c=1$. Другие нужно брать из данных или из априорных соображений.

Ваши данные заведомо дают следующую информацию: отношение числа раз, сколько происходило событие $A$, к числу наступлений события $B$, дает оценку на соотношение между их истинными вероятностями. Ведь общее число экспериментов нам хотя и неизвестно, но по крайней мере оно одно и то же для $A$ и $B$. Таким образом, мы можем статистически оценить величину $\frac{a+c}{b+c}$, что дает второе уравнение.

А вот можно ли получить из Ваших данных еще одно уравнение, я не знаю. Сходу ничего не видно.

В крайнем случае мы можем принять предположение о том, что события $A$ и $B$ происходят независимо. Это точно дает третье необходимое условие и задачу можно решить. Допустимо ли такое предположение - это нужно решить исходя из содержательного смысла данных событий.

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение02.03.2010, 10:06 


17/10/08

1313
Скорее всего, подойдет метод максимального правдоподобия. Случай $<2,1>$ может быть реализован двумя способами (с точностью до перестановки) $<A,A,B>$ и $<A,AB>$. Максимально правдоподобный случай получается из максимизации выражения $Max(a*a*b,a*c)$. Т.к. у нас множество данных, то для них вероятности перемножаются. Т.е. для примера из первого сообщения, нужно максимизировать:
$Max(a*a*b,a*c)*Max(a*a*a*b*b,a*a*b*c,a*c*c)*Max(a*a*b*b,a*b*c,c*c)*...$
с учетом неотрицательности переменных $a,b,c$ и равенства их суммы единицы.
Задача связана с изучением поведения потребителя. Продавцы видят только чеки, в которых множество "позиций заказа" товаров. Покупатель, очевидно, берет товары не только для себя. Топ продуктов – это тривиально, хочется еще понять статистическую корреляцию товаров в заказах.
Задача, которую я описал, получается так: все товары кроме двух убираются из заказов. Далее подсчитывается корреляция. Не уверен что это корректно, но пока ничего другого не придумал. Может быть, можно еще нужно учесть количество элементов в каждом из заказов?

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение02.03.2010, 10:54 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Нет, это не метод максимального правдоподобия, а что-то непонятное.

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение02.03.2010, 11:11 


17/10/08

1313
Хорошо, не метод максимального правдоподобия. Пусть будет "принцип максимального правдоподобия" при определенных допущениях. Цель: подобрать такие "вероятности", чтобы "получение" исходных данных было бы максимально правдоподобно...

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение05.03.2010, 10:24 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Меня в целом все это смущает, хотя я пока не могу сформулировать, что именно мне не нравится. Но ощущение, что в целом все не очень верно.

Во-первых, что бесспорно, вероятности подсчитаны неверно. Вместо максимумов должны быть суммы. А слагаемые должны быть взяты с коэффициентами, учитывающими число перестановок. Например, наблюдаемому событию <2,1> могут соответствовать следующие цепочки: $<A,A,B>; <A,B,A>; <B,A,A>; <A,AB>; <AB,A>$, поэтому "вероятность" тогда уж должна быть равна $(3a^2b+2ac)$.

Далее, все равно мне это не нравится, потому что я не вижу нормально заданного пространства элементарных исходов, сумма вероятностей которых была бы равна 1.

mserg в сообщении #293801 писал(а):
Задача, которую я описал, получается так: все товары кроме двух убираются из заказов. Далее подсчитывается корреляция. Не уверен что это корректно, но пока ничего другого не придумал. Может быть, можно еще нужно учесть количество элементов в каждом из заказов?

Что в этой постановке представляют из себя наблюдаемые события $<x,y>$, что такое $A$, $B$ и $AB$?

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение05.03.2010, 13:49 


17/10/08

1313
Считайте, что $A$ – это пиво; $B$ – это раки. Приходят покупатели и заказывают для веселых кампаний пиво и раки. $<x,y>$ - в покупке $x$ бутылок пива и $y$ штук раков. Считается, что одни будут только пиво (1 бутылка в руки), другие – только раки (1 рак на человека), а третьи хотят одновременно и пиво, и раки (по одной паре пиворака на одно лицо). Нужно среди покупателей определить долю хотетелей пивов и раков одновременно.

Вероятность $3a^2b+2ac$ для $<2,1>$, о которой Вы пишете, является априорной. Задача, которую нужно решить - обратная. $<2,1>$ уже случилось и нужно определить вероятности a,b и c. Принцип максимального правдоподобия состоит в том, чтобы среди возможных сценариев реализации $<2,1>$, найти вариант с максимумом вероятности (случается только один конкретный вариант, а не его среднее). Эта идея обобщается на множество покупок путем умножения вероятностей для заказов. Предварительный анализ показал (я могу, конечно, ошибаться), что другие продукты в первом приближении не влияют на результат.

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение16.04.2010, 17:41 


01/07/08
836
Киев
mserg
Можно мне высказать, как я понимаю Вашу задачу? Для каждого i испытания получается $a_i$ штук пива , $b_i$ штук раков. Вы делаете вывод покупателей $max(a_i,b_i)$, $min(a_i,b_i)$ жаждущих пива и раков вместе. Нужная частота в этом испытании $min(a_i,b_i)/max(a_i,b_i) $. Наберете "представительную" статистику и выдавайте вероятность. Кажется так? С уважением,

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение17.04.2010, 12:00 


17/10/08

1313
Такой подход, видимо, имеет право на существование при определенных условиях. Однако он дает смещенную (завышенную) оценку вероятности "пиво и рак одновременно". Представьте себе случай из трех закупок:
Заказ 1: Сто бутылок пива
Заказ 2: Сто раков
Заказ 3: Один рак и одна бутылка пива.
Очевидно, что вероятность "пиво и рак одновременно" не 33.3%. Даже если взвесить вероятности заказов с помощью количеств, то результат все равно будет подозрительным. Наиболее достоверно, что вероятность "пиво и рак одновременно" здесь равна нулю.

P.S. Данная задача несколько утратила актуальность, т.к. мы не можем связаться с представителем заказчика. Исчез, подлец, куда-то с "нашими" деньгами...

 Профиль  
                  
 
 Re: Определение вероятностей событий
Сообщение17.04.2010, 12:16 


01/07/08
836
Киев
mserg

Да, заказчик -это что-то(проблемма).
С выводами по Вашей "непредставительной" выборке я тоже не могу согласиться, хотя мои подсчеты дают(по трем выборкам) 11%. С уважением,

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 14 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group