Определение вероятности принятия решения (задача классификац

[MarinaV]

Прошу помощи в решении следующего вопроса:
имеется задача по отнесению объекта к некоторому классу по $n$-параметрам. Получены вероятности отнесения объекта к $i$-му классу по каждомы из параметров: $P_1, P_2,...P_n$. Какова вероятность правильного решения по отнесению объекта в $i$-й класс по всем параметрам?

[Capella]

Нужно, чтобы выполнялись все параметры. Для этого надо взять пересечение, т.е. перемножить вероятности для всех параметров.

[PAV]

Вообще-то этот вопрос СЛОЖНЫЙ. На практике такая задача возникает повсеместно в определенных прикладных областях и ее решить непросто. Как минимум, в Вашем случае необходимо уточнить, являются ли классы априори равновероятными, а кроме того, являются ли измеренные параметры независимыми. Второе на практике обычно не выполняется, но иногда этим можно пренебречь.

Пусть все так и пусть найденные Вами значения - действительно правильные вероятности того, что объект принадлежит i-му классу при условии заданного значения одного параметра. Тогда можно показать (правда, посложнее, чем объяснила Capella), что действительно надо эти вероятности для каждого класса перемножить по всем параметрам, после чего нормировать, чтобы сумма была равна 1. Но надо помнить, что если независимости на самом деле нет, то этот результат неверен. А если есть зависимости, то предоставленных данных недостаточно для точного решения.

[Capella]

Я думаю, что независимость является (в этой задаче) обязательным условием.

[MarinaV]

Спасибо за ответы.
Я тоже предполагала, что можно перемножить вероятности, но в этом случае при достаточно большом количестве параметров итоговое значение вероятности оказывается очень маленьким. Был вариант применить формулу: Рi=1-(1-Pi1)(1-Pi2)...(1-Pin),но тут не знаю как быть для случая Pij=1.
Кстати, считается, что все классы априорно являются равновероятными, и все параметры равнозначными, хотя возможно, они коррелируются между собой (пусть для данной задачи это можно опустить).

[PAV]

Вопрос о малости вероятностей решается нормировкой.

Сейчас у меня нет времени, завтра напишу более аккуратное описание модели и формулы.

[MarinaV]

Да, кстати, PAV, подскажите, что Вы имели в виды под нормировкой?
Заранее спасибо.

[PAV]

Просуммировать полученные значения и разделить каждое на сумму. Чтобы соотношения между ними не изменились, а сумма стала равной 1.

[MarinaV]

Завтра буду ждать. Очень благодарна.

[PAV]

Итак, сначала про вероятностную модель рассматриваемого явления. Нужно предполагать, что наблюдаемый объект $X$ генерируется следующим случайным образом. Сначала с некоторым распределением вероятностей выбирается, к какому классу он будет принадлежать. Обозначим истинный номер класса через $C(X)$ и, соответственно, $P\{C(X)=i\}=p_i$.

После того, как класс выбран, случайным образом порождаются наблюдаемые признаки объекта. Будем обозначать $k$-й признак через $f_k(X)$ и для простоты будем считать признаки дискретными. Тогда необходимо, вообще говоря, определить совместное распределение признаков для каждого класса, т.е. условные вероятности $P\{f_1(X)=z_1,\ldots,f_n(X)=z_n|C(X)=i\}$ для всех возможных наборов значений признаков $(z_1,\ldots,z_n)$.

Если принять предположение, что признаки независимы, то это совместное распределение раскладывается в произведение маргинальных вероятностей вида $P\{f_m(X)=z_m|C(X)=i\}$. Замечу еще, что независимость - более сильное свойство, нежели некоррелированность. Из некоррелированности независимость не следует, вообще говоря.

Теперь разберемся, как правильно относить объект к классу по наблюдению только одного признака. Это формула Байеса:

$$ P\{C(X)=i|f_m(X)=z_m\} = \frac{ P\{f_m(X)=z_m|C(X)=i\}\cdot P\{C(X)=i\}}{P\{f_m(X)=z_m\}}$$

Знаменатель на самом деле считать не нужно, так как он не зависит от $i$ и представляет собой просто нормировочную константу. Поэтому можно записать так:

$$P\{C(X)=i|f_m(X)=z_m\}=\frac{1}{K}\cdot P\{f_m(X)=z_m|C(X)=i\}\cdot p_i$$

Эти произведения нужно найти, после чего положить $K$ равной их сумме, чтобы в сумме вероятности давали 1.

Если предполагается, что все классы априори равновероятны, то величины $p_i$ все равны и также входят в нормировочную константу. Поэтому нужно взять только условные вероятности $P\{f_m(X)=z_m|C(X)=i\}$ и разделить их на сумму.

Допустим, что Вы эти вероятности сумели правильно найти. Тогда применим ту же технику, чтобы найти решение по всем классам. Я для простоты буду опускать нормировочные константы, не зависящение от номера класса, а вместо равенства писать знак $\sim$. Итак, предполагая независимость признаков, получаем

$$ P\{C(X)=i|f_1(X)=z_1,\ldots,f_n(X)=z_n\} \sim $$

$$\sim P\{f_1(X)=z_1,\ldots,f_n(X)=z_n | C(X)=i\}\cdot p_i = p_i\prod_{m=1}^n P\{f_m(X)=z_m|C(X)=i\}\sim$$

$$\sim p_i\prod_{m=1}^n \frac{P\{C(X)=i | f_m(X)=z_m\}}{p_i} = p_i^{-(n-1)}\prod_{m=1}^n P\{C(X)=i | f_m(X)=z_m\}$$

Если классы априори равновероятны, то вероятности $p_i$ все равны, загоняются в нормировочную константу и мы получаем то, что было написано ранее - что вероятность принадлежности к классу пропорциональна произведению вероятностей принадлежности по всем признакам.

Но еще раз отмечу, что гипотеза о независимости признаков - очень сильная и обычно на практике не выполняется. Учет возможных зависимостей обычно позволяет получить более точные оценки вероятности принадлежности.

[MarinaV]

Большое спасибо. Попытаюсь разобраться и применить...