дискриминантный анализ

[AndreyL]

Возник вопрос об отнесении некоторого измерения к определенному классу.
Дано: несколько (предположим $k$) выборок измерений в $m$-мерном пространстве, элементы каждой выборки принадлежат определенному классу. Собственно вместе они составляют обучающую выборку. Предполагается, что распределения внутри классов нормальные $m$-мерные, ковариационный матрицы не равны. Оценки центров и ковариаций для каждого класса делаются по обучающей выборке. Есть измерение $y$, которое нужно отнести к какому-либо из этих $k$ классов или сказать, что оно ни к одному из них не относится.

Насколько я понимаю, если центр $\bar{x_i}$ и ковариации $S_i$ нормального распределения $i$-ого класса оцениваются по выборке объема $n_i$, то, в случае, если $y$ принадлежит именно $i$-му классу, случайная величина $\frac{n_i (n_i-m)}{m \left(n_i^2-1\right)}(y-\bar{x_i})S_{i}^{-1}(y-\bar{x_i})$ подчиняется распределению Фишера с $m$ и $n_i - m$ степенями свободы. Тогда можно построить критерий принадлежности измерения $y$ каждому из классов и определить уровень значимости (вероятность ошибки при отвержении гипотезы о принадлежности $i$-му классу). Можно сказать, что эти уровни значимости и есть вероятности принадлежности измерения $y$ соответствующему классу. Но как определить вероятность того, что измерение $y$ вообще не принадлежит ни одному из классов, т.е. находится очень далеко от всех центров распределений?

[Евгений Машеров]

А никак. Ищется расстояние только от известных классов. В практической задаче может быть использованы дополнительные критерии, лежащие вне метода дискриминантного анализа.

[AndreyL]

Спасибо на краткий и предельно внятный ответ!
А насколько корректным будет такой подход: сначала находим класс $j$, которому наиболее вероятно принадлежит измерение $y$. Далее решаем задачу: принадлежит ли это измерение именно этому классу. Если принять за вероятность того, что таки принадлежит $j$-му классу уровень значимости $\alpha_j$, то в качестве вероятности того, что не принадлежит можно взять $1-\alpha_j$. Она и будет вероятностью того, что не принадлежит ни одному классу.

[Евгений Машеров]

Как возможный вариант - ввести "нулевой класс", со средними, равными средними по выборке и дисперсиями оттуда же. Причём задать априорные вероятности того, что наблюдение принадлежит к i-тому классу, включая и "нулевой". Здесь явный привкус эмпиризма, но практически работать может

[AndreyL]

А не получится, что все наблюдения будут наиболее вероятно принадлежать именно этому "нулевому" классу? Ведь у него центр как раз по центру всех, а дисперсия самая большая.

[Евгений Машеров]

Вот тут априорными вероятностями и поиграть (повторяю - эмпирика так и прёт, но иногда может сработать).

[AndreyL]

Попробовал как Вы предлагаете с "нулевым" классом (со средними и дисперсиями по обобщенной выборке). Выборки просто генерировал. Как и ожидалось, большинство элементов попадают именно в него. Игра с априорными вероятностями не очевидна - как их назначать, из каких соображений? Для случая двух классов назначил априорную вероятность для нулевого 1/3 (имеется ввиду, что "нулевой" третий) - на выходе получил для элементов, явно принадлежащих определенному классу, все равно высокую вероятность принадлежности "нулевому", в общей массе примерно в половину меньшую чем тому, которому они действительно принадлежат.

[Евгений Машеров]

Ну, я бы не брал априорные $1/n$, а попытался бы привлечь дополнительную информацию о вероятности того, что очередное наблюдение не будет относиться ни к одному рассмотренному классу. Она мала (а если велика - то смысла в дискриминантном анализе нет).

[AndreyL]

К сожалению такой информации нет. Но это самая обычная ситуация.