Распределение коэффициентов дискриминантной функции

[AndreyL]

Дамы и Господа!

Вопрос о законе распределения коэффициентов дискриминантной функции. В предположении о равенстве ковариационных матриц двух выборок $X$ и $Y$линейная дискриминантная функция может быть построена как $V=\left(\bar Y-\bar X\right)S^{-1}$, $v_0=\left(\bar Y+\bar X\right)V'/2$, где $S$ - оценка ковариационной матрицы по обеим выборкам. Есть подозрение, что компоненты вектора связаны с распределением Стьюдента (по аналогии с регрессионным анализом), точнее $\frac{V_i-A_i}{\sigma_i}$ подчиняется распределению Стьюдента, здесь $A_i$ - истинный коэффициент дискриминантной функции.
Если это верно, то стает вопрос: как определить $\sigma_i$ и сколько степеней свободы распределения Стьюдента?

[Andrey_Kireew]

$\sigma^2=\frac{N}{N-k}[1-(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})] $
число степеней свободы $N-k$, где $N$ - объём выборки, k - число независимых переменных.

[AndreyL]

Не совсем понял. $\sigma^2=\frac{N}{N-k}[1-(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})] $ - это скаляр. Тогда получается, что у всех компонентов вектора $V$ одинаковая дисперсия, что вряд ли соответствует действительности. По аналогии с регрессионным анализом должна получиться ковариационная матрица коэффициентов.

[Andrey_Kireew]

AndreyL в сообщении #1425645 писал(а):

Не совсем понял. $\sigma^2=\frac{N}{N-k}[1-(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})] $ - это скаляр

Да, это несмещённая оценка дисперсии эквивалентных остатков, разумеется скаляр,
к стати в той формуле ошибка, сейчас перепроверил, правильно будет так

$$\sigma^2=\frac{4N-(N-1)(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})}{4(N-k-1)} $$

.
Она верна, только если классы сбалансированы, а признаки центрированы.
Из неё, ковариационная матрица коэффициентов находятся так
$cov(b)=\sigma^2\cdot \frac{S^{-1}}{N-1}$
это классические оценки Вальда, думал будет и так понятно.

[AndreyL]

Извиняюсь, был в отъезде.

Попробовал посчитать дисперсию

$$\sigma^2=\frac{4N-(N-1)(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})}{4(N-k-1)} $$

Парадокс в том, что в подавляющем большинстве случаев она отрицательна. На самом деле ни из чего не следует, что она обязана быть положительной, поскольку при хорошей дискриминации величина $(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})$ может быть сколь угодно большой. Не могли бы Вы дать ссылку, где эта дисперсия и ковариационная матрица опубликованы?

[Andrey_Kireew]

AndreyL в сообщении #1427062 писал(а):

Парадокс в том, что в подавляющем большинстве случаев она отрицательна.

приведите хотя бы 1 пример в числах, подтверждающий ваше утверждение

[AndreyL]

Привожу два, в обоих $N=22$
первый
$\bar{X}=(-1.78636, 0.327078, 1.35463)$
$\bar{Y}=(1.90767, 1.71493, 0.396559)$
$S=\left( \begin{array}{ccc} 0.0406341 & 0.324432 & -0.0550334 \\ 0.324432 & 2.92064 & -0.858945 \\ -0.0550334 & -0.858945 & 0.676882 \\ \end{array} \right)$
$\sigma^2=-5003.07$

второй
$\bar{X}=(1.15848, -1.37285, -0.527274)$
$\bar{Y}=(1.75171, 0.80198, 1.76463)$
$S=\left( \begin{array}{ccc} 0.851032 & -0.177051 & -0.802064 \\ -0.177051 & 0.278668 & 0.268149 \\ -0.802064 & 0.268149 & 1.36385 \\ \end{array} \right)$
$\sigma^2=-7.10802$

[Andrey_Kireew]

Посмотрел только первый пример. Сама по себе, матрица $S $ похожа на реальную. Однако, произведение
$(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})$ получается равным ~17 тыс. Это действительно парадоксально.
На всякий случай, для проверки, сгенерировал 2 нормальные выборки с $n=100$ и $k=10$. К одной из них прибавил единицу, из другой единицу вычел. Результаты вычислений получились ожидаемыми. Никаких ошибок нет. Возникают подозрения, что ошибка на вашей стороне, возможно в вычислении $S$.

Чтобы развеять все сомнения, пришлите сами данные по одному из примеров, тем более, что их не так уж и много (2 таблицы 20х3).

[AndreyL]

Извиняюсь, возможно я не совсем понял Вашу формулу для $\sigma^2$ - что такое $N$? Это суммарный объем двух выборок (речь идет о дискриминантном анализе) или что-то другое?
А квадратичная форма $(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})$ действительно может изменяться от 0 до бесконечности, чем она больше, тем лучше дискриминация.

[Andrey_Kireew]

AndreyL в сообщении #1427083 писал(а):

А квадратичная форма $(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})$ действительно может изменяться от 0 до бесконечности

$N$ это общий объём выборки, судя по всему, у вас он 46, но это число никак не влияет на знак, всё дело в $S$ и средних. Поэтому, предлагаю вам всё же предоставить данные, по которым получится вычислить приведенные выше статистики $S, \bar{Y}, \bar{X}$. Лично у меня есть веские основания полагать, что таких данных просто не существует.

[AndreyL]

Вот, к примеру, две выборки, для них $\sigma^2=-1628.31$

$$X=\begin{array}{ccc} -0.328622 & -0.87017 & -2.17363 \\ 1.9345 & -0.986489 & -0.898776 \\ -0.421032 & -1.23808 & -1.86044 \\ 0.379683 & -0.644588 & -2.2625 \\ -1.16996 & -3.49466 & 0.66839 \\ 0.456648 & -0.537651 & -2.1577 \\ 0.282273 & -1.0096 & -1.63835 \\ -1.51017 & 0.228499 & -4.02526 \\ 0.260191 & -1.39899 & -1.19776 \\ -0.58455 & 0.348837 & -3.76483 \\ \end{array}$$

$$Y=\begin{array}{ccc} -0.91257 & 1.36325 & -0.630705 \\ 0.684393 & 0.688076 & 0.907156 \\ 1.34309 & 1.99672 & -0.345454 \\ -2.89959 & 0.310577 & -0.302742 \\ -0.106302 & 1.05992 & 0.176537 \\ -1.58508 & 0.276857 & 0.304146 \\ -0.560415 & 1.43938 & -0.464039 \\ -1.19281 & 1.41599 & -0.795362 \\ -2.55391 & -0.250654 & 0.514022 \\ -1.39749 & -0.0923164 & 0.880748 \\ -2.24582 & -0.841647 & 1.45851 \\ -1.41262 & -1.74733 & 2.86862 \\ \end{array}$$

[Andrey_Kireew]

Посчитал
$(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})=0.6877$,
соответственно, ни о каких минусах речи не идёт.
Ищите ошибки у себя.

[AndreyL]

Странно. У меня
$(\bar{Y}-\bar{X})^T S^{-1}(\bar{Y}-\bar{X})=5586.98$,
Подскажите, пожалуйста, как Вы считаете обобщенную ковариационную матрицу и какой получился определитель.
У меня $S=\frac{S_x(n_x-1)+S_y(n_y-1)}{n_x+n_y-2}$, определитель получился 0.0046064.

[Andrey_Kireew]

Определитель 2,875. Считаю в Matlab, там есть функция cov(), определитель этой матрицы можно посчитать с помощью функции det()

AndreyL в сообщении #1427094 писал(а):

У меня $S=\frac{S_x(n_x-1)+S_y(n_y-1)}{n_x+n_y-2}$,

Считайте по обычной формуле, с общим матожиданием, так проще. Ну, и не забывайте нормировать сумму квадратов, возможно всё дело в этом.

[Andrey_Kireew]

AndreyL, я кажется понял в чём у вас ошибка. По формуле

AndreyL в сообщении #1427094 писал(а):

$S=\frac{S_x(n_x-1)+S_y(n_y-1)}{n_x+n_y-2}$

вы находите не общую, а среднюю внутригрупповую дисперсию.