Окончательный вид функции правдоподобия вызывает вопросы

[SergeiSX]

Здравствуйте! Я исследую возможность использования теоретико-информационных критериев AIC (критерий Акаике) и MDL (критерий минимальной длины описания) для определения количества источников сигналов по конечной выборке наблюдений сигналов на датчиках некоторой антенной решетки. Насколько я понял, данные критерии работают в ситуации когда имеется некоторый набор наблюдений:$X = \{ x\left( 1 \right), \ldots ,x\left( N \right)\}$ и набор моделей, параметризуемых своими плотностями вероятностей:$f\left( {X|\Theta } \right)$. Необходимо выбрать модель, наилучшим образом описывающую имеющиеся данные. Данные критерии вычисляются в зависимости от количества параметров модели.
$AIC(k) = - 2 \cdot \log \left( {f\left( {X|\widehat \Theta } \right)} \right) + 2 \cdot k$
$MDL(k) = - \log \left( {f\left( {X|\widehat \Theta } \right)} \right) + \frac{1}{2} \cdot k \cdot \log \left( N \right)$
Я нашел статью, в которой как раз описывается применение данных критериев для оценки количества источников сигналов. Но при попытке повторить их выводы моя результирующая логарифмическая функция правдоподобия получилась не такой как в статье. Опишу суть проблемы.
Относительно данных предполагаем что каждое наблюдение описывается как комплексный Гауссовский вектор с нулевым математическим ожиданием, статистически независимый от других векторов. Для описания набора моделей в статье описывается семейство корреляционных матриц, параметризуемое количеством сигналов k:
${R^{\left( k \right)}} = {\Psi ^{\left( k \right)}} + {\sigma^2} \cdot I$
Здесь первое слагаемое в правой части это сигнальная часть матрицы, а вторая описывает шумы в каналах решетки с дисперсией ${\sigma ^2}$. В виде спектрального разложения это выражение представляется так:
${R^{\left( k \right)}} = \sum_{i = 1}^k {\left( {{\lambda _i} - {\sigma ^2}} \right) \cdot {V_i} \cdot V_i^T} + {\sigma ^2} \cdot I$
Здесь ${\lambda _1}, \ldots ,{\lambda _k} и {V_1}, \ldots ,{V_k}$ собственные значения и соответствующие им собственные векторы матрицы ${R^{\left( k \right)}}$.

Вектор параметров модели описывается следующим образом: ${\Theta ^{\left( k \right)T}} = \left( {{\lambda _1}, \ldots ,{\lambda _k},{\sigma ^2},V_1^T, \ldots ,V_k^T} \right)$.
Плотность вероятности N - мерной Гауссовский случайной величины задается в статье так:
$f\left( {x|{\Theta ^{\left( k \right)}}} \right) = \frac{1}{{{\pi ^p} \cdot \left| {{R^{\left( k \right)}}} \right|}} \cdot \exp \left( { - {x^T} \cdot {{\left[ {{R^{\left( k \right)}}} \right]}^{ - 1}} \cdot x} \right)$
Где матрица ${R^{(k)}}$ определяется векторным параметром ${\Theta ^{(k)}}$.
Учитывая статистическую независимость наблюдений совместную плотность веротяности можно записать следующим образом:
$f\left( {x\left( 1 \right), \ldots ,x\left( N \right)|{\Theta ^{\left( k \right)}}} \right) = \prod_{i = 1}^N {f\left( {x\left( i \right)|{\Theta ^{\left( k \right)}}} \right)}$
Теперь если взять от совместной плотности веротяности логарифм и оставить только члены, зависящие от ${\Theta ^{(k)}}$, в статье получилось следующее выражение:
$L\left( {{\Theta ^{(k)}}} \right) = - N \cdot \log \left| {{R^{\left( k \right)}}} \right| - \operatorname{tr} \left( {{{\left[ {{R^{\left( k \right)}}} \right]}^{ - 1}} \cdot \widehat R} \right)$ (1)
Где $\widehat R = \frac{1}{N} \cdot \sum_{i = 1}^N {x\left( i \right) \cdot x{{\left( i \right)}^T}}$ - максимально правдоподобная оценка выборочной корреляционной матрицы.
На мой взгляд, здесь явно пропущен множитель N во втором слагаемом в правой части. Я повторил весь вывод и провел дополнительно численную проверку и убедился что это действительно так. Для применения выбранных критериев необходим максимум логарифмической функции правдоподобия. Максимум достигается, как доказывается в другой статье, если сформировать вектор параметров следующим образом:
$\widehat {{\lambda _i}} = {l_i}, i = 1, \ldots ,k$,
${\widehat \sigma ^2} = \frac{1}{{p - k}} \cdot \sum_{j = k + 1}^p {{l_j}}$,
${\widehat V_i} = {C_i}, i = 1, \ldots ,k$,
где ${l_1} > {l_2} > {l_3} \cdots > {l_p} собственные числа и {C_1}, \ldots ,{C_p}$ соответствующие собственным числам собственные векторы выборочной корреляционной матрицы $\widehat R$, $p$ - количество каналов. Как утверждается далее в статье, если сформировать векторный параметр ${\widehat \Theta ^{(k)}} = \{ {\hat \lambda _1}, \ldots ,{\hat \lambda _k},{\hat \sigma ^2},{\hat V_1}, \ldots ,{\hat V_2}\}$ и подставить его в (1), то после несложных преобразований получим:
$L\left( {{{\hat{\Theta }}}^{(k)}} \right)=\log {{\left( \frac{\prod_{i=k+1}^{p}{l_{i}^{{}^\frac{1}{\left( p-k \right)}\;}}}{\frac{1}{p-k}\cdot \sum_{i=k+1}^{p}{{{l}_{i}}}} \right)}^{\left( p-k \right)\cdot N}}$ Я провел преобразования и получил несколько иной вид логарифмической функции правдоподобия:
$L\left( {{{\hat{\Theta }}}^{(k)}} \right)=\log {{\left( \frac{\prod_{j=1}^{k}{l_{i}^{{}^\frac{1}{\left( k-p \right)}\;}}}{\frac{1}{p-k}\cdot \sum_{i=k+1}^{p}{{{l}_{i}}}} \right)}^{\left( p-k \right)\cdot N}}$
При этом численное моделирование показывает что мой вывод соответствует исходной формуле (1). Численное же моделирование общей задачи показывает одинаковое поведение критериев как с исходной так и с моим вариантом функции правдоподобия. Это наводит на мысль о некоем асимптотическом переходе, который усмотрели авторы статьи и не вижу я. Буду очень благодарен если кто - то сможет проверить мои выводы и подтвердить или опровергнуть мои результаты. Буду рад любой полезной информации!

[Pphantom]

Тема перемещена из форума «Математика (общие вопросы)» в форум «Карантин»
по следующим причинам:

- неправильно набраны формулы (краткие инструкции: «Краткий FAQ по тегу [math]» и видеоролик Как записывать формулы) - каждая формула должна начинаться с доллара и заканчиваться долларом.

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

[Pphantom]

Тема перемещена из форума «Карантин» в форум «Математика (общие вопросы)»

[SergeiSX]

Я слишком много написал ?? И это не принято здесь ?

[Утундрий]

SergeiSX в сообщении #1443124 писал(а):

Я слишком много написал ?? И это не принято здесь ?

Наверное, не нашлось столь узко специализированного читателя.

[arseniiv]

SergeiSX
Попробуйте ещё спросить на Math.SE или MathOverflow, если не уже.

[SergeiSX]

Огромное спасибо!