Гауссовские случайные величины

[Combat Zone]

ihq.pl в сообщении #1680009 писал(а):

В учебнике без лишних слов просто приводится теорема: Выражение для оптимальной оценки $\mathsf{E}(\xi|\eta)$ такое-то, а выражение для матрицы ошибок $\mathsf{E}[(\xi-\mathsf{E}(\xi|\eta))(\xi-\mathsf{E}(\xi|\eta))^*]$ такое-то.

Вернее так, в теореме оно не без лишних слов приводится, а подробно вычисляется. Что она оптимальна, там не показано, по той причине, что доказательство аналогично одномерному.
Где минимизируется не матожидание квадрата $\xi-f(\eta)$, а матожидание квадрата нормы такого же вектора. И ясно, что минимизация действительно равносильна покомпонентной.

В этой теореме (об оптимальности условного матожидания) не задействована не только некоррелированность компонент, но даже вид распределения. Она носит самый общий характер.

В той, которая о нормальном распределении, в предположении совместной гауссовости $(\theta, \xi)$, уже известно, что для этого случая условное матожидание, т.е. регрессия, $\theta$ по $\xi$ имеет линейный характер, и что именно оно является оптимальной оценкой параметра $\theta$, так что остается получить коэффициенты и явно выписать вид линейной связи. В теореме неявно предполагается независимость компонент $\xi$, это все, что не упомянуто.

ihq.pl в сообщении #1680009 писал(а):

Оптимальной естественно считать ошибку, плотность распределения которой является функцией наибыстрейшего убывания.

Оптимальной естественно считать ту оценку, которая оптимальна по определению. То есть несмещенную и эффективную.

Взаимная некоррелированность компонент ошибки - это важно, об этом бывает нужно помнить, но не здесь. Об этом нужно помнить, когда доказывается эффективность оценок параметров регрессии, то есть коэффициентов линейной связи. Там много чего нужно помнить, но это более поздняя задача обычно. В нашей задаче коррелированность ошибок ничему не мешает.

[ihq.pl]

Combat Zone в сообщении #1680080 писал(а):

минимизируется не матожидание квадрата $\xi-f(\eta)$, а матожидание квадрата нормы такого же вектора

Правда, не понимаю. Но очень хочу разобраться. Перепишу в тех же обозначениях, что и у Ширяева в обсуждаемой теореме (теорема 2, §13). Там гауссовский вектор - это $(\theta,\xi)$, $\xi$ - наблюдаемая часть, оценивать надо $\theta$. Пусть $f(\xi)$ - какая-то оценка $\theta$ по $\xi$.

1) Матожидание квадрата $\theta-f(\xi)$ - это, надо думать, матрица ошибок

$$M=\mathsf{E}(\theta-f(\xi))(\theta-f(\xi))^*.$$

А норма такого-же вектора? Ну не велична же

$$\sum_{j=1}^n\|\theta_j-f_j(\xi)\|^2 = \sum_{j=1}^n \mathsf{E}|\theta_j-f_j(\xi)|^2 = \sum_{j=1}^nM_{jj},$$

что-то другое?

2) Совсем непонятно, почему в теореме неявно предполагается независимость компонент $\theta$. Это же откуда-то должно следовать.

[Combat Zone]

Среди всех с.в., зависящих от $\xi$, ищется наиболее близкая к $\theta$ в среднеквадратическом смысле. То есть функция $f(\xi)$ такая, для которой $\mathsf E (\theta - f(\xi))^2$ минимально. Для многомерного случая степень близости логично измерять с помощью нормы (она и в одномерном была, можно модуль написать, только зачем). То есть нужно минимизировать по всем f матожидание $\mathsf E (\|\theta - f(\xi)\|)^2$. Норма, как всегда, для таких случаев, в $L^2$, так что можно вместо нее написать скалярное произведение вектора на себя. А можно и обойтись. И берите одномерное доказательство оптимальности условного матожидания и почти дословно переписывайте.

ihq.pl в сообщении #1680088 писал(а):

2) Совсем непонятно, почему в теореме неявно предполагается независимость компонент $\theta$. Это же откуда-то должно следовать.

Потому что иначе обратной матрицы к $D_{\xi\xi}$ не существует. А она использована. Так что независимость компонент $\xi$ (я про нее) - есть. А про тета речи не было. Пусть делает, что хочет.

Можете писать в своих обозначениях, мне, например, надоедает писать греческие буквы и все хочется перейти на Y и X соответственно.

Цитата:

это, надо думать, матрица ошибок

$$M=\mathsf{E}(\theta-f(\xi))(\theta-f(\xi))^*.$$

А то, что вы написали - это матрица ковариации ошибок. Из наблюдаемой величины вычитается ее оценка, получается то, что принято называть шумом. Или ошибкой. Если, конечно, $f=f^*(\xi)=\mathsf E (\theta|\xi)$. Тогда

$\theta = \mathsf E (\theta|\xi) + \varepsilon$

Так вот матрица ковариации вектора эпсилон, ошибки (шума), который, кстати сказать в данном случае нормально распределен, - как раз эта ваша $M$.

Как я вижу, вам надо много понять, ранее понятого неверно или недопонятого. Это всего лишь к тому, чтобы вы не торопились писать.

[ihq.pl]

Combat Zone в сообщении #1680092 писал(а):

ihq.pl в сообщении #1680088 писал(а):

2) Совсем непонятно, почему в теореме неявно предполагается независимость компонент $\theta$. Это же откуда-то должно следовать.

Потому что иначе обратной матрицы к $D_{\xi\xi}$ не существует. А она использована. Так что независимость компонент $\xi$ (я про нее) - есть. А про тета речи не было. Пусть делает, что хочет.
.

Я поменял обозначения. Неважно... Вы, оказывается, линейную независимость компонент $\xi$ имели в виду. Нет, с этим проблем нет. Я то решил, что вы имеете в виду некоррелированность, которая в гауссовском случае равносильна (статистической) независимости.

[Combat Zone]

Некореллированность и отсутствие линейной зависимости - это одно и то же. И да, в гауссовом случае они обе равносильны обычной независимости с.в. Так что вы правильно поняли, я их все три и имею в виду.

[ihq.pl]

Combat Zone в сообщении #1680092 писал(а):

нужно минимизировать по всем f матожидание $\mathsf E (\|\theta - f(\xi)\|)^2$. Норма, как всегда, для таких случаев, в $L^2$, так что можно вместо нее написать скалярное произведение вектора на себя.

Так это и было вопросом) Скажем, случайный вектор $\eta = (\eta_1,....,\eta_n)$, где $\eta_j$ - элементы гильбертова пространства. Для них определена норма $\|\eta_j\|^2 = \mathsf{E}|\eta_j|^2$. А что является нормой для $\eta$?

-- 27.03.2025, 16:44 --

Combat Zone в сообщении #1680099 писал(а):

Некореллированность и отсутствие линейной зависимости - это одно и то же.

То есть некоррелированные случайные величины линейно зависимы??

-- 27.03.2025, 16:44 --

[Combat Zone]

:) Не торопитесь, вы меня перевираете, возможно, незаметно для себя.

Позже отвечу, если никто не опередит, занятие.

[ihq.pl]

Combat Zone в сообщении #1680101 писал(а):

незаметно для себя

да, пардон.. не так выразился. Линейно независимые случайные величины могут быть коррелированными.

-- 27.03.2025, 17:23 --

Combat Zone в сообщении #1680092 писал(а):

берите одномерное доказательство оптимальности условного матожидания и почти дословно переписывайте.

А вот Вы сами попробуйте дословно переписать. И ничего не выйдет)

[Combat Zone]

ihq.pl в сообщении #1680100 писал(а):

Так это и было вопросом) Скажем, случайный вектор $\eta = (\eta_1,....,\eta_n)$

$\mathsf E (\|\theta - f(\xi)\|)^2= \mathsf E \sum_{k=1}^l (\theta_i - f_i(\xi))^2 \xrightarrow{f} \min$, который достигается при $f=\mathsf E( \theta|\xi)$

ihq.pl в сообщении #1680106 писал(а):

А вот Вы сами попробуйте дословно переписать. И ничего не выйдет)

Вообще без проблем. Все аналогично. Вы лучше скажите, что именно у вас не проходит.

ihq.pl в сообщении #1680106 писал(а):

Линейно независимые случайные величины могут быть коррелированными.

Непонятное что-то.

Нулевая корреляция - отсутствие линейной части тренда. Зависимость может быть, но нелинейная. А может вообще никакой не быть, на общее понятие независимости корреляция не замахивается (в большинстве случаев). Я и пишу - отсутствие линейной зависимости.

[ihq.pl]

Combat Zone в сообщении #1680115 писал(а):

ihq.pl в сообщении #1680106 писал(а):

Линейно независимые случайные величины могут быть коррелированными.

Непонятное что-то.

Это значит, что компоненты вектора $\xi = (\xi_1,...,\xi_n)$ - линейно независимые, но матрица ковариации $D_{\xi\xi}$ - не диагональная, т.е. $\text{cov}(\xi_i,\xi_j) \ne 0$.

[Combat Zone]

ihq.pl в сообщении #1680120 писал(а):

Это значит, что компоненты вектора $\xi = (\xi_1,...,\xi_n)$ - линейно независимые, но матрица ковариации $D_{\xi\xi}$ - не диагональная, т.е. $\text{cov}(\xi_i,\xi_j) \ne 0$.

А, вы про матрицу. Извините, показалось, что это отвлеченный разговор. Там - да, там имелась в виду статистическая линейная зависимость, как вы и сказали с самого начала. Вы правы, мой глюк. Не стоило в том тексте вспоминать про независимость, она для диагональных матриц. Все так. Похоже, пора теперь уже мне проветриться )

[ihq.pl]

Combat Zone в сообщении #1680115 писал(а):

$\mathsf E (\|\theta - f(\xi)\|)^2= \mathsf E \sum_{k=1}^l (\theta_i - f_i(\xi))^2 \xrightarrow{f} \min$, который достигается при $f=\mathsf E( \theta|\xi)$

Может для Вас это обычная запись, для меня - нет. Я вижу лишь, что

$$\mathsf E(\|\theta - f(\xi)\|)^2=\sum_{k=1}^l \|\theta_i - f_i(\xi)\|^2,$$

где $\|\cdot\|$ - норма в $L_2$. Но Вы нормой в $L_2$ назвали $\|\theta - f(\xi)\|$, которая слева) Почему? Ничего подобного у Ширяева нет. Я Вам верю, как специалисту, для вас это очевидно, но для меня то, что Вы записали, является задачей, которую еще надо решить))

-- 27.03.2025, 20:15 --

Combat Zone в сообщении #1680115 писал(а):

ihq.pl в сообщении #1680106 писал(а):

А вот Вы сами попробуйте дословно переписать. И ничего не выйдет)

Вообще без проблем. Все аналогично. Вы лучше скажите, что именно у вас не проходит.

Это то, что получилось после повторения доказательства в одномерном случае:

$$\mathsf{E}(\theta - f(\xi))(\theta-f(\xi))^* = \mathsf{E}[\theta - \mathsf{E}(\theta|\xi)][\theta - \mathsf{E}(\theta|\xi)]^* + \mathsf{E}[f(\xi) - \mathsf{E}(\theta|\xi)][f(\xi) - \mathsf{E}(\theta|\xi)]^*.$$

Второй член справа - нуль при $f(\xi) = \mathsf{E}(\theta|\xi)$, а что можно сказать еще, не вижу. Ясно, что написать

$$\mathsf{E}(\theta - f(\xi))(\theta-f(\xi))^* \geqslant \mathsf{E}[\theta - \mathsf{E}(\theta|\xi)][\theta - \mathsf{E}(\theta|\xi)]^*,$$

как в одномерном случае, нельзя. Вот, если бы ошибки были некоррелированы, то можно было бы.

[Combat Zone]

Нет, внутренняя норма - обычная, это само матожидание норма в $L^2$. Ну да оставьте его уже, $L^2$, вот нормальная запись была:

Combat Zone в сообщении #1680115 писал(а):

$\mathsf E (\|\theta - f(\xi)\|)^2= \mathsf E \sum_{k=1}^l (\theta_i - f_i(\xi))^2 \xrightarrow{f} \min$,

И считайте матожидание суммы как сумму матожиданий. Понятно, что минимума сумма достигнет тогда, когда минимален каждый квадрат. А это как раз ваша лемма. Нет?

-- 27.03.2025, 18:26 --

ihq.pl в сообщении #1680125 писал(а):

$$\mathsf{E}(\theta - f(\xi))(\theta-f(\xi))^* = \mathsf{E}[\theta - \mathsf{E}(\theta|\xi)][\theta - \mathsf{E}(\theta|\xi)]^* + \mathsf{E}[f(\xi) - \mathsf{E}(\theta|\xi)][f(\xi) - \mathsf{E}(\theta|\xi)]^*.$$

Вы опять зачем-то пишете матрицу ковариации ошибки. Не надо вам ее писать. Не сейчас.
Посчитайте сами размерность. Первая скобка - вектор-столбец. Умножается на вторую скобку (вектор-строку). Вы выше говорили, что это матрица. Так оно и есть.

А вам нужно, если вы хотите в векторном виде работать, немного другое выражение. Вы точно хотите в векторном? Или скалярного, как выше, хватит?

(Оффтоп)

Из меня дохлый нынче специалист. Работы слишком много, голова ушла в отказ, и жарко впридачу. А вопросы ваши тонкие. Так что не обессудьте, ежели что. Ну не начинать же и мне теперь курить.