Выбор лучшего набора экспериментов для определения параметра

[m09kaa4]

Здравствуйте.

Пусть даны моменты времени $t_1, \dots, t_N$. В каждый момент времени $t_i$ существует некоторый набор возможных экспериментов $(y_{i_1}, x_{i_1}), \dots, (y_{i_k}, x_{i_k})$, где $x_{i_k}$ -- строчка матрицы плана, $y_{i_k}$ -- элемент свободного вектора.

Выбрав в каждый момент времени эксперимет, мы получим матрицу $X = (x_{1}, \dots, x_{N})^T$ и столбец $y$, на которых мы можем построить регрессию $y = X \theta + \varepsilon$ и оценить параметры $\theta = (\theta_1, \dots, \theta_l)$. Меня интересует лишь оценка $\theta_1$.

Правильно ли я понимаю, что для лучшей оценки параметра $\theta_1$ эксперименты нужно подбирать таким образом, чтобы элемент $(1, 1)$ матрицы $(X^T X)^{-1}$ был минимальным (так как $(X^T X)^{-1}$ ковариационная матрица, и на этом месте в ней будет стоять дисперсия $\theta_1$)? Или в таком случае возможные "большие" ошибки на прочих оцениваемых параметрах будут влиять на точность оценки $\theta_1$? А что нужно потребовать (от $(X^T X)^{-1}$), если необходимо как можно точнее оценить все параметры? Вроде можно попробовать и след, и операторную норму, то есть максимальное собственное число.

Заранее спасибо.

[Евгений Машеров]

Строгого критерия не назову.
Однако замечу, что помимо диагонального элемента обратной матрицы, которому пропорциональна дисперсия ошибки соответствующего коэффициента, есть и внедиагональные, которым пропорциональны корреляции ошибок этого коэффициента с прочими. Возможно, надо, даже интересуясь лишь одним коэффициентов, учитывать и их.
Кроме того, для такой оценки может пригодиться тождество $(\mathbf {A} -\mathbf {BD} ^{-1}\mathbf {C} )^{-1}=\mathbf {A} ^{-1}+\mathbf {A} ^{-1}\mathbf {B} (\mathbf {D} -\mathbf {CA} ^{-1}\mathbf {B} )^{-1}\mathbf {CA} ^{-1}$, позволяющее быстро посчитать матрицу, обратную к дополненной новым экспериментом.

[m09kaa4]

Решил. Можно через характеристические функции найти распределение интересующего параметра даже в модели с коррелируемыми шумами.

Евгений Машеров, спасибо, я пользовался формулой Шермана-Моррисона, которая является частным случаем Вашего тождества.

[m09kaa4]

Вроде ответ такой:

1. Если $\hat{\theta}$ -- оценка МНК, то, если данные удовлетворяют ослабленной (когда вектор шума $\varepsilon$ имеет произвольную матрицу ковариации $\mathrm{cov}(\varepsilon)$) теореме Гаусса-Маркова, верно: $\theta = \hat{\theta} + \left ( X^T \mathrm{cov}(\varepsilon)^{-1} X \right )^{-1} \mathrm{cov} (\varepsilon)^{0.5} \left( \mathrm{cov}(\varepsilon)^{-0.5} \varepsilon \right ) = \hat{\theta} + M \left( \mathrm{cov}(\varepsilon)^{-0.5} \varepsilon \right )$. Матрица ковариации положительно определена, потому корень существует.
Легко проверить, что $\left( \mathrm{cov}(\varepsilon)^{-0.5} \varepsilon \right )$ имеет нормальное распределение с единичной матрицей ковариации и нулевым матожиданием. Тогда линейная комбинация $\left \langle M_i, \left( \mathrm{cov}(\varepsilon)^{-0.5} \varepsilon \right ) \right \rangle$ имеет нормальное распределение $\mathcal{N}(0, \sqrt{\sum_{j = 1}^{m}M_{ij}^2} )$.
2. Примерно также можно найти величину, которую следует минимизировать для одновременного уточнения всех параметров. Для этого нужно показать, что для любого $p \in (0, 1)$ $100p$-процентный доверительный интервал будет шаром. Далее, действие матрицы $X$ на шар превратит его в эллипсоид, полуоси которого есть собственный вектора $M$, а их длинна -- соответствующие собственные числа. Для минимизации "разброса" нужно минимизировать лебегову меру данного эллипсоида, то есть произведение собственных чисел. Это эквивалентно максимизации определителя матрицы $M$.

В обоих случаях получается довольно сложная программа и непонятно, как быстрее всего пересчитать получившееся значение, когда к матрице $X$ добавляется новая строчка или удаляется старая.