Оценка параметров

[vlad_light]

Пусть имеется модель:

$$\hat y _\theta = f_\theta (x_1, ..., x_n) + \delta _\theta, $$

$$\hat x _i = x_i + \varepsilon _i,$$

где $f_\theta \colon \mathbb R^n \to \mathbb R$ -- семейство известных функций, $\delta _\theta$ и $\varepsilon _i$ -- ошибки измерения с $\mathbb E \delta _\theta = \mathbb E \varepsilon _i = 0$ и известными дисперсиями $\mathbb V \delta _\theta = \sigma ^2 _\theta, \mathbb V \varepsilon _i = \sigma ^2 $. Необходимо по выборке $\{\hat y _\theta , \hat x_i, \sigma ^2 _\theta , \sigma ^2| \theta \in \Theta , i=1,...,n\}$ оценить вектор $(x_1,..., x_n)$.

Рассмотрим простой случай: $f_\theta (x_1, ..., x_n) = \sum _i x_i$ -- единственная функция в семействе. Тогда при $\mathbb V [f_\theta (\hat x_1, ..., \hat x_n)] = n\sigma ^2 < \sigma ^2 _\theta = \mathbb V[f(x_1, ..., x_n)]$ есть ощущение, что можно более точно оценить $(x_1,...,x_n)$ используя $\hat y _\theta$. Подскажите, пожалуйста, как построить такую оценку? Также интересуют оценки для более сложных функций, например: $f(x_1,..., x_n) = \sum x_i^2$; $f(x_1,..., x_n) = \max _i |x_i|$ и т.д.

[vlad_light]

Как я понял, при условии нормальности ошибок можно построить оценку МП:

$$(\hat y , \hat x_1, ..., \hat x_n) \sim \mathcal N ( [\sum_i x_i, x_1, ..., x_n], \Sigma),$$

где $\Sigma$ -- матрица, у которой по диагонали $\sigma ^2 _\delta, \sigma ^2 ,..., \sigma ^2$, а вне диагонали в первом столбце/строке ковариации, а остальные нули. Вопрос: как посчитать $\mathrm {Cov}[\hat y , \hat x_i] $?

[vlad_light]

Туплю, все $\varepsilon _i, \delta _\theta$ -- независимы, в этом случае логарифм функции правдоподобия просто превратиться в сумму.
Итоговая оценка для случая $f(x_1, ..., x_n) = \sum _i x_i$ будет:

$$x_i = \hat x_i + \frac {\sigma ^2 }{n\sigma ^2 + \sigma ^2 _\theta}(\hat y - \sum _j \hat x_j)$$

[Евгений Машеров]

Ну, мне сдаётся, что дело сводится к минимизации квадратичной функции
$\sum \frac {(\hat {x_i}-x_i)^2}{\sigma^2}+\frac {(\hat{y}-\sum x_i)^2}{\sigma^2_\theta}$

[vlad_light]

Да, все верно! То, что я написал является решением этого функционала