Минимизация матожидания

[mihaild]

Laguna в сообщении #1635769 писал(а):

однако не понимаю, что делать с $E(g^2(Z))$, ибо оно же не равно $E^2(g(Z))$

Не равно, но зато оно точно положительно.
Попробуйте для начала рассмотреть случай, когда $g$ линейна.

[Alex Krylov]

Если мы будем искать $g(x)$ в виде $g(x)=\sum\limits_{i=0}^{M} a_i x^i$,
то можем записать минимизируемую целевую функцию:
$\int\limits_{-\infty}^{\infty} \int\limits_{-\infty}^{\infty} p(x,y) (y^2+\sum\limits_{i=0}^{M} a_i x^i)^2 dx dy $

Далее, наращивая M, дифференцирем целевую функцию по неизвестным коэффициентам разложения и приравниваем частные производные нулю:
$\frac{\partial}{\partial a_k} \int\limits_{-\infty}^{\infty} \int\limits_{-\infty}^{\infty} p(x,y) (y^2+\sum\limits_{i=0}^{M} a_i x^i)^2 dx dy = 0, \forall k=0,1,2...$

Таким образом, наращивая M и решая соотв. СЛАУ, будем получать искомые коэфф-ы разложения.

Так вот, получается, что при M>2 $a_k=0 \forall k>2$

С помощью вариационного исчисления, т.е. функционального дифференцирования, этот результат получается сразу.

[Alex Krylov]

Еще можно посчитать условное матожидание $E\left\lbrace y^2 \mid x\right\rbrace= \int\limits_{-\infty}^{\infty} y^2 p(y\mid x) dy$

[Alex Krylov]

Средний риск: $r(g)=\int\limits_{}^{}\int\limits_{}^{}(y^2-g(x))^2 p(y,x) dy dx = $
$=\int\limits_{}^{}\int\limits_{}^{}(y^2-g(x))^2 p(y \mid x) p(x) dy dx = $
$=\int\limits_{}^{} r_{ps}(x,g) p(x) dx$

$r_{ps}(x,g)=\int\limits_{}^{} (y^2-g(x))^2 p(y \mid x) dy$ - апостериорный риск.

Очевидно, что средний риск $r(g)$ и апостериорный риск $r_{ps}(x,g)$ достигают минимального значения при одном и том же решающем правиле $g(x)$. Иначе говоря, оптимальное решающее правило $g(x)$ можно определить, минимизируя апостериорный риск: $\frac{\partial}{\partial g} r_{ps}(x,g)\mid_{g=g_{0}}=$
$=2 \int\limits_{}^{} (y^2-g_0) p(y \mid x) dy = 0$

Отсюда оптимальное решающее правило: $g_0=\int\limits_{}^{} y^2 p(y \mid x) dy$

[mihaild]

Alex Krylov, полное решение же выкладывать запрещено правилами. Правда я подозреваю, что ТС всё равно Ваш подход не поймет. Благо тут можно проще (а еще ИМХО если уж так рассуждать, то к плотностям надо переходить только в самом конце).

[Alex Krylov]

mihaild в сообщении #1635804 писал(а):

Alex Krylov, полное решение же выкладывать запрещено правилами. Правда я подозреваю, что ТС всё равно Ваш подход не поймет. Благо тут можно проще (а еще ИМХО если уж так рассуждать, то к плотностям надо переходить только в самом конце).

Я конечного ответа/решения все ж таки не давал, а продемонстрировал инструментарий, подходы и некую базовую терминологию, чтобы было понятно, куда копать.

Я бы кстати еще добавил некоторый набор ключевых слов (чтоб при желании было понятно, что искать): теория статистических решений/оценок, функция потерь (квадратичная, простая и др.), средний риск, безусловный риск, условный риск, критерий минимума среднего риска/минимума условного риска, байесовские/небайесовские оценки/решения, минимаксные решения/оценки итд.

[Alex Krylov]

Ну и для полноты картины приведу вариант решения через функциональную производную...

$r(g(x))=\int\limits_{}^{}\int\limits_{}^{}(y^2-g(x))^2 p(y,x) dy dx$ - наш функционал

$\lim\limits_{\varepsilon\to0}^{}\frac{r(g(x)+\varepsilon\psi(x))-r(g(x))}{\varepsilon}=\lim\limits_{\varepsilon\to0}^{}\frac{\int\limits_{}^{}\int\limits_{}^{}(\varepsilon^2\psi(x)^2+2\varepsilon\psi(x)(g(x)-y^2))dydx}{\varepsilon}=$
$=\int\limits_{}^{}\left\lbrace\int\limits_{}^{}2(g(x)-y^2) p(y,x) dy\right\rbrace\psi(x) dx$

Значит наша функциональная производная: $\frac{\delta r(g)}{\delta g}=2 \int\limits_{}^{}(g(x)-y^2) p(y,x) dy =$
$=2 \int\limits_{}^{}(g(x)-y^2) p(y \mid x)p(x) dy =2 p(x) \int\limits_{}^{}(g(x)-y^2) p(y \mid x) dy=0$
Т.е. приходим к тому же результату, что и выше (в посте выше от 09.04.2024, 10:11 в выражении $2 \int\limits_{}^{}(y^2 - g_{0}) p(y \mid x)dy$ перед двойкой должен стоять знак "минус"!!!). Видим, что, действительно, минимизация безусловного и условного рисков дают одинаковый результат.

Также видим, что в принципе можно и не вычислять условное распределение $p(y \mid x)$ (иногда это не так то просто сделать), а интегрировать по совместному распределению $p(y,x)$, но в результате там вылезет общий множитель $p(x)$, который надо будет просто сократить.