2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1, 2
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 01:34 
Заслуженный участник
Аватара пользователя


16/07/14
9090
Цюрих
Laguna в сообщении #1635769 писал(а):
однако не понимаю, что делать с $E(g^2(Z))$, ибо оно же не равно $E^2(g(Z))$
Не равно, но зато оно точно положительно.
Попробуйте для начала рассмотреть случай, когда $g$ линейна.

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 07:17 


14/11/21
141
Если мы будем искать $g(x)$ в виде $g(x)=\sum\limits_{i=0}^{M} a_i x^i$,
то можем записать минимизируемую целевую функцию:
$\int\limits_{-\infty}^{\infty} \int\limits_{-\infty}^{\infty} p(x,y) (y^2+\sum\limits_{i=0}^{M} a_i x^i)^2 dx dy $

Далее, наращивая M, дифференцирем целевую функцию по неизвестным коэффициентам разложения и приравниваем частные производные нулю:
$\frac{\partial}{\partial a_k} \int\limits_{-\infty}^{\infty} \int\limits_{-\infty}^{\infty} p(x,y) (y^2+\sum\limits_{i=0}^{M} a_i x^i)^2 dx dy = 0, \forall k=0,1,2...$

Таким образом, наращивая M и решая соотв. СЛАУ, будем получать искомые коэфф-ы разложения.

Так вот, получается, что при M>2 $a_k=0 \forall k>2$

С помощью вариационного исчисления, т.е. функционального дифференцирования, этот результат получается сразу.

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 09:06 


14/11/21
141
Еще можно посчитать условное матожидание $E\left\lbrace y^2 \mid x\right\rbrace= \int\limits_{-\infty}^{\infty} y^2 p(y\mid x) dy$

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 10:11 


14/11/21
141
Средний риск: $r(g)=\int\limits_{}^{}\int\limits_{}^{}(y^2-g(x))^2 p(y,x) dy dx = $
$=\int\limits_{}^{}\int\limits_{}^{}(y^2-g(x))^2 p(y \mid x) p(x) dy dx = $
$=\int\limits_{}^{} r_{ps}(x,g) p(x) dx$

$r_{ps}(x,g)=\int\limits_{}^{} (y^2-g(x))^2 p(y \mid x) dy$ - апостериорный риск.

Очевидно, что средний риск $r(g)$ и апостериорный риск $r_{ps}(x,g)$ достигают минимального значения при одном и том же решающем правиле $g(x)$. Иначе говоря, оптимальное решающее правило $g(x)$ можно определить, минимизируя апостериорный риск: $\frac{\partial}{\partial g} r_{ps}(x,g)\mid_{g=g_{0}}=$
$=2 \int\limits_{}^{} (y^2-g_0) p(y \mid x) dy = 0$

Отсюда оптимальное решающее правило: $g_0=\int\limits_{}^{} y^2 p(y \mid x) dy$

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 11:29 
Заслуженный участник
Аватара пользователя


16/07/14
9090
Цюрих
Alex Krylov, полное решение же выкладывать запрещено правилами. Правда я подозреваю, что ТС всё равно Ваш подход не поймет. Благо тут можно проще (а еще ИМХО если уж так рассуждать, то к плотностям надо переходить только в самом конце).

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 12:26 


14/11/21
141
mihaild в сообщении #1635804 писал(а):
Alex Krylov, полное решение же выкладывать запрещено правилами. Правда я подозреваю, что ТС всё равно Ваш подход не поймет. Благо тут можно проще (а еще ИМХО если уж так рассуждать, то к плотностям надо переходить только в самом конце).


Я конечного ответа/решения все ж таки не давал, а продемонстрировал инструментарий, подходы и некую базовую терминологию, чтобы было понятно, куда копать.

Я бы кстати еще добавил некоторый набор ключевых слов (чтоб при желании было понятно, что искать): теория статистических решений/оценок, функция потерь (квадратичная, простая и др.), средний риск, безусловный риск, условный риск, критерий минимума среднего риска/минимума условного риска, байесовские/небайесовские оценки/решения, минимаксные решения/оценки итд.

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение10.04.2024, 11:50 


14/11/21
141
Ну и для полноты картины приведу вариант решения через функциональную производную...

$r(g(x))=\int\limits_{}^{}\int\limits_{}^{}(y^2-g(x))^2 p(y,x) dy dx$ - наш функционал

$\lim\limits_{\varepsilon\to0}^{}\frac{r(g(x)+\varepsilon\psi(x))-r(g(x))}{\varepsilon}=\lim\limits_{\varepsilon\to0}^{}\frac{\int\limits_{}^{}\int\limits_{}^{}(\varepsilon^2\psi(x)^2+2\varepsilon\psi(x)(g(x)-y^2))dydx}{\varepsilon}=$
$=\int\limits_{}^{}\left\lbrace\int\limits_{}^{}2(g(x)-y^2) p(y,x) dy\right\rbrace\psi(x) dx$

Значит наша функциональная производная: $\frac{\delta r(g)}{\delta g}=2 \int\limits_{}^{}(g(x)-y^2) p(y,x) dy =$
$=2 \int\limits_{}^{}(g(x)-y^2) p(y \mid x)p(x) dy =2 p(x) \int\limits_{}^{}(g(x)-y^2) p(y \mid x) dy=0$
Т.е. приходим к тому же результату, что и выше (в посте выше от 09.04.2024, 10:11 в выражении $2 \int\limits_{}^{}(y^2 - g_{0}) p(y \mid x)dy$ перед двойкой должен стоять знак "минус"!!!). Видим, что, действительно, минимизация безусловного и условного рисков дают одинаковый результат.

Также видим, что в принципе можно и не вычислять условное распределение $p(y \mid x)$ (иногда это не так то просто сделать), а интегрировать по совместному распределению $p(y,x)$, но в результате там вылезет общий множитель $p(x)$, который надо будет просто сократить.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 22 ]  На страницу Пред.  1, 2

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Padawan


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group