2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1, 2
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 01:34 
Заслуженный участник
Аватара пользователя


16/07/14
9151
Цюрих
Laguna в сообщении #1635769 писал(а):
однако не понимаю, что делать с $E(g^2(Z))$, ибо оно же не равно $E^2(g(Z))$
Не равно, но зато оно точно положительно.
Попробуйте для начала рассмотреть случай, когда $g$ линейна.

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 07:17 


14/11/21
141
Если мы будем искать $g(x)$ в виде $g(x)=\sum\limits_{i=0}^{M} a_i x^i$,
то можем записать минимизируемую целевую функцию:
$\int\limits_{-\infty}^{\infty} \int\limits_{-\infty}^{\infty} p(x,y) (y^2+\sum\limits_{i=0}^{M} a_i x^i)^2 dx dy $

Далее, наращивая M, дифференцирем целевую функцию по неизвестным коэффициентам разложения и приравниваем частные производные нулю:
$\frac{\partial}{\partial a_k} \int\limits_{-\infty}^{\infty} \int\limits_{-\infty}^{\infty} p(x,y) (y^2+\sum\limits_{i=0}^{M} a_i x^i)^2 dx dy = 0, \forall k=0,1,2...$

Таким образом, наращивая M и решая соотв. СЛАУ, будем получать искомые коэфф-ы разложения.

Так вот, получается, что при M>2 $a_k=0 \forall k>2$

С помощью вариационного исчисления, т.е. функционального дифференцирования, этот результат получается сразу.

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 09:06 


14/11/21
141
Еще можно посчитать условное матожидание $E\left\lbrace y^2 \mid x\right\rbrace= \int\limits_{-\infty}^{\infty} y^2 p(y\mid x) dy$

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 10:11 


14/11/21
141
Средний риск: $r(g)=\int\limits_{}^{}\int\limits_{}^{}(y^2-g(x))^2 p(y,x) dy dx = $
$=\int\limits_{}^{}\int\limits_{}^{}(y^2-g(x))^2 p(y \mid x) p(x) dy dx = $
$=\int\limits_{}^{} r_{ps}(x,g) p(x) dx$

$r_{ps}(x,g)=\int\limits_{}^{} (y^2-g(x))^2 p(y \mid x) dy$ - апостериорный риск.

Очевидно, что средний риск $r(g)$ и апостериорный риск $r_{ps}(x,g)$ достигают минимального значения при одном и том же решающем правиле $g(x)$. Иначе говоря, оптимальное решающее правило $g(x)$ можно определить, минимизируя апостериорный риск: $\frac{\partial}{\partial g} r_{ps}(x,g)\mid_{g=g_{0}}=$
$=2 \int\limits_{}^{} (y^2-g_0) p(y \mid x) dy = 0$

Отсюда оптимальное решающее правило: $g_0=\int\limits_{}^{} y^2 p(y \mid x) dy$

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 11:29 
Заслуженный участник
Аватара пользователя


16/07/14
9151
Цюрих
Alex Krylov, полное решение же выкладывать запрещено правилами. Правда я подозреваю, что ТС всё равно Ваш подход не поймет. Благо тут можно проще (а еще ИМХО если уж так рассуждать, то к плотностям надо переходить только в самом конце).

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение09.04.2024, 12:26 


14/11/21
141
mihaild в сообщении #1635804 писал(а):
Alex Krylov, полное решение же выкладывать запрещено правилами. Правда я подозреваю, что ТС всё равно Ваш подход не поймет. Благо тут можно проще (а еще ИМХО если уж так рассуждать, то к плотностям надо переходить только в самом конце).


Я конечного ответа/решения все ж таки не давал, а продемонстрировал инструментарий, подходы и некую базовую терминологию, чтобы было понятно, куда копать.

Я бы кстати еще добавил некоторый набор ключевых слов (чтоб при желании было понятно, что искать): теория статистических решений/оценок, функция потерь (квадратичная, простая и др.), средний риск, безусловный риск, условный риск, критерий минимума среднего риска/минимума условного риска, байесовские/небайесовские оценки/решения, минимаксные решения/оценки итд.

 Профиль  
                  
 
 Re: Минимизация матожидания
Сообщение10.04.2024, 11:50 


14/11/21
141
Ну и для полноты картины приведу вариант решения через функциональную производную...

$r(g(x))=\int\limits_{}^{}\int\limits_{}^{}(y^2-g(x))^2 p(y,x) dy dx$ - наш функционал

$\lim\limits_{\varepsilon\to0}^{}\frac{r(g(x)+\varepsilon\psi(x))-r(g(x))}{\varepsilon}=\lim\limits_{\varepsilon\to0}^{}\frac{\int\limits_{}^{}\int\limits_{}^{}(\varepsilon^2\psi(x)^2+2\varepsilon\psi(x)(g(x)-y^2))dydx}{\varepsilon}=$
$=\int\limits_{}^{}\left\lbrace\int\limits_{}^{}2(g(x)-y^2) p(y,x) dy\right\rbrace\psi(x) dx$

Значит наша функциональная производная: $\frac{\delta r(g)}{\delta g}=2 \int\limits_{}^{}(g(x)-y^2) p(y,x) dy =$
$=2 \int\limits_{}^{}(g(x)-y^2) p(y \mid x)p(x) dy =2 p(x) \int\limits_{}^{}(g(x)-y^2) p(y \mid x) dy=0$
Т.е. приходим к тому же результату, что и выше (в посте выше от 09.04.2024, 10:11 в выражении $2 \int\limits_{}^{}(y^2 - g_{0}) p(y \mid x)dy$ перед двойкой должен стоять знак "минус"!!!). Видим, что, действительно, минимизация безусловного и условного рисков дают одинаковый результат.

Также видим, что в принципе можно и не вычислять условное распределение $p(y \mid x)$ (иногда это не так то просто сделать), а интегрировать по совместному распределению $p(y,x)$, но в результате там вылезет общий множитель $p(x)$, который надо будет просто сократить.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 22 ]  На страницу Пред.  1, 2

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group