Метод максимального правдоподобия(мат. статистика)

[Kirillko93]

Друзья, помогите дорешать: Выборка нечетного объема $n$ сделана из генеральной совокупности с плотностью $p(x;\theta)=e^{-|x-\theta|}/2$. Найти оценку параметра $\theta$ методом максимального правдоподобия.
Решение:
о методу максимального правдоподобия составим функцию правдоподобия $L$:

$$L(x_1,x_2,...,x_n,\theta)=p(x_1;\theta) \cdot ... \cdot p(x_n;\theta).$$

$$L(x_1,x_2,...,x_n,\theta)= \prod_{i=1}^{n} \frac{e^{-|x_i-\theta|}}{2}.$$

Для удобства дифференцирования данной функции прологарифмируем ее:

$$\ln{L}= \prod_{i=1}^{n} -|\theta - x_i| - \ln{2}.$$

Модуль можно сократить:

$$-|\theta - x_i|=-\sqrt{(\theta - x_i)^2}$$

Далее функцию следует продифференцировать по $\theta$:

$$\frac{\partial \ln{L}}{\partial \theta}=\frac{\partial (\prod_{i=1}^{n}-\sqrt{(\theta - x_i)^2} - \ln{2})}{\partial \theta}=\bar{n} \cdot \frac{(\bar {x} - \theta)}{\sqrt{(\theta - \bar{x})^2}}.$$

Приравнивая эту производную к нулю, мы получаем, что единственным корнем уравнения является $\hat{\theta}=\bar{x}$, однако в знаменателе при этом также получается ноль, что
соответствует неопределенности.


Как быть дальше?

[profrotter]

Kirillko93 в сообщении #591311 писал(а):

Для удобства дифференцирования данной функции прологарифмируем ее:

$$\ln{L}= \prod_{i=1}^{n} -|\theta - x_i| - \ln{2}.$$

$$\ln{\prod_{i=1}^{n}\frac{e^{a_i}}{2}}=\ln{\frac{e^{\sum\limits_{i=1}^{n}a_i}}{2^n}}=\sum\limits_{i=1}^{n}a_i-n\ln{2}$$

Ну не дифференцируема она в нуле и всё тут. Возможно надо как-то ещё искать максимум функции правдоподобия.

[_hum_]

Во-первых, проверьте еще раз вычисления (логарифм от произведения должен давать сумму логарифмов, а у вас произведение остается).
Во-вторых,

Kirillko93 в сообщении #591311 писал(а):

Модуль можно сократить:

$$-|\theta - x_i|=-\sqrt{(\theta - x_i)^2}$$

ничего не дает - функция как была недифференцируемой в точке $\theta = x_i$, так и осталась. Проще напрямую использовать:

\begin{align*} |x|' = \begin{cases}&-1, \text{ если } x < 0,\\ &\phantom{-}1, \text{ если } x > 0,\\ &\phantom{-}\text{не определена, если } x = 0. \end{cases} \end{align*}

Или коротко

$$|x|' = \mathrm{sign}\, x \quad \text{ для } x \neq 0. $$

[Kirillko93]

_hum_
тут один фиг, даже если использовать то, что вы написали, то получится, что производная вообще не зависит от параметра...

[_hum_]

Kirillko93 в сообщении #591377 писал(а):

_hum_
тут один фиг, даже если использовать то, что вы написали, то получится, что производная вообще не зависит от параметра...

Может, все же запишете все заново, с учетом указанных выше замечаний?

[Kirillko93]

_hum_
сейчас попробую!

-- 02.07.2012, 20:05 --

и так, в следствие приведенных выше замечаний, что у меня получается:

$$\lnL=\ln \prod^n_{i=1} \frac{e^{-|\theta - x_i|}}{2} = \sum^n_{i=1}-|\theta - x_i| - n \cdot \ln(2) = - \sum^n_{i=1}|\theta - x_i| + n \cdot \ln(2).$$

Далее дифференцируем в соответствии с условиями, которые предложил(а) _hum_:
1) Для $x>0$

$$\frac{\partial \ln L}{\partial \theta}= 0$$

так как логарифм константа, то он уходит.
2) Для $x<0$

$$\frac{\partial \ln L}{\partial \theta}= -1$$

, так как логарифм константа, то он уходит. и что делать дальше?

[_hum_]

Kirillko93 в сообщении #591383 писал(а):

1) Для $x>0$

$$\frac{\partial \ln L}{\partial \theta}= 0$$

так как логарифм константа, то он уходит.
2) Для $x<0$

$$\frac{\partial \ln L}{\partial \theta}= -1$$

, так как логарифм константа, то он уходит. и что делать дальше?

Что это ?
Еще раз. Продифференцируйте вашу функцию

$$Q(\theta) = - \sum^n_{i=1}|\theta - x_i| + n \cdot \ln(2)$$

с учетом того, что

$$|u|' = \mathrm{sign}\, u \quad \text{ для } u \neq 0. $$

[Kirillko93]

не понимаю ... ну ведь уходит параметр после дифференцирования!

[_hum_]

Kirillko93 в сообщении #591395 писал(а):

не понимаю ... ну ведь уходит параметр после дифференцирования!

Вы про правило дифференцирования сложной функции часом не забыли?
Чему равна производная |$\theta - a|'_\theta$ в точке $ \theta \neq a$ ?

[Kirillko93]

не $\frac{\theta}{|\theta|}$?

-- 02.07.2012, 20:29 --

стоп. будет $\frac{\theta - a}{|a - \theta|}$

-- 02.07.2012, 20:35 --

я окончательно запутался

-- 02.07.2012, 20:38 --

по идее это будет $-sign(x- \theta)$

[_hum_]

Kirillko93 в сообщении #591400 писал(а):

стоп. будет $\frac{\theta - a}{|a - \theta|}$

Ладно, я так понимаю, вы все равно через свой корень из квадрата решаете.
Заметьте, $\frac{\theta - a}{|a - \theta|} = \mathrm{sign}(\theta - a)$ для $\theta \neq a$. Таким образом, с горем пополам, получили

$$|\theta - a|'_\theta = \mathrm{sign}(\theta - a),\quad \theta \neq a.$$

Ну, так теперь дерзайте, дифференцируйте свою исходную функцию $Q(\theta)$ (в предположении $\theta \neq x_i, i = 1,\dots, n$).

[Kirillko93]

то есть получится такая штука?

$$-\sum^n_{i=1}sign(n \cdot \theta - x_i) $$

[_hum_]

Откуда $n$ взялось под знаком сигнума?

[Kirillko93]

ой.

$$-\sum^n_{i=1}sign(\theta - x_i) $$

так стоп. нам же надо приравнивать эту производную к нулю. соответственно все равно $\theta= x$

[_hum_]

Kirillko93 в сообщении #591408 писал(а):

нам же надо приравнивать эту производную к нулю.

Кстати, зачем, в курсе?

Kirillko93 в сообщении #591408 писал(а):

соответственно все равно $\theta= x$

Какому именно $x$, у вас их $n$ штук. Не торопитесь, подумайте: при каком значении $\theta$ величина $\sum^n_{i=1}\mathrm{sign}(\theta - x_i)$ может становиться нулем (считайте для начала, что $n$ четно)? Для этого мысленно нарисуйте на оси $Ox$ точки $x_1, x_2, \dots$ и точку $\theta$. Куда ее нужно поместить, чтобы сумма сигнумов могла давать нуль?