Задача на правдоподобие и функцию распределения

[integral2009]

Хорхе в сообщении #508409 писал(а):

Напишите правильно функцию правдоподобия, и ему сразу будет откуда взяться.

А, ок, спасибо, теперь понятно!

$$L(\theta;X_1;X_2;....;X_n)=\prod_{i=1}^n f_{X_i}(x)=\left\{\begin{matrix} \frac {1}{\theta^n} \prod_{i=1}^n\,e^{-\frac {x_i}{\theta}} &,\; x \ge 0, \\ 0 &,\; x < 0. \end{matrix}\right.$$

[Хорхе]

Если быть совсем точным,

$$L(\theta;X_1;X_2;....;X_n)=\begin{cases} \frac {1}{\theta^n} \prod_{i=1}^n\,e^{-\frac {x_i}{\theta}} &,\; \text{ \bf все } x_i \ge 0, \\ 0 &,\; \text{ \bf хотя бы один } x_i < 0. \end{cases}$$

[integral2009]

Хорхе в сообщении #508414 писал(а):

Если быть совсем точным,

$$L(\theta;X_1;X_2;....;X_n)=\begin{cases} \frac {1}{\theta^n} \prod_{i=1}^n\,e^{-\frac {x_i}{\theta}} &,\; \text{ \bf все } x_i \ge 0, \\ 0 &,\; \text{ \bf хотя бы один } x_i < 0. \end{cases}$$

Ок, понятно, и еще хотелось бы понять тогда - как влияют эти $x_i\ge0$ итп.

То есть -- что будет, если сделать сдвиг, то есть задать плотность следующим образом.

$$f_X(x) = \left\{\begin{matrix} \lambda \,e^{-\lambda (x-a)} &,\; x \ge a, \\ 0 &,\; x < a. \end{matrix}\right.$$

Тогда у нас оценка методом максимального правдоподобия получится такой? $\hat\theta=\frac1{n}\sum\limits_{i=1}^n(X_i-a)$

То есть смещенной?

[--mS--]

integral2009 в сообщении #508420 писал(а):

Ок, понятно, и еще хотелось бы понять тогда - как влияют эти $x_i\ge0$ итп.

Не вижу смысла в таких подробностях. Элементы выборки, которые Вы подставляете в плотности распределения, с вероятностью 1 положительны. Соответственно, функция правдоподобия равна верхней строчке Вашей скобки с вероятностью 1. Нет ни малейшего смысла рассматривать нулевое значение функции правдоподобия, т.е. что-то вообще делать на множестве нулевой вероятности.

integral2009 в сообщении #508420 писал(а):

То есть -- что будет, если сделать сдвиг, то есть задать плотность следующим образом.

$$f_X(x) = \left\{\begin{matrix} \lambda \,e^{-\lambda (x-a)} &,\; x \ge a, \\ 0 &,\; x < a. \end{matrix}\right.$$

Тогда у нас оценка методом максимального правдоподобия получится такой? $\hat\theta=\frac1{n}\sum\limits_{i=1}^n(X_i-a)$

Разумеется, нет. Выпишите функцию правдоподобия как функцию переменной $a$. Нарисуйте её график по переменной $a$. Найдите точку максимума.

[integral2009]

--mS-- в сообщении #508441 писал(а):

Разумеется, нет. Выпишите функцию правдоподобия как функцию переменной $a$. Нарисуйте её график по переменной $a$. Найдите точку максимума.

А зачем по $a$?

$$f_X(x) = \left\{\begin{matrix} \lambda \,e^{-\lambda (x-a)} &,\; x \ge a, \\ 0 &,\; x < a. \end{matrix}\right.$$

$$L(\theta;a;X_1;X_2;....;X_n)= \frac {1}{\theta^n}\exp{\big(-\sum_{i=1}^n\frac {(x_i-a)}{\theta}\big)}$$

$$\dfrac{\partial L}{\partial a}=-\frac {1}{\theta^n}\big(\sum_{i=1}^n\frac {(x_i-a)}{\theta}\big)'_a\cdot \exp{\big(-\sum_{i=1}^n\frac {(x_i-a)}{\theta}\big)}=\dfrac{n}{\theta^{n+1}}\exp{\big(-\sum_{i=1}^n\frac {(x_i-a)}{\theta}\big)}$$

(тут вроде как бред)

$$\ln{L}=\left\{\begin{matrix} \ln{\frac{1}{\theta}}- {\frac{1}{\theta^n}} \cdot\sum_{i=1}^n\,{ {(x_i-a)}} &,\; x \ge a, \\ 0 &,\; x < a. \end{matrix}\right.$$

$\dfrac{\partial Ln L}{\partial a}=\dfrac{1}{\theta^n}$ при $x\ge a$

[--mS--]

integral2009 в сообщении #508482 писал(а):

А зачем по $a$?

А Вы ОМП для какого параметра искать хотите? Определение знаете?

Выпишите функцию правдоподобия как функцию переменной $a$. Не логарифмическую, а просто функцию правдоподобия. И ещё очень хотелось бы, чтобы никакого $x$ в правой части функции не было и в помине, а только те переменные, от которых должна зависеть функция правдоподобия. А то Хорхе трудился-трудился, а у Вас снова функция правдоподобия от какого-то $x$ зависит...

[integral2009]

Я хотел найти оценку для $\theta=\frac1{\lambda}$ для выборки $X_1:X_2:..;X_n$ из распределения

$$f_X(x) = \left\{\begin{matrix} \lambda \,e^{-\lambda (x-a)} &,\; x \ge a, \\ 0 &,\; x < a. \end{matrix}\right.$$

И спросил - получится ли она такой? $\hat\theta=\frac1{n}\sum\limits_{i=1}^n(X_i-a)$

То есть смещенной?

-- Сб ноя 26, 2011 21:24:21 --

--mS-- в сообщении #508512 писал(а):

И ещё очень хотелось бы, чтобы никакого $x$ в правой части функции не было и в помине, а только те переменные, от которых должна зависеть функция правдоподобия. А то Хорхе трудился-трудился, а у Вас снова функция правдоподобия от какого-то $x$ зависит...

Вы имеете ввиду то, что там должны быть $X_i$, а не $x$? Или то, что я пишу, что $x>0$?

[--mS--]

integral2009 в сообщении #508523 писал(а):

Я хотел найти оценку для $\theta=\frac1{\lambda}$

Ах, для $\theta$! А зачем тогда Вы по $a$ дифференцировали функцию правдоподобия? Ну да, естественно, такой и будет - если только $a$ известно.

Кстати, сверили бы Вы обозначения. Неужто так буквой $L$ и обозначалась у вас функция правдоподобия? Или таки логарифмическая ф.п.?

integral2009 в сообщении #508523 писал(а):

Вы имеете ввиду то, что там должны быть $X_i$, а не $x$? Или то, что я пишу, что $x>0$?

Я имею в виду, что никакого $x$ нигде в правой части быть не может. Функция правдоподобия зависит от параметра(ов) и от выборки, ещё от $n$, и более ни от чего.

[integral2009]

--mS-- в сообщении #508580 писал(а):

Я имею в виду, что никакого $x$ нигде в правой части быть не может. Функция правдоподобия зависит от параметра(ов) и от выборки, ещё от $n$, и более ни от чего.

Я обозначения взял из книжки Кремер. Теория вероятностей и Математическая статистика. Москва 2000 год издания, стр 295! Там так и пишется $L(x_1,x_2,...,\theta)$

А как там может не быть $x$, ведь плотности распределения зависят от $x$?

-- Вс ноя 27, 2011 00:44:48 --

(неактуально, вопрос исчерпал себя по мере написания)

А как доказать смещенность оценки?

$\hat\theta=\frac1{n}\sum\limits_{i=1}^n(X_i-a)$

$$E\hat\theta=\frac1{n}E(\big\sum\limits_{i=1}^n(X_i-a)\big)=\frac1{n}E(\big\sum\limits_{i=1}^nX_i\big)-a=\frac1{n}(\big\sum\limits_{i=1}^nEX_i\big)-a=\frac1{n}(\big\sum\limits_{i=1}^n\theta\big)-a=\theta-a$$

[--mS--]

integral2009 в сообщении #508628 писал(а):

А как там может не быть $x$, ведь плотности распределения зависят от $x$?

Плотности могут зависеть хоть от $t$, хоть от $y$, хоть от "ксюгма". Как по плотностям строится функция правдоподобия? Что подставляется вместо $x$ в первом сомножителе? Во втором? В третьем? В последнем?

integral2009 в сообщении #508628 писал(а):

(неактуально, вопрос исчерпал себя по мере написания)

А как доказать смещенность оценки?

$\hat\theta=\frac1{n}\sum\limits_{i=1}^n(X_i-a)$

$$E\hat\theta=\frac1{n}E(\big\sum\limits_{i=1}^n(X_i-a)\big)=\frac1{n}E(\big\sum\limits_{i=1}^nX_i\big)-a=\frac1{n}(\big\sum\limits_{i=1}^nEX_i\big)-a=\frac1{n}(\big\sum\limits_{i=1}^n\theta\big)-a=\theta-a$$

Ничего не исчерпал. Математическое ожидание $X_i$ вычислили неверно. Они не равны $\theta$.

[integral2009]

--mS-- в сообщении #508696 писал(а):

Плотности могут зависеть хоть от $t$, хоть от $y$, хоть от "ксюгма". Как по плотностям строится функция правдоподобия? Что подставляется вместо $x$ в первом сомножителе? Во втором? В третьем? В последнем?

.

Подставляются случайные величины из выборки, которая задана в условии, ок, пусть это будут $\ksi_i$

--mS-- в сообщении #508696 писал(а):

Ничего не исчерпал. Математическое ожидание $X_i$ вычислили неверно. Они не равны$\theta$

А чему тогда равно это математическое ожидание $X_i$ ?

-- Вс ноя 27, 2011 13:46:32 --

Может вот так?$\theta=\frac1{n}\sum\limits_{i=1}^n X_i$

$E\hat\theta=E\big(\frac1{n}\sum\limits_{i=1}^n(X_i-a)\big)=E\theta-a=\theta-a$

[integral2009]

Даже, если это так, то это как-то странно) Не может же параметр, стоящий в плотности быть равен конечной сумме величин...

[--mS--]

Вы умеете вычислять математическое ожидание по заданной плотности распределения?

[integral2009]

--mS-- в сообщении #508979 писал(а):

Вы умеете вычислять математическое ожидание по заданной плотности распределения?

Да, виноват, наивно полагал, что оно не будет отличаться от матожидания обычного показательного распределения.

$$EX_i=\int\limits_{0}^\infty x\cdot {1 \over \theta} \cdot \,e^{-{ (x+a) \over \theta}}dx=e^{-\frac{a}{\theta}}\cdot\frac{1}{\theta} \int\limits_{0}^{\infty} x\,e^{-{ x \over \theta}}dx=e^{-\frac{a}{\theta}}\cdot \big(\text{Мат.ожид.показ.распред}\big)=e^{-\frac{a}{\theta}}\cdot \theta=\theta\cdot e^{-\frac{a}{\theta}}$$

-- Пн ноя 28, 2011 00:37:53 --

$$E\hat\theta=\frac1{n}E(\big\sum\limits_{i=1}^n(X_i-a)\big)=\frac1{n}E(\big\sum\limits_{i=1}^nX_i\big)-a=\frac1{n}(\big\sum\limits_{i=1}^nEX_i\big)-a=\frac1{n}(\big\sum\limits_{i=1}^n\theta\big)-a=\theta\cdot e^{-\frac{a}{\theta}}-a\ne \theta\;\forall a\ne 0$$

-- Пн ноя 28, 2011 00:58:25 --

Цитата:

Плотности могут зависеть хоть от $t$, хоть от $y$, хоть от "ксюгма". Как по плотностям строится функция правдоподобия? Что подставляется вместо $x$ в первом сомножителе? Во втором? В третьем? В последнем?

Вот так строится функция правдоподобия $L(\theta,x_1,x_2,...,x_n)=\prod\limits_i\varphi(x_i,\theta)$

Только я вот до сих пор не понял -- почему каждая $\varphi(x_i,\theta)$ в нашем задании должна быть распределена по показательному закону, ведь $X_i$ - это просто случайная величина из выборки, про нее нам ничего не известно, нам только известно, что выборка производится из некоторого показательного распределения случайных величин, это же не значит, что каждая СВ из выборки распределена по показательному закону...Или именно в этом и заключается метод правдоподобия?

[--mS--]

integral2009 в сообщении #509029 писал(а):

$$EX_i=\int\limits_{0}^\infty x\cdot {1 \over \theta} \cdot \,e^{-{ (x+a) \over \theta}}dx=e^{-\frac{a}{\theta}}\cdot\frac{1}{\theta} \int\limits_{0}^{\infty} x\,e^{-{ x \over \theta}}dx=e^{-\frac{a}{\theta}}\cdot \big(\text{Мат.ожид.показ.распред}\big)=e^{-\frac{a}{\theta}}\cdot \theta=\theta\cdot e^{-\frac{a}{\theta}}$$

Смотрим на свою плотность, которая совсем не такая, как то, что Вы записали под интеграл, и считаем заново:

integral2009 в сообщении #508523 писал(а):

Я хотел найти оценку для $\theta=\frac1{\lambda}$ для выборки $X_1:X_2:..;X_n$ из распределения

$$f_X(x) = \left\{\begin{matrix} \lambda \,e^{-\lambda (x-a)} &,\; x \ge a, \\ 0 &,\; x < a. \end{matrix}\right.$$

Я уж не говорю о границах интеграла.

integral2009 в сообщении #509029 писал(а):

Только я вот до сих пор не понял -- почему каждая $\varphi(x_i,\theta)$ в нашем задании должна быть распределена по показательному закону, ведь $X_i$ - это просто случайная величина из выборки, про нее нам ничего не известно, нам только известно, что выборка производится из некоторого показательного распределения случайных величин, это же не значит, что каждая СВ из выборки распределена по показательному закону...Или именно в этом и заключается метод правдоподобия?

Каждая $\varphi(x_i,\theta)$ распределена совсем не по показательному закону. А элементы выборки $X_1\ldots,X_n$ по определению суть независимые и одинаково распределённые случайные величины с данной в задаче плотностью распределения. Метод максимального правдоподобия тут ни при чём, это определение выборки из данного семейства распределений. Вы же сами пишете: "для выборки из распределения..." Что эти слова означают?