Оценить методом макс. правдоподобия

[artempalkin]

мат-ламер в сообщении #1538902 писал(а):

Для равномерного распределения уменьшаем длину интервала (минимизируем $\theta$) - растёт плотность и с ней функция правдоподобия.

это я понимаю, но какое тогда другое решение будет? минимальная длина будет при $\theta=\max\{x_i\}/3$, разве есть другие варианты?

[Евгений Машеров]

ММП-оценка в данном случае, в силу равномерности распределения, требует минимальной длины интервала. Минимальная длина будет, если либо максимальное, либо минимальное значения выборки совпадают с границами интервала$(\theta,3\theta)$

[zykov]

Если уменьшаем $\theta$, то $3\theta$ совпадёт с максимальным значением в выборке.
Другого тут быть не может.
(Могло бы оказаться, что в выборке есть что-то меньше самого $\theta$, но говорят, что такого быть не может.)

[artempalkin]

Евгений Машеров в сообщении #1538917 писал(а):

ММП-оценка в данном случае, в силу равномерности распределения, требует минимальной длины интервала. Минимальная длина будет, если либо максимальное, либо минимальное значения выборки совпадают с границами интервала$(\theta,3\theta)$

А чему будет равна эта длина?

[mihaild]

мат-ламер в сообщении #1538899 писал(а):

то он будет наезжать на выборку либо правым концом, либо левым. То есть возможны варианты

Только левым концом наехать не может, т.к. при сдвиге влево длина уменьшается.

[Otta]

мат-ламер в сообщении #1538902 писал(а):

Для равномерного распределения уменьшаем длину интервала (минимизируем $\theta$) - растёт плотность и с ней функция правдоподобия.

Т.е. $\theta$ выбираем минимальным возможным, но так, что все элементы выборки из нашего интервала не вылазили.

Я не понимаю, что тут происходит. Выборка - набор случайных величин. ОМП - статистика. Ничего ниоткуда вылезти не может, конкретных значений нет, это не работа с реализацией.

-- 13.11.2021, 07:17 --

artempalkin в сообщении #1538905 писал(а):

это я понимаю, но какое тогда другое решение будет? минимальная длина будет при $\theta=\max\{x_i\}/3$, разве есть другие варианты?

Другие варианты есть, и они лучше, и на них намекают. Но чтобы догадаться до другого варианта, проще рассмотреть ОМП на произвольном отрезке $[a,b]$, и сразу станет понятно, и что имелось в виду, и какая оценка предпочтительней. И почему, даже может быть. UPD. Нет других вариантов. Одна точка максимума. Оценка правильная.

[мат-ламер]

mihaild в сообщении #1538931 писал(а):

Только левым концом наехать не может, т.к. при сдвиге влево длина уменьшается.

Действительно. Допустим у нас $X_1=2$ и $X_n=5$ (считаем, что выборка упорядочена по возрастанию). Тогда $\theta=2$ решением не является и интервал $[2,6]$ не есть наш минимальный интервал. А минимальным интервалом будет $[5 \slash 3, 5]$ .

-- Сб ноя 13, 2021 08:15:45 --

Otta в сообщении #1538948 писал(а):

Я не понимаю, что тут происходит. Выборка - набор случайных величин ... конкретных значений нет, это не работа с реализацией.

Я тоже перестал понимать . С одной стороны у нас есть набор случайных величин $\xi_1,...,\xi_n$ , а с другой стороны у нас есть набор реализаций их: $X_1,...,X_n$ . У нас есть некоторая функция от случайных величин. Допустим $\theta = \max \xi_n \slash 3$ . На выходе она даст некую случайную величину, которую мы назовём статистикой или оценкой. Можно изучать свойства этой величины, например, матожидание, дисперсию, состояятельность. С другой стороны мы можем этой функции поставить в соответствие функцию на наборе реализаций. В нашем случае это будет функция $Y = \max X_k \slash 3$ . И на выходе она даёт конкретное число. И между этими двумя конструкциями существует естественный изоморфизм, который позволяет в текстах, которые мы пишем на форуме, говорить либо о случайных величинах, либо о конкретных их реализациях, не беспокоясь о недопонимании. При этом надеясь, что читатель сам найдёт нужное толкование этого изоморфизма.

-- Сб ноя 13, 2021 08:26:59 --

Otta в сообщении #1538948 писал(а):

Другие варианты есть, и они лучше, и на них намекают. Но чтобы догадаться до другого варианта, проще рассмотреть ОМП на произвольном отрезке $[a,b]$, и сразу станет понятно, и что имелось в виду, и какая оценка предпочтительней. И почему, даже может быть.

Заинтриговали. А можно вашу мысль продемонстрировать на примере? Допустим у нас на входе есть выборка $\{2,3,4,5\}$ . Из того, что говорилось в теме, можно сделать вывод, что ММП даёт оценку $\theta = 5 \slash 3$ . Какие-то тут могут быть ещё варианты? Понимаю, что ММП не единственный метод получения оценок. А для равномерного распределения может оказаться и не самым лучшим. (Хотя в исходной постановке задачи речь идёт сугубо о ММП).

[Евгений Машеров]

artempalkin в сообщении #1538925 писал(а):

А чему будет равна эта длина?

Требование минимизации длины отрезка означает, что либо $\theta=x_{min}$, либо $3\theta=x_{max}$
Вроде как мы имеем две противоречивые оценки, но лишь одна из них не противоречит условию, что распределение $U(\theta,3\theta)$. Выбрать правильную мы можем, сравним максимальное и минимальное значения выборки.
Если $x_{max}/3>x_{min}$, то отбрасываем оценку через минимальное значение, считаем через максимальное, в противном случае через минимальное.
$\hat{\theta}_{ML}=\max(x_{max}/3,x_{min})$

[Otta]

Я там post1538948.html#p1538948 накосячила спросонья и исправила.

Евгений Машеров в сообщении #1538955 писал(а):

Требование минимизации длины отрезка означает,

Требование минимизации длины отрезка - это всего лишь запоминалка, когда ФМП максимальна.
А искать надо, когда она максимальна. Честно. То есть точку максимума. Это ТС уже сделал. Все остальное лишнее.

[мат-ламер]

Евгений Машеров в сообщении #1538955 писал(а):

Требование минимизации длины отрезка означает, что либо $\theta=x_{min}$, либо $3\theta=x_{max}$
Вроде как мы имеем две противоречивые оценки, но лишь одна из них не противоречит условию, что распределение $U(\theta,3\theta)$. Выбрать правильную мы можем, сравним максимальное и минимальное значения выборки.
Если $x_{max}/3>x_{min}$, то отбрасываем оценку через минимальное значение, считаем через максимальное, в противном случае через минимальное.
$\hat{\theta}_{ML}=\max(x_{max}/3,x_{min})$

Я вчера спросонья затупил и тоже считал, что правильный ответ должен таким же, что и вы написали. При ближайшем рассмотрении оказалось, что противного случая в принципе не может быть, о чём сам, кстати, писал ранее.

[Евгений Машеров]

А это уже вопрос, насколько мы верим в модель. Если принимаем её заведомо верной - то да, минимальное больше тэты, верхняя граница заведомо больше утроенного минимального. А если она допущение и/или данные отягощены ошибкой, то лучше перестраховаться.

[Otta]

Евгений Машеров
Это в Вас прикладник говорит.
Но такая постановка задачи означает в точности: пусть у нас есть набор $x_1,\ldots. x_n$ случайных величин, iid равномерно на отрезке $[\theta,3\theta]$. Так что $\theta\le x_{(1)}\le x_{(n)}\le 3\theta$, и тета минимально, когда равно максимуму на 3.
Вопрос про модель он не местный.

(Оффтоп)

Интересно, от повторения аргументы становятся убедительней?

[Евгений Машеров]

Otta в сообщении #1538993 писал(а):

Это в Вас прикладник говорит.

Он самый. Использующий ММП-оценки для нормального распределения, когда в лучшем случае $Вы мне не противны$ гипотеза о нормальности распределения тестом Шапиро-Уилка не отвергается, а то и просто постулируем нормальность.

[--mS--]

Я что-то пропустила, или речь вообще-то идёт о равномерном, а не о нормальном распределении?

[Евгений Машеров]

Нет, у Вас всё правильно, в задаче топикстартера равномерное распределение, а я веду речь о неизбежном, увы, в прикладной работе "допустимом уровне халтуры". Когда мы считаем среднее арифметическое, которое для нормального распределения наилучшая оценка, но саму нормальность в лучшем случае "не отвергаем" на основании теста, а скорее постулируем.
Вот и тут - теоретически надо принимать во внимание только максимальное значение, а в качестве трусливого практика, возможно, взял бы максимум из трети максимального значения и минимального. Поскольку уверен, что идеальное равномерное распределение будет в раю для безгрешных статистиков, а в реальных данных это, если повезёт, "хорошее приближение".
Ну и вычислительный эксперимент напрашивается, может, на неделе созрею попробовать...