ММП для равномерного распределения

[vlad_light]

Пусть дано распределение $\mathcal U(0, \theta )$, требуется оценить параметр $\theta $ по выборке $(X_1,\ldots ,X_n)$ из этого распределения.
Составляем функцию правдоподобия:

$$L(X_1,\ldots ,X_n \mid \theta ) = \frac {1}{\theta ^n} \prod \limits _i \mathbf 1 _{(0, \theta )}(X_i) = \frac {1}{\theta ^n} \mathbf 1 _{(\max \limits _i (X_i), +\infty )}(\theta )$$

Теперь нужно найти максимум этой функции. Для этого приравняем к нулю производную:

$$-\frac n\theta \mathbf 1 _{(\max \limits _i (X_i), +\infty )}(\theta ) + \delta (\theta - \max \limits _i (X_i))=0$$

Вопрос: можно ли как-нибудь подкрутить условия, чтоб последнее давало $\hat\theta = \max \limits _i(X_i)$? И, если нет -- то почему?
Заранее спасибо!

[Brukvalub]

vlad_light в сообщении #865565 писал(а):

Пусть дано распределение $\mathcal U(0, \theta )$, требуется оценить параметр $\theta $ по выборке $(X_1,\ldots ,X_n)$ из этого распределения.
...Вопрос: можно ли как-нибудь подкрутить условия, чтоб последнее давало $\hat\theta = \max \limits _i(X_i)$? И, если нет -- то почему?
Заранее спасибо!

В условии все настолько заржавело, что не крутится даже паровозным ключом.

[vlad_light]

1. Не понятно
2. Под условиями я имел ввиду "Если функция правдоподобия дифференцируема, то необходимое условие экстремума -- равенство нулю ее градиента", где условие дифференцируемости не выполняется.

[Otta]

vlad_light в сообщении #865574 писал(а):

необходимое условие экстремума -- равенство нулю ее градиента

Для $f(x)=x,x\in[0,1]$ тоже нигде не выполняется это самое условие (чего, кстати?), однако у нее есть и минимум, и максимум. Только дельта-функцию для их поиска не вздумайте писать.

[vlad_light]

Otta в сообщении #865585 писал(а):

(чего, кстати?)

Если честно -- не знаю. Условие скопировал из Википедии. Мои соображения: поскольку производная внутри положительна, то функция монотонно растёт, значит экстремумы достигаются на концах (хоть где-нибудь для этой функции они ведь должны достигаться), где функция недифференцируема. Из этого следует, что написанное условие ложно. Где я ошибся?

[Otta]

vlad_light в сообщении #865595 писал(а):

Из этого следует, что написанное условие ложно.

Какое условие? Необходимое дифференцируемости?

vlad_light в сообщении #865595 писал(а):

Мои соображения: поскольку производная внутри положительна, то функция монотонно растёт, значит экстремумы достигаются на концах

Ну, нормальные соображения. Вы только функцию путем запишите, Вы, боюсь, из-за Ваших индикаторов не увидите ничего.

[vlad_light]

Необходимое условие экстремума.
Кстати, Вы имели ввиду функцию $f(x) = x, x \in [0, 1]$ или $f(x) = x \mathbf 1 _{[0, 1]}(x), x \in \mathbb R$?

Otta в сообщении #865608 писал(а):

Вы только функцию путем запишите, Вы, боюсь, из-за Ваших индикаторов не увидите ничего.

Я знаю, что максимум моей функции правдоподобия достигается в точке $\max \limits _i(X_i)$. У меня другой вопрос: я нахожу оценку параметра путём приравнивания к нулю производной функции правдоподобия. Допустим, функция правдоподобия оказалась недифференцируемой (в обычном смысле) в точке максимума, но я всё-равно хочу её продифференцировать (в смысле обобщённых функций или ещё как-нибудь; главное, чтоб такая производная совпадала с классической там, где она существует). Приведут ли меня такие манипуляции к оценке нужного мне параметра? Ответ на этот вопрос скорее всего отрицательный. Тогда следующий вопрос: можно ли что-то подправить, чтоб получилось то, что я хочу?

[Otta]

vlad_light в сообщении #865612 писал(а):

Необходимое условие экстремума.

Какого экстремума? Это важно.

vlad_light в сообщении #865612 писал(а):

Кстати, Вы имели ввиду функцию $f(x) = x, x \in [0, 1]$ или $f(x) = x \mathbf 1 _{[0, 1]}(x), x \in \mathbb R$?

Первая. И вторая тоже.
Не хочу ничего читать про статистику, пока у Вас проблемы с матаном.

[vlad_light]

Otta в сообщении #865616 писал(а):

пока у Вас проблемы с матаном.

Да, давайте лучше сперва решим эти проблемы. Моё мнение:
Функция $f(x) = x, x \in [0, 1]$ не имеет локального максимума, поскольку производная внутри не обращается в $0$ и везде существует.
Функция $f(x) = x \mathbf 1 _{[0, 1]}(x), x \in \mathbb R$ может иметь (и имеет, но по определению) локальный максимум, поскольку её производная в $1$ не существует.
В обоих случаях точка $1$ будет глобальным максимумом.

[Otta]

А и неправда. Причем неправда и там, и там.
Определение локального максимума Вам нетрудно написать?

[vlad_light]

Otta в сообщении #865651 писал(а):

Определение локального максимума Вам нетрудно написать?

Ага, точка локального максимума может быть только внутри области определения. Данная точка называется точкой локального максимума, если для неё найдётся такая окресность, в любой точке которой функция будет не больше, чем в данной точке. Кстати, почему во втором случае неверно?

[Otta]

vlad_light в сообщении #865654 писал(а):

Данная точка называется точкой локального максимума, если для неё найдётся такая окресность, в любой точке которой функция будет не больше, чем в данной точке.

Да.

vlad_light в сообщении #865654 писал(а):

Ага, точка локального максимума может быть только внутри области определения.

Нет.

vlad_light в сообщении #865654 писал(а):

Кстати, почему во втором случае неверно?

Причинно-следственные связи. Из того, что в точке нет производной, еще не следует, что это точка максимума.

По определению-то не видно, какая точка там точка максимума?

[vlad_light]

Otta в сообщении #865665 писал(а):

Нет.

Это в определении написано, я не сам придумал

Otta в сообщении #865665 писал(а):

Из того, что в точке нет производной, еще не следует, что это точка максимума.

vlad_light в сообщении #865628 писал(а):

может иметь локальный максимум

Теперь можно вернуться к моему вопросу?

[Otta]

vlad_light в сообщении #865681 писал(а):

Это в определении написано, я не сам придумал

Боюсь, у Вас неверное понимание слова "внутри".

vlad_light в сообщении #865681 писал(а):

Теперь можно вернуться к моему вопросу?

Да Вы вольны возвращаться куда хотите и когда хотите, только если опять не увидите максимума Вашей функции по тем же причинам, я не виноватая.

[vlad_light]

На Вики: http://ru.wikipedia.org/wiki/Экстремум (ссылка не вставляется )

Otta в сообщении #865688 писал(а):

Да Вы вольны возвращаться куда хотите и когда хотите

Я имел ввиду, можете ли Вы мне помочь с данным вопросом? Понимаю, что формулировка корявая, но давайте её вместе улучшим! Ещё раз повторю, чего я хочу добиться (или доказать, что это невозможно):
Я ищу оценку параметра $\theta $ распределения $\mathcal U(0, \theta )$ методом максимального правдоподобия. Но у меня есть условие, что максимум нужно искать только через приравнивание к нулю производной. Поскольку производная не существует (в обычном смысле) -- так найти оценку у меня не получится. Я хочу узнать, можно ли как-нибудь модифицировать мой метод на случай недифференцируемых функций?

Otta в сообщении #865688 писал(а):

Боюсь, у Вас неверное понимание слова "внутри".

Внутри -- значит принадлежит внутренности области определения. Это определение выписать?

-- Вт май 20, 2014 19:21:29 --

Вот есть тема, где господин _hum_ возразил, что

Цитата:

как раз и хотелось продемонстрировать, что стандартный метод поиска экстремальных точек годится и в случае не всюду дифференцируемых функций.

на примере $|x|'=\operatorname {sign}(x)$. Вот я хочу чего-то подобного.

-- Вт май 20, 2014 19:22:15 --

(Оффтоп)

К сожалению, вынужден бежать. Отвечу, как буду у компьютера.