Интервальная оценка математического ожидания

[prof.uskov]

В случае нормального распределения выборки и неизвестной дисперсии есть точные формулы для определения доверительного интервала для математического ожидания на основе распределения Стьюдента, они описаны в любом учебнике матстатистики.
Если распределение отлично от нормального можно приближенно определить доверительный интервал для математического ожидания, пользуясь асимптотической нормальностью среднего арифметического на основе ЦПТ. Если неизвестна и дисперсия, то можно взять ее оценку, что понижает надежность интервальной оценки.

Вопрос. Если ли ТОЧНЫЕ интервальные оценки математического ожидания, в случае когда распределение выборки известно и является экспоненциальным, равномерным и т.п.?

[GAA]

Можно вывести самостоятельно или искать в справочниках по прикладной статистике. Например, для показательного распределения можно быстро нагуглить
Ллойд Э., Ледерман У. (ред.). Справочник по прикладной статистике. Том 1. — М.: Финансы и статистика, 1989; §4.3
[В этой книге вообще о доверительных интервалах много написано.]

-= Добавлено =-

В учебнике для биологов
Мятлев В. Д., Панченко Л. Д., Ризниченко Г. Ю., Терехин А. Т. Теория вероятностей и математическая статистика. Математические модели. — М.: «Издательский центр «Академия», 2009
приводится без вывода, но со ссылками доверительный интервал для параметра пуассоновского распределения.
[Он во многих учебниках, сборниках задач и книгах приводится. Иногда без вывода, для справки. Иногда в качестве упражнения.]

-= Добавлено =-

В книге
Лагутин М.Б. Наглядная математическая статистика. — М.: БИНОМ, 2009
есть вывод доверительного интервала для распределения Пуассона и вероятности успеха $\theta$ в схеме Бернулли.

[prof.uskov]

Спасибо.
Еще вопрос... Как оценить качество приближенной оценки. При нормальном распределении это просто, отличие приближенной и точной оценки лишь в том, что вместо квантиля нормального распределения используется квантиль распределения Стьюдента.
А как быть в случае экспоненциального или равномерного распределения?

[GAA]

1. Мне в общем случае трудно сказать что-то не совсем банальное.

Асимптотически доверительный интервал может накрывать значение параметрической функции (в частности математического ожидания) с вероятностью не равной номинальной доверительной. Если надо на скорую руку что-то сделать и объём выборки фиксирован, то можно сгенерировать выборки, построить аппроксимацию функции распределения центральной величины (pivot), найти квантили и тем самым получить доверительный интервал (но возможно не оптимальный).

Этот построенный доверительный интервал может, в частности, иметь большую среднюю длину, чем оптимальный доверительный интервал. Интервал, имеющий меньшую среднюю длину, иногда считают более предпочтительным. Это конечно не всегда убедительно. Действительно, меньшую среднюю длину интервал может «набирать» за счёт случаев, когда он не накрывает оцениваемую параметрическую функцию.

Вопросу оптимальности доверительных интервалов посвящены разделы в учебниках. Обычно стараются строить несмещённые интервалы (в идеале, равномерно наиболее точные). Они двойственны к несмещёнными (равномерно наиболее мощными) критериями.

2. Если ничего не путаю, то в случае показательного распределения можно выбрать входящие в выражение доверительного интервала постоянные так, что интервал будет несмещённым (и равномерно наиболее точным).

В случае равномерного распределения средняя длина доверительного интервала, основанного на экстремальных статистиках, намного меньше средней длины асимптотического интервала, построенного на основе ЦПТ.

В случае дискретных распределений, видимо, надо смотреть в сторону рандомизированных критериев. Так сравнивать проще.

Upd.
Говоря о показательном распределении, я представлял один параметр --- параметр масштаба. Если разговор идёт о параметре сдвига, то там тоже порядковые статистики.
Upd2.
"в случае показательного распределения можно выбрать входящие в выражение доверительного интервала постоянные так, что интервал будет несмещённым (и равномерно наиболее точным)" - это о доверительном интервале для параметра масштаба. Для ожидания надо перепроверить.

[prof.uskov]

Конкретизирую вопрос.
Вот есть простая и универсальная приближенная формула для нахождения доверительного интервала мат ожидания на основе ЦПТ... Сравнение ее с точной формулой для доверительного интервала при нормальном распределении на основе распределения Стьюдента показывает, что при объеме выборки в 10 элементов мы ошибаемся всего на 12.6%, при 40 - на 2.3%, при больше 120 - разница практически не различима...
Таким образом, в большинстве практических случаев при объеме выборки больше 10 и нормальном распределении приближенную формулу можно использовать и не заморачиваться квантилями распределения Стьюдента.
А вот что будет при распределении отличном от нормального, какова ошибка будет там?

[GAA]

Пусть $X_i$, $i = 1,\ldots, n$ независимые и одинаково показательно распределённые случайные величины.

1. Случайная величина $ \frac {2n\bar X} a$ имеет распределение $\chi^2_{2n}$. Доверительный интервал уровня $1-\varepsilon$ имеет вид

$$\left( \frac {2n\bar X} {c_2}, \frac {2n\bar X} {c_1} \right).$$

Для простоты плюнем на несмещённость и положим $c_2 = \chi^2_{2n, 1-\varepsilon/2}$, $c_1 = \chi^2_{2n, \varepsilon/2}$, где $\chi^2_{2n, u} = K_{2n}^{-1}(u)$, $K_{2n}$ — функция распределения $\chi^2$ c $2n$ степенями свободы.

2. Случайная величина $\sqrt n \frac {\bar X -a} {a} $ слабо сходится к стандартному нормальному распределению. Асимптотически доверительный интервал уровня $1-\varepsilon$ имеет вид

$$\left( \frac {\bar X} {1 + c_2/ \sqrt n}, \frac {\bar X} {1 + c_1/ \sqrt n} \right),$$

где $c_1 = \Phi^{-1}(\varepsilon/2)$, $c_2 = \Phi^{-1}(1 - \varepsilon/2)$, $\Phi (u)$ — функция стандартного нормального распределения.

Аналогично случаю доверительного интервала для ожидания нормального распределения сравнивать можно коэффициенты при $\bar X$ в выражениях для доверительных интервалов:

$$C_l = \frac {2n} {\chi^2_{2n}(1-\varepsilon/2)}$ c $$C_l^a= \frac {1} {1 + \Phi^{-1}(1 - \varepsilon/2) / \sqrt n}$

и

$$C_r = \frac {2n} {\chi^2_{2n}(\varepsilon/2)}$ c $$C_r^a= \frac {1} {1 + \Phi^{-1}(\varepsilon/2) / \sqrt n}.$

В других случаях не всё так просто.

[prof.uskov]

GAA, спасибо.
Таким образом, если начиная с какого-то N ошибка приближенной формулы по сравнению с точными при нормальном и экспоненциальном распределении невелика, то мы можем рекомендовать приближенную формулу к использованию.
Оценивать с помощью нее мы будем время лечения, там график интенсивности излечения похож на то, что наблюдается в теории надежности в период нормальной эксплуатации и старения... т.е. как раз экспоненциальное и нормальное распределение, а также их смесь.

[prof.uskov]

GAA, сейчас заметил, Вы в приближенной оценке вместо стандартного отклонения использовали матожидание, так как для экспоненциального распределения они равны. Но мы-то не знаем какое распределение. Поэтому у нас оценка должна быть со стандартным отклонением (точнее его оценкой).

[GAA]

Т.е. Вы хотите строить и для нормального, и для показательно распределённых с.в. доверительный интервал для математического ожидания по одной формуле

$$\left( \bar X - c \sigma^* / \sqrt n, \bar X + c \sigma^* /\sqrt n \right),$$

где $c = \Phi^{-1}(1-\varepsilon /2)$?

А вопрос: с какого объёма выборки $N$ вероятность накрыть таким интервалом математическое ожидание в случае показательного распределения буде отличаться меньше чем на заданную величину от номинального доверительного уровня?

С ходу достаточно точное решение не подскажу. Но если надо срочно и особая точность не важна, то можно генерировать выборки и подсчитывать частоту накрытия математического ожидания. Это частота будет приблизительно равна вероятности накрыть математическое ожидание (т.к. выборки небольшого объёма, то можно выполнить достаточно много (много миллионов) повторений для каждого объёма выборки).

[prof.uskov]

GAA в сообщении #1318821 писал(а):

Т.е. Вы хотите строить и для нормального, и для показательно распределённых с.в. доверительный интервал для математического ожидания по одной формуле

$$\left( \bar X - c \sigma^* / \sqrt n, \bar X + c \sigma^* /\sqrt n \right),$$

где $c = \Phi^{-1}(1-\varepsilon /2)$?

Да... Я ведь заранее не знаю с каким распределением имею дело... Если бы знал, то зачем мне вообще приближенная формула?

GAA в сообщении #1318821 писал(а):

А вопрос: с какого объёма выборки $N$ вероятность накрыть таким интервалом математическое ожидание в случае показательного распределения буде отличаться меньше чем на заданную величину от номинального доверительного уровня?

С ходу достаточно точное решение не подскажу. Но если надо срочно и особая точность не важна, то можно генерировать выборки и подсчитывать частоту накрытия математического ожидания. Это частота будет приблизительно равна вероятности накрыть математическое ожидание (т.к. выборки небольшого объёма, то можно выполнить достаточно много (много миллионов) повторений для каждого объёма выборки).

Да, мне тоже кроме имитационного моделирования ничего на ум не приходит... Получается, что сравнение в аналитике можно провести лишь для случая, когда выборка взята из нормальной ГС.

[GAA]

Можно интегрированием найти вероятность накрытия доверительным интервалом м.о. Простых готовых формул я не встречал. Надеюсь, если такие формулы есть, то вам подскажут.

[prof.uskov]

Тут у меня такая идея пришла. Искать интервальную оценку не матожидания, а медианы, она не зависит от вида распределения и строится на основе биномиального распределения. А дальше для предполагаемых распределений, зная как связаны матожидание с медианой найти приближенно доверительный интервал, на котором с заданной доверительной вероятностью лежит матожидание.