2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Асимптотические доверительные интервалы. Вопрос обоснования.
Сообщение11.10.2018, 18:00 


23/12/07
1763
Есть выборка не из нормального распределения, и к ней пытаются применить формулу построения доверительного интервала типа такой wiki для матожидания при неизвестной дисперсии (апеллируя к ее асимптотической независимости от предположения о нормальности исходного распределения). Вопрос: если выборка не относится к слишком большой, как обосновать адекватность применения этой формулы?

На ум приходит что-то из разряда: поскольку используется аппроксимация распределения основной статистики распределением Стьюдента, то надо как-то оценить ошибку такой аппроксимации. В качестве естественной оценки такой ошибки в данном случае просится Total variation distance. Но найти подобного подхода мне пока не удалось, потому буду благодарен за любую информацию по этому поводу. Спасибо.
____________
// Предварительное обсуждение темы отделено в «Чулан». / GAA

 Профиль  
                  
 
 Re: Асимптотические доверительные интервалы. Вопрос обоснования.
Сообщение12.10.2018, 02:41 
Заслуженный участник
Аватара пользователя


23/11/06
4171
_hum_ в сообщении #1345531 писал(а):
На ум приходит что-то из разряда: поскольку используется аппроксимация распределения основной статистики распределением Стьюдента, то надо как-то оценить ошибку такой аппроксимации. В качестве естественной оценки такой ошибки в данном случае просится Total variation distance. Но найти подобного подхода мне пока не удалось, потому буду благодарен за любую информацию по этому поводу. Спасибо.

Бенткус, Гётце 1996: Неравенство Берри - Эссеена для стьюдентизированной статистики https://projecteuclid.org/download/pdf_ ... 1042644728
Пинелис 2012: https://arxiv.org/pdf/1101.3286.pdf
В последней статье константы выписаны в явном виде. Разумеется, оценка близости распределения автонормированной суммы к нормальному нуждается в знании старших моментов распределения. Но от этого и в неравенстве Берри - Эссеена в ЦПТ никуда не деться, однако же ЦПТ применяют.

 Профиль  
                  
 
 Re: Асимптотические доверительные интервалы. Вопрос обоснования.
Сообщение15.10.2018, 19:23 


23/12/07
1763
--mS--
Спасибо. Но при невозможности что-то сказать относительно участвующих в оценке моментов, это, кажется, мало чем может помочь обоснованию.
Я думал, есть какой-нибудь подход наподобие: пусть $\mathcal{E}_{n}$ - эмпирическое распределение статистики Стьюдента $T_n$, $\mathcal{T}$ - некоторое распределение Стьюдента и некоторое $\varepsilon > 0$, такие, что выполняется $d_\infty(\mathcal{E}_{n},\mathcal{T}) < \varepsilon$ (здесь $d_\infty$ - равномерная метрика). Тогда для любого интервала $I$
$$\mathbf{P}(T_n \in I) =  \mathbf{P}\big(T_n \in I \,\big| \,d_\infty(\mathcal{E}_{n},\mathcal{T}) < \varepsilon\big)\mathbf{P}\big(d_\infty(\mathcal{E}_{n},\mathcal{T})< \varepsilon\big).$$
Первый множитель с точностью до $\varepsilon$ будет совпадать с оценкой доверительной вероятности для случая распределенной по Стьюденту статистики, второй же, кажется, можно попытаться оценить через какой-нибудь результат наподобие Chernoff-Hoeffding Theorem, дающий оценку вероятности уклонения эмпирического распределения от любого другого через дивергенцию Кульбака-Лейблера $D_{K-L}$.

Тогда бы процедура обоснования сводилась бы к:
1) поиску $\mathcal{T}^0$, минимизирующего $D_{K-L}(\mathcal{E}_{n},\mathcal{T}^0)$ (по Pinsker's inequality это дает и верхнюю оценку для $d_\infty(\mathcal{E}_{n},\mathcal{T}^0)$);
2) вычислению вероятности уклонения;
3) вычислению нижней границы доверительной вероятности с учетом полученных оценок.
Это как-то очень сильно напоминает Хи-квадрат тестирование, потому, кажется, что "истина где-то рядом".

 Профиль  
                  
 
 Re: Асимптотические доверительные интервалы. Вопрос обоснования.
Сообщение23.02.2020, 14:51 
Заслуженный участник
Аватара пользователя


11/03/08
9919
Москва
(шипение ползучего эмпирика :wink: )
В реальной задаче мы можем оценить моменты и даже руководствоватся полученной оценкой, но не гарантировать, что мы действительно имеет оценку сверху для моментов. Всегда может оказаться, что с очень малой вероятностью величина принимает весьма большое значение, так что момент определённого порядка окажется больше любой заданной величины. А так как вероятность мала - то в полученную нами выборку этот гигантский выброс не попадёт. И отсутствие слишком больших моментов приходится постулировать.
Но здесь спасает то, что очень большие значения, пусть и допустимые по виду распределения, неограниченного слева или справа, будут рассматриваться исследователем, как ошибки измерения. Или вообще не будут зафиксированы прибором. Скажем, есть вполне физичная величина с распределением Коши - координата "зайчика" от зеркальца гальванометра. Но хотя у этой величины моментов вообще нет, слишком далеко ушедший "зайчик" попросту не увидится. Поэтому все реально доступные величины заключены в некоторый интервал, и если ещё предположить унимодальность распределения, то моменты чётного порядка будут не более моментов равномерного указанной ширины.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group