2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 функция правдоподобия и ошибка
Сообщение23.09.2018, 06:35 


27/10/09
600
Дамы и Господа!

Возникла сложность при выборе гипотезы. Нулевая гипотеза $H_0: X \sim N(13,5)$, т.е. случайная величина $X$ подчиняется нормальному распределению с центром 13 и стандартным отклонением 5. Альтернативная гипотеза $H_1: X \sim N(26,10)$, т.е. случайная величина $X$ подчиняется нормальному распределению с центром 26 и стандартным отклонением 10. Есть одна реализация случайной величины $x=18$. Вопрос: какую гипотезу выбрать?
Изображение
Функция правдоподобия для нулевой гипотезы выше, чем для альтернативной, т.е. нулевая гипотеза более правдоподобна.Тогда нужно выбрать нулевую гипотезу. С другой стороны вероятность ошибки при отвержении нулевой гипотезы ниже, чем вероятность ошибки при отвержении альтернативной. Тогда нужно выбрать альтернативную гипотезу. Как правильно и почему?

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение23.09.2018, 20:11 


07/10/15

2400
Обычно, функцию правдоподобия рассматривают при оценивании правдоподобия какого-либо параметра модели по выборке. А у Вас нет выборки, вместо неё - одно единственное наблюдение. Правдоподобие нельзя отложить на графике, как Вы пытаетесь это сделать, т.к. это интегральная вероятность - а на графиках у Вас плотности.

В таких случаях как у Вас используют z-статистику
$z=\frac{|x-\mu|}{\sigma}$

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение23.09.2018, 20:37 


27/10/09
600
Действительно, рассматривается соответствие параметра (точнее, сразу двух параметров) модели, точнее, нужно выбрать из двух альтернативных моделей. Выборка объемом один - это тоже выборка. И в этом случае я могу не только посчитать функцию правдоподобия, но и показать ее на графике. По поводу интегральной вероятности не могу согласиться, поскольку для непрерывной случайной величины функция правдоподобия есть произведение плотностей, т.е. дифференциальных функций. В данном случае это произведение состоит из одного множителя.
По поводу $z$-статистики: хорошо, но как в данном случае ее использовать?

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение23.09.2018, 22:14 


07/10/15

2400
На счёт интегральной вероятности я возможно погорячился, скорее это многомерная плотность, но суть остаётся прежней. Все эти оценки сводятся к z- статистике и упомянуть здесь функцию правдоподобия излишне.

Применять её просто: вычисляете $z0$ (для первого распределения $H_0$) и $z1$ (для второго распределения $H_1$), по таблице стандартного нормального распределения находите $\alpha_{z0}$ - минимальная вероятность того, что $H_0$ отвергнута ошибочно (минимальная ошибка 1-го рода), и $1-\alpha_{z1}$ - максимальная вероятность того, что $H_1$ принята ложно (ошибка 2-го рода).

Если принята $H_1$, то критическое значение можно смещать влево. Тогда $\alpha$ будет увеличиваться, но зато, ошибка второго рода - уменьшаться. Так можно подобрать оптимальное соотношение $\alpha$ и $\beta$.

Если принята $H_0$, то $\alpha_{z0}$ будет ошибкой 2-го рода, а $1-\alpha_{z1}$ - ошибкой первого рода. В этом случае критическое значение можно смещать вправо (чтобы оценка оставалась внутри доверительного интервала.

Исходя из этого и выбираете, какая гипотеза Вам лучше подходит.

P.S.: Так как фигурирует 2 ошибки, не всегда можно однозначно сказать, что одна гипотеза лучше другой.

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение24.09.2018, 09:50 


27/10/09
600
Хорошо! Вероятность ошибки 1-го рода в данной задаче составляет почти 16%, вероятность ошибки 2-го рода - без малого 21%. Какую теперь гипотезу нужно принять как верную?

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение24.09.2018, 11:19 
Заслуженный участник


10/01/16
2315
AndreyL в сообщении #1340838 писал(а):
Вопрос: какую гипотезу выбрать?

В такой постановке задачи (когда не сказано НИЧЕГО о критериях качества выбора) ответ: любую.
AndreyL в сообщении #1340996 писал(а):
Вероятность ошибки 1-го рода в данной задаче составляет почти 16%, вероятность ошибки 2-го рода - без малого 21%

Стало еще хуже (если искать критерий с двумя ЗАДАННЫМИ ошибками)...
Традиционно, задачи такого рода ставятся так: найти критерий с заданной ошибкой первого рода, для которого ошибка второго рода минимальна.
Но при такой постановке эта задача стандартна (дается оптимальным критерием Неймана-Пирсона) (фи-критерий смотрите). Строите фи-критерий, смотрите на свою реализацию, и получаете ответ - какую надо принять.
И, кстати, там и вылезет Ваше отношение правдоподобия.

-- 24.09.2018, 13:26 --

Вообще то, можно ставить и другие задачи, типа: "минимизировать суммарную ошибку", или "минимизировать взвешенную сумму ошибок первого и второго рода". В Этом случае также следует критерий организовывать на основе отношения правдоподобия, и решать соответствующую задачу на экстремум.

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение24.09.2018, 11:59 


07/10/15

2400
Чтобы узнать ответ на этот вопрос, нужно понять, к чему приведёт изменение доверительного интервала. Приняв $H_1$ можно смещать доверительный интервал влево. Ошибка 1-го рода будет увеличиваться, а ошибка 2-го рода уменьшаться. В какой то момент они сравняются (например, примут значение 18%). Приняв $H_0$ можно смещать доверительный интервал вправо. И без того большая ошибка 2-го рода будет ещё увеличиваться, а сравнительно малая ошибка 1-го рода, будет уменьшаться ещё сильнее. Скажем, H_0 принимается на уровне 0.05 при ошибке 2-го рода 50%, что не есть хорошо.

Другими словами, нужно принять ту гипотезу, которая позволяет выровнять ошибки 1 и 2 рода, а не увеличивать их различие.
В Вашем случае это $H_1$.

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение24.09.2018, 12:51 


27/10/09
600
DeBill в сообщении #1341014 писал(а):
В такой постановке задачи (когда не сказано НИЧЕГО о критериях качества выбора) ответ: любую.
А как формализовать в этом случае "критерии качества выбора"?
DeBill в сообщении #1341014 писал(а):
Но при такой постановке эта задача стандартна (дается оптимальным критерием Неймана-Пирсона) (фи-критерий смотрите). Строите фи-критерий, смотрите на свою реализацию, и получаете ответ - какую надо принять.
И, кстати, там и вылезет Ваше отношение правдоподобия.
Вот это уже интереснее! Подскажите, пожалуйста, что такое "фи-критерий"? Где о нем почитать?
DeBill в сообщении #1341014 писал(а):
Вообще то, можно ставить и другие задачи, типа: "минимизировать суммарную ошибку", или "минимизировать взвешенную сумму ошибок первого и второго рода". В Этом случае также следует критерий организовывать на основе отношения правдоподобия, и решать соответствующую задачу на экстремум.
Если в качестве критерия брать "минимум суммарной ошибки", то тогда нужно просто выбирать по максимуму правдоподобия (как это делается, например, в дискриминантном анализе), тогда верна нулевая гипотеза. Но как тогда быть с частными ошибками?

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение24.09.2018, 13:53 
Заслуженный участник


10/01/16
2315
AndreyL в сообщении #1341043 писал(а):
А как формализовать в

Варианты предложены выше.
AndreyL в сообщении #1341043 писал(а):
Где о нем почитать?

Например, в учебнике Севастьянов"Курс ТВ и МС", г. 14
AndreyL в сообщении #1341043 писал(а):
Но как тогда быть с частными ошибками?

От ошибок в принципе никуда не деться. Так что надо принять волевое решение - что нам по жизни надо? - и действовать в соответствии. Нпример, за ошибки назначен штраф; тогда можно минимизировать величину максимального штрафа, и т.п.

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение25.09.2018, 07:36 


27/10/09
600
Попробовал построить $\varphi$-критерий. Для начала введем еще пару обозначений: гипотезу $X \sim N(13,5)$ обозначим как $A$, гипотезу $X \sim N(26,10)$ обозначим как $B$. Строим $\varphi$-критерий для случая, когда $A$ нулевая, $B$ альтернативная. Зададим уровень значимости, например, $10%$. Тогда с (в уравнении 8 параграфа 54 Севастьянова) будет равно $0.91$ (критическое значение для $x=19.4$). Для значения $x=18$ отношение правдоподобия равно $0.6$, тогда принимаем нулевую гипотезу, т.е. гипотезу $A$.
Теперь меняем гипотезы местами, нулевой будет гипотеза $B$, альтернативной $A$ (имеем право, обе гипотезы простые, оснований для предпочтения нет). Тогда $c$ будет равно $4.5$ (критическое значение для $x=13.2$). Для значения $x=18$ отношение правдоподобия равно $1/0.6=1.67$, тогда опять принимаем нулевую гипотезу, но теперь это гипотеза $B$.
Получается решение зависит от того, какая гипотеза нулевая, а какая альтернативная. Обе гипотезы равноправны (Севастьянов упоминает этот случай на стр.196, но я не нашел, где он его рассматривает), назначение нулевой и альтернативной произвольное.
Самое забавное, что если дисперсии обоих распределений равны, то никаких сложностей не возникает.

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение25.09.2018, 09:06 
Заслуженный участник


10/01/16
2315
AndreyL
Да все нормально! Посмотрите еще на ошибки второго рода - наверняка получится, что, в обоих случаях, ошибки эти большие (больше назначенного уровня значимости). Потому - не получается чтоб одновременно и овцы были сыты, и волки.
Но, по жизни, гипотезы обычно не равноправны. И основной выбирают ту, ошибка в которой важнее.
Ну вот - пример: в суд попал чел, подозреваемый в шпионаже.
Варианты:
1. в обчестве доминирует позиция "лучше 10 невинных посадить, чем одного шпиёна оправдать". Итог: чела отправят на лесоповал.
2. Гуманизем : "лучше 10 шпионов отпустить, чем одного невинного загубить". Однозначно: при недостатке улик, чела оправдают.
Нехорошо? Да. Что делать? Собирать улики (проводить доп. испытания - увеличить выборку). Это - для обоих вариантов - понизит ошибки второго рода. Но - никогда не гарантирует от их отсутствия....И - при недостаточном объеме выборки - не гарантирует от прямо противоположных заключений

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение25.09.2018, 10:12 


27/10/09
600
DeBill в сообщении #1341248 писал(а):
AndreyL
Но, по жизни, гипотезы обычно не равноправны. И основной выбирают ту, ошибка в которой важнее.
Не соглашусь с Вами. В задачах дискриминантного анализа (коей и является задача темы) и кластерного анализа чаще всего без разницы, волков кормить или овец спасать. В дискриминантном анализе решение принимается по максимуму правдоподобия (минимизируется суммарная ошибка). Но здесь у меня когнитивный диссонанс - принимается то решение, у которого больше вероятность ошибки. И я пытаюсь этот диссонанс как-то устранить, либо заменой способа решения, либо сохранением способа, но нужно тот или иной способ как-то обосновать. Печаль в том, что логичный в этом случае отказ от принятия решения неприемлем - теряем информацию и смещаем все оценки параметров.

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение25.09.2018, 12:03 


27/10/09
600
Еще, чтобы не задействовать тему шпионов и суда на ними (боюсь, что за экстремистские высказывания по поводу несправедливости судебной системы отдельно взятых стран, будем мы с Вами тему правильности выбора лет пять обсуждать за соседними швейными машинками где нибудь в Мордовии), предлагаю такой вариант: буровику без разницы на какой горе скважину бить, на той, или на вот той. Но ему нужно четко сказать, на какой горе.

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение25.09.2018, 15:26 
Заслуженный участник


10/01/16
2315
AndreyL в сообщении #1341268 писал(а):
Не соглашусь с Вами

И зря: ведь было сказано -"обычно". И речь шла именно о таких задачах.
AndreyL в сообщении #1341268 писал(а):
(минимизируется суммарная ошибка)

А это - совсем другой коленкор. И тут проблем с противоположными решениями не будет: Нулевую надо принять , когда отношение правдоподобия больше единицы (это значит, при $x$, типа, от 5.4 до 24.6), иначе - другую

 Профиль  
                  
 
 Re: функция правдоподобия и ошибка
Сообщение01.10.2018, 14:03 


27/10/09
600
DeBill в сообщении #1341368 писал(а):
А это - совсем другой коленкор. И тут проблем с противоположными решениями не будет: Нулевую надо принять , когда отношение правдоподобия больше единицы (это значит, при $x$, типа, от 5.4 до 24.6), иначе - другую
Вот здесь как раз проблема - принимается то решение, у которого больше вероятность ошибки (точнее меньше вероятность ошибки при его отвержении). Как это корректно объяснить?

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 26 ]  На страницу 1, 2  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group