Задача о положительном тесте и теорема Байеса у Николенко

[diman95]

Читаю книгу Николенко и соавторов по глубокому обучению.

Смотрю главу по теореме Байеса.

Дается известная задача об определении вероятности, что человек заболел некоторой болезнью, если у него положительный тест:

Цитата:

Предположим, что некий тест на какую-нибудь страшную болезнь имеет вероятность успеха 95 %; иначе говоря, 5 % — это вероятность как ошибки первого рода (ложного срабатывания, false positive), так и ошибки второго рода (пропуска больного человека, false negative). Предположим также, что болезнь очень распространена и имеется у 1 % респондентов. Отложим на время то, что респонденты могут быть разного возраста и профессий — будем предполагать, что больные люди в нашем эксперименте выбираются из популяции случайно и равномерно.

Пусть теперь некий человек (все так же случайно и равномерно выбранный из популяции) получил позитивный результат теста, то есть тест говорит, что
страшная болезнь у человека присутствует. С какой вероятностью он действительно болен? Попробуйте, прежде чем подсчитать или прочитать ответ, оценить свою интуицию: как бы вы оценили вероятность болезни, если бы получили позитивный
результат от такого теста?

Давайте сначала подсчитаем результат точно. Обозначим через t результат теста, через d — наличие болезни. Тогда:
$p(t = 1) = p(t = 1 | d = 1)p(d = 1) + p(t = 1 | d = 0)p(d = 0)$.

Используем теорему Байеса:
\begin{multline*}p(d = 1 | t = 1) = p(t = 1 | d = 1)p(d = 1)/(p(t = 1 | d = 1)p(d = 1) + p(t = 1 | d = 0)p(d = 0)) =\\ (0,95\times 0,01)/(0,95\times 0,01+0,05\times 0,99)=0,16. \end{multline*}

В чем загвоздка:

По тексту тест на болезнь имеет вероятность успеха 95 % (скан 1, условие).

В то же время в тексте читаем, что $p(t=1|d=1)=0,95$ - это есть вероятность положительного теста, когда человек болеет (см. скан 2, решение).
Но! Вероятность 95% включает в себя и тот случай, когда тест отрицательный у здорового человека (см. условие)!!!

Я неверно понял?

[Lia]

diman95
Наберите текст задачи и решение здесь. Ссылки уберите. Вторая и третья, по сути, идентичны, повторять не обязательно.
И оформите формулы.

[Lia]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
по следующим причинам:

См. выше
- краткие инструкции по набору формул: «Краткий FAQ по тегу [math]» и видеоролик Как записывать формулы;


Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

[Lia]

Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»
1) обозначения из одного символа тоже набираются как формулы,
2) вероятности не нужно считать в процентах,
3) посмотрите, как набирать формулу, в которой больше одной строки (это один из способов, остальные см. в FAQ)

[Null]

diman95 в сообщении #1483850 писал(а):

Но! Вероятность 95% включает в себя и тот случай, когда тест отрицательный у здорового человека (см. условие)!!!

Не включает, и то и то $0.95$

[diman95]

Null в сообщении #1483929 писал(а):

diman95 в сообщении #1483850 писал(а):

Но! Вероятность 95% включает в себя и тот случай, когда тест отрицательный у здорового человека (см. условие)!!!

Не включает, и то и то $0.95$

Почему же? В 5 %, как я понимаю, входят ложноположительные или ложноотрицательные результаты.

[Otta]

diman95
Давайте я по мотивам задачку с другими чиселками напишу. И станет ясно, что на самом деле непонятно.

5 % — это вероятность ошибки первого рода (ложного срабатывания, false positive), 3% -- ошибки второго рода (пропуска больного человека, false negative). Предположим также, что болезнь очень распространена и имеется у 1 % респондентов. Больные люди в нашем эксперименте выбираются из популяции случайно и равномерно. Найти все то же самое.

[Евгений Машеров]

Понятия "вероятность успеха теста" нет. Есть раздельные вероятности ложноположительной и ложноотрицательной диагностики. По-видимому, автор популярного издания полагает, что вероятности ложноположительной и ложноотрицательной диагностики равны и обе составляют 0.05. То есть и здоровый будет в 95% случаев определён, как "здоровый", и больной в 95% случаев определён, как больной. Вероятно, это автор и имеет в виду, говоря о "95% вероятности успеха теста". То есть это упрощение, в реальности будут две разные вероятности.

[artempalkin]

diman95 в сообщении #1483850 писал(а):

Но! Вероятность 95% включает в себя и тот случай, когда тест отрицательный у здорового человека (см. условие)!!!

Как это "включает"? :) Какова вероятность "false negative", если тестируется здоровый человек?

-- 23.09.2020, 10:12 --

Евгений Машеров в сообщении #1484156 писал(а):

То есть это упрощение, в реальности будут две разные вероятности.

Это вопрос непринципиальный, могут быть и одинаковыми; но людей путает, очевидно.

[Евгений Машеров]

"Разные" и "численно разные" это не синонимы. Эти вероятности могут принимать равные значения, но смысл их различен.

[diman95]

Евгений Машеров в сообщении #1484156 писал(а):

Понятия "вероятность успеха теста" нет. Есть раздельные вероятности ложноположительной и ложноотрицательной диагностики. По-видимому, автор популярного издания полагает, что вероятности ложноположительной и ложноотрицательной диагностики равны и обе составляют 0.05. То есть и здоровый будет в 95% случаев определён, как "здоровый", и больной в 95% случаев определён, как больной. Вероятно, это автор и имеет в виду, говоря о "95% вероятности успеха теста". То есть это упрощение, в реальности будут две разные вероятности.

Похоже, да...