Стьюдент. Зависимые выборки.

[realeugene]

Евгений Машеров в сообщении #1618197 писал(а):

Ну и по поводу смещённых оценок - решительно с Вами не согласен. Больше тридцати лет как... https://www.twirpx.cc/file/750248/

Бегло просмотрел. Я правильно понял, что задача, которую вы решаете - это оценивание вектора параметров в линейной модели с аддитивным шумом с нулевым матожиданием и достаточно хорошими свойствами, и смещение в оценку вы вводите, обнуляя малые сингулярные числа матрицы коэффициентов, чтобы не обращать эти размерности? Я не упустил ничего важного?

[andreiandrei]

realeugene в сообщении #1618246 писал(а):

Ага. В вашем вероятностном пространстве гипотеза верна всегда, а понятия ошибки нет вообще. На самом деле, ошибки бывают только ваши, когда вы отвергаете правильную гипотезу (или её правильную альтернативу).

Вероятность попадания статистики в область отвержения нулевой гипотезы (критическую область) и есть вероятность того, что мы ошибаемся, отвергая эту гипотезу в случае наступления этого события.
Ну ладно, по-моему, я уже повоторяюсь. Не поняли и не поняли. Что здесь можно поделать? В конце концов, думаю, это в любом учебнике по мат. статистике прочитать можно.

[realeugene]

andreiandrei в сообщении #1618362 писал(а):

и есть вероятность того, что мы ошибаемся, отвергая эту гипотезу.

А вот и нет. Вероятность, что мы ошиблись - это апостериорная вероятность истинности нулевой гипотезы после проведения теста при условии, что мы её отвергли. Конечно, если мы можем посчитать эту апостериорную вероятность.

В тех случаях, когда честный Байес применим, двух разных вероятностей ошибки быть не может.

[andreiandrei]

realeugene в сообщении #1618364 писал(а):

andreiandrei в сообщении #1618362 писал(а):

и есть вероятность того, что мы ошибаемся, отвергая эту гипотезу.

А вот и нет.

А вот и да. Но я не знаю, что можно ещё добавить к сказанному. На мой взгляд, всё уже должно быть понятно.

realeugene в сообщении #1618364 писал(а):

Вероятность, что мы ошиблись - это апостериорная вероятность истинности нулевой гипотезы после проведения теста при условии, что мы её отвергли. Конечно, если мы можем посчитать эту апостериорную вероятность.

Вот я Вам и написал перед этим, что Вы с отсутствием не той вероятности с Евгением согласились. Он говорил про одну, а Вы, по всей видимости, говорите про отсутствие другой. Но, мне кажется, он очень хорошо всё объяснил, не буду повторять.

[realeugene]

andreiandrei в сообщении #1618369 писал(а):

Вот я Вам и написал перед этим, что Вы с отсутствием не той вероятности с Евгением согласились. Он говорил про одну, а Вы, по всей видимости, говорите про отсутствие другой. Но, мне кажется, он очень хорошо всё объяснил, не буду повторять.

Евгений Машеров очень аккуратно говорил, что вероятностей гипотезы нету:

Евгений Машеров в сообщении #1618139 писал(а):

И поэтому выработал методику, в которой вообще бессмысленно говорить о вероятности гипотезы, лишь о вероятности получить наблюдённую картину при верности гипотезы.

Событие ошибки - это когда одновременно гипотеза верна, а мы её отвергли. Когда мы отвергли гипотезу, достоверное условие для любых вероятностей - что мы отвергли гипотезу, а не что гипотеза верна.

[andreiandrei]

realeugene в сообщении #1618371 писал(а):

Евгений Машеров очень аккуратно говорил, что вероятностей гипотезы нету:

Верно. А Вы соглашетесь с тем, что нет вероятности ошибки, про которую я говорю, а это совсем не то же самое:

realeugene в сообщении #1618209 писал(а):

Евгений Машеров в сообщении #1618197 писал(а):

Так нет у нас "апостериорной вероятности гипотез" при обычном подходе статистического оценивания или тестирования.

Да, но ТС написал: "мы отвергаем нулевую гипотезу, и вероятность, что мы ошибаемся в этом нашем решении, равна 0.05". Это и есть обсуждаемое заблуждение. Строго говоря, нет у нас вероятности при таком подходе, я согласен.

И сейчас Ваш ответ чуть выше, на мой взгляд, подтвержает это моё предположение.

realeugene в сообщении #1618209 писал(а):

Когда мы отвергли гипотезу, достоверное условие для любых вероятностей - что мы отвергли гипотезу, а не что гипотеза верна.

Не понял, что здесь написано. Что такое "достоверное условие"?

[realeugene]

andreiandrei в сообщении #1618377 писал(а):

Не понял, что здесь написано. Что такое "достоверное условие"?

То, что нам известно об окружающем мире достоверно, и, следовательно, все эти достоверные события могут стоять как условия у любых вероятностей других реальных событий, которые мы рассчитываем.

[andreiandrei]

realeugene в сообщении #1618379 писал(а):

andreiandrei в сообщении #1618377 писал(а):

Не понял, что здесь написано. Что такое "достоверное условие"?

То, что нам известно об окружающем мире достоверно, и, следовательно, все эти достоверные события могут стоять как условия у любых вероятностей других реальных событий, которые мы рассчитываем.

Понятно.

[Евгений Машеров]

realeugene в сообщении #1618351 писал(а):

Бегло просмотрел. Я правильно понял, что задача, которую вы решаете - это оценивание вектора параметров в линейной модели с аддитивным шумом с нулевым матожиданием и достаточно хорошими свойствами, и смещение в оценку вы вводите, обнуляя малые сингулярные числа матрицы коэффициентов, чтобы не обращать эти размерности? Я не упустил ничего важного?

Нет, важного не упустили, только главное
Что можно ввести веса, между нулём и единицей, которые минимизируют средний квадрат ошибки (сумму квадрата смещения и дисперсии)

[Евгений Машеров]

realeugene в сообщении #1618209 писал(а):

Какие-то интуитивные априорные представления об этой вероятности есть у каждого исследователя, раз он выдвигает гипотезы. Согласен, что эти представления обычно субъективны и, поэтому, ненаучны. Но они неизбежны. Наука добывает знания из грязи.

Нюанс в том, что правило принятия решения о гипотезе на основании вероятности наблюдения в рамках гипотезы субъективно в той же степени, что и оценка априорной вероятности в Байесе. Но если оказывается критически важно, апостериорная вероятность отвергнутой гипотезы 0.05 или 0.1, то что-то делается неправильно.

Прямо-таки в философию влезаем, "вещи в себе" и "вещи для себя". Скоро будем в философских штанах щеголять, украшенных по швам Кантом. А мне отчего-то хочется оставаться в пределах позитивного знания.
"Грязь" у нас неизбежна. Ошибки ли измерения или неверность изначальных представлений. Но прибавлять её не стоит. Информация об априорных значениях измеряемой величины, вернее, об из распределении, может быть весьма полезна. Но "знание должно быть наивысшего качества, иначе оно ничего не стоит", как говорил в киплинговском "Киме" лама полковнику-сахибу. Если у нас действительно есть статистика о распределении значений оцениваемой величины, будь то встречаемость заболеваний или вероятности ошибок наводчика, мы её используем при оценивании. И в медицинских ИИ, и в правилах пристрелки по НЗР. Если мы вводим априорные вероятности лишь потому, что нам комфортнее с ними работать - это как раз и есть "подсыпание в рану грязи".
Далее. 0.05 и т.п. это не "апостериорная вероятность", это "допустимый процент брака", при котором не надо закрывать цех на полную реконструкцию. Если мы публикуем некий факт, указывая, что "значимо на 5% уровне", это не значит, что мы считаем его случайным событием, вероятность которого 95%. Мы уверены, что так, как мы описали, оно и есть. Иначе бы не публиковали. Но честно оговариваем, что возможна ошибка.

[realeugene]

Евгений Машеров в сообщении #1618396 писал(а):

можно ввести веса, между нулём и единицей, которые минимизируют средний квадрат ошибки (сумму квадрата смещения и дисперсии)

Немного не долистал, спасибо.

Евгений Машеров в сообщении #1618410 писал(а):

Прямо-таки в философию влезаем, "вещи в себе" и "вещи для себя". Скоро будем в философских штанах щеголять, украшенных по швам Кантом. А мне отчего-то хочется оставаться в пределах позитивного знания.

В методологию науки немного влезаем, верно. Прежде всего, правила, как нам следует поступать, чтобы правильно применять теорвер для предсказания событий наблюдаемой реальности - это уже физика, а не математика.

Евгений Машеров в сообщении #1618410 писал(а):

Мы уверены, что так, как мы описали, оно и есть. Иначе бы не публиковали. Но честно оговариваем, что возможна ошибка.

Эти три предложения немного противоречивы. Мы знаем, что можем ошибаться - но уверены, что не ошибаемся. На самом деле, мы знаем, что можем ошибаться, но оцениваем риск нашей ошибки как приемлемый, мы для этого сделали всё возможное, и, поэтому, публикуем.

Евгений Машеров в сообщении #1618410 писал(а):

0.05 и т.п. это не "апостериорная вероятность", это "допустимый процент брака", при котором не надо закрывать цех на полную реконструкцию. Если мы публикуем некий факт, указывая, что "значимо на 5% уровне", это не значит, что мы считаем его случайным событием, вероятность которого 95%.

Вот, самое главное. ТС написал, что 0.05 - это вероятность нашей ошибки. Но - нет, это было его заблуждение. Распространённое заблуждение. 0.05 - это вероятность случайного выброса в рамках гипотезы, но никак не нашей ошибки.

Но нас на самом деле интересуют наши собственные риски. Вероятность того, что мы сами ошибаемся. Исходя из этой вероятности и стоимости для нас ошибок первого и второго рода мы можем принимать обоснованное решение, публиковать/использовать гипотезу или продолжить поиски? Почему же мы считаем, что тот или иной уровень значимости для нас приемлем?

А потому, что этот уровень значимости некоторым образом на самом деле связан с вероятностью нашей ошибки. Мы всегда имеем оценку априорной вероятности гипотезы и информативности теста для альтернативной гипотезы. Очень грубую и грязную оценку, возможно, в виде диапазонов вероятностей. И воспользовавшись этой оценкой уже можно оценить апостериорный риск при выбранном уровне значимости, приемлем он или нет для нас? А так как оценка грубая и грязная, мы предпочитаем её замести под ковёр, чтобы не пачкала нашу красивую математику. Но не следует забывать, что под ковром эта грязь, связывающая математику с реальностью, всё же у нас лежит.

[andreiandrei]

realeugene в сообщении #1618463 писал(а):

Вот, самое главное. ТС написал, что 0.05 - это вероятность нашей ошибки. Но - нет, это было его заблуждение. Распространённое заблуждение. 0.05 - это вероятность случайного выброса в рамках гипотезы, но никак не нашей ошибки.

По-моему, TC совершенно правильно написал, что в случае отвержения нулевой гипотезы (попадания статистики в критическую область) мы говорим, что отвергаем нулевую гипотезу, и вероятность, что мы ошибаемся в этом нашем решении, равна 0.05 (уровень значимости).
Меня вот удивляет, почему бы просто не посмотреть в любом учебнике, если подзабылось? Ведь это недолго, можно хотя бы освежить в памяти определения, что такое ошибка первого рода, например, что такое её вероятность... и вопрос закроется. Хотя, с другой стороны, я благодарен Вам за поддержку этой темы в топе, возможно, у кого-нибудь ещё какие-нибудь идеи появятся по основному вопросу.

realeugene в сообщении #1618351 писал(а):

Бегло просмотрел.

realeugene в сообщении #1618463 писал(а):

Немного не долистал,

Может, вот в этом кроется проблема Вашего непонимания.

[realeugene]

andreiandrei в сообщении #1618467 писал(а):

По-моему, TC совершенно правильно написал, что в случае отвержения нулевой гипотезы (попадания статистики в критическую область) мы говорим, что отвергаем нулевую гипотезу, и вероятность, что мы ошибаемся в этом нашем решении, равна 0.05 (уровень значимости).

Евгений Машеров в сообщении #1618410 писал(а):

Далее. 0.05 и т.п. это не "апостериорная вероятность", это "допустимый процент брака", при котором не надо закрывать цех на полную реконструкцию.

andreiandrei
Любите доказательство ссылкой на авторитеты - ОК. Но приравнивать $P(A|B) = P(B|A)$ всё-таки очень наивная ошибка. 0.05 - это вероятность того, что вы отвергли гипотезу при условии, что гипотеза правильная, а не того, что гипотеза правильная при условии, что вы её отвергли. Но именно вторая условная вероятность и есть вероятность вашей ошибки.

andreiandrei в сообщении #1618467 писал(а):

Меня вот удивляет, почему бы просто не посмотреть в любом учебнике

В этом, видимо, и состоит ваша главная проблема. Вы читаете учебники, но без понимания. В результате и получается, что сделали по учебнику, а оно не работает. Ну как же так?

[andreiandrei]

realeugene в сообщении #1618475 писал(а):

Любите доказательство ссылкой на авторитеты - ОК.

Пока я не про доказательства говорю. Говорю, что хорошо бы освежить в памяти определения, если забыли. Было бы намного полезней, чем с ними спорить, ведь это всего лишь определения.
Они не зависят от авторитетов, и те, про которые я Вам говорил, вроде везде одинаковы. Хорошо, что освежили, но вот именно что без понимания, судя по тому, что ниже написали.

realeugene в сообщении #1618475 писал(а):

0.05 - это вероятность того, что вы отвергли гипотезу при условии, что гипотеза правильная,

Да, 0.05 - это вероятность того, что я ошибаюсь при отвержении гипотезы, отвергаю верную нулевую гипотезу, уже писал Вам неоднократно.

realeugene в сообщении #1618475 писал(а):

а не того, что гипотеза правильная при условии, что вы её отвергли. Но именно вторая условная вероятность и есть вероятность вашей ошибки.

Нет (см. чуть-чуть выше).

realeugene в сообщении #1618475 писал(а):

Но приравнивать $P(A|B) = P(B|A)$ всё-таки очень наивная ошибка.

Поэтому, пожалуйста, так не поступайте.

andreiandrei в сообщении #1618467 писал(а):

В результате и получается, что сделали по учебнику, а оно не работает. Ну как же так?

Это Вы про что? Если про основной вопрос темы, то тут как раз ничего пока по учебнику не сделано, а хотелось бы. Но Вы говорите, что пока даже не поняли суть задачи, не долистали, видимо
(Шутка, прошу не обижаться.)

[realeugene]

andreiandrei в сообщении #1618489 писал(а):

Да, 0.05 - это вероятность того, что я ошибаюсь при отвержении гипотезы, отвергаю верную нулевую гипотезу, уже писал Вам неоднократно.

Это декларативно, но противоречит хорошо вам известным свойствам вероятности. Вы знаете достоверно, что вы отвергаете гипотезу, но не знаете достоверно, верная гипотеза или нет? Вы допускаете, что, возможно, гипотеза всё же верная, несмотря на принятое решение.

andreiandrei в сообщении #1618489 писал(а):

Но Вы говорите, что пока даже не поняли суть задачи

Ну да, вы не описали вашу задачу достаточно подробно, чтобы можно было уловить её суть. Наверное, машинное обучение: подставляете разные методы и смотрите, что получается.