Стьюдент. Зависимые выборки.

[andreiandrei]

realeugene в сообщении #1617855 писал(а):

Что есть у вас генеральная совокупность на выходе каждого алгоритма? Ваши алгоритмы - они же просто как-то детерминированно отображают входные величины в выходные?

Да, всё верно. Передавая на вход различных алгоритмов одинаковые данные (случайные величины) и, как Вы говорите, "детерминированно отображая входные величины в выходные", на выходе разных алгоритмов получаем по разному распределённые случайные величины. Вроде ничего удивительного, обычное дело.

realeugene в сообщении #1617855 писал(а):

При этом, преобразуется независимо каждый входной отсчёт, или каждый вектор преобразуется совместно? Алгоритмы не адаптируются на основании истории? Это всё может порождать зависимости случайных величин в выборках.

Чтоб не вдаваться в подробности и много не писать, просто сразу скажу, что случайные величины в выборках независимы в совокупности.

(Оффтоп)

realeugene в сообщении #1617855 писал(а):

andreiandrei в сообщении #1613926 писал(а):

Задача решена. Саму проблему и её решение можно легко понять, если прочитать сообщения в теме, их немного, а сама задача - довольно несложная, как оказалось.

А, ну да. Удачи!

Да, я помню, что Вы ущемились на эту мою фразу. Но я же там в оффтопе мягко пояснил, почему так написал, и думал, что вопрос закрыт и Вы не обижаетесь. Но если Вы так долго это помните, то, видимо, я ошибался.
Искренне приношу Вам свои извинения, не хотел обидеть.

[realeugene]

(Оффтоп)

andreiandrei в сообщении #1617885 писал(а):

Но если Вы так долго это помните,

Не помню. История форума помнит. "А что же там было летом?"

[andreiandrei]

realeugene в сообщении #1617875 писал(а):

Не, пока мы в рамках вероятностной гипотезы сводим нашу статистику к случайной биноминальной величине с $p=0.05$ подходы полностью совпадают. Хрустальный шар появляется, когда мы говорим, что на основании однократного испытания Бернулли мы должны принять или отвергнуть нашу гипотезу.

Но мы ведь не так говорим. Например, в случае отвержения гипотезы мы говорим, что мы отвергаем нулевую гипотезу, и вероятность, что мы ошибаемся в этом нашем решении, равна 0.05.
Вроде нет ничего плохого или неправильного в том, что мы так можем сказать, на основании этого одного испытания Бернулли, как Вы говорите?

[realeugene]

andreiandrei в сообщении #1617892 писал(а):

Например, в случае отвержения гипотезы мы говорим, что мы отвергаем нулевую гипотезу, и вероятность, что мы ошибаемся в этом нашем решении, равна 0.05.

И каково же тут вероятностное пространство, чтобы так говорить?

[andreiandrei]

realeugene в сообщении #1617898 писал(а):

andreiandrei в сообщении #1617892 писал(а):

Например, в случае отвержения гипотезы мы говорим, что мы отвергаем нулевую гипотезу, и вероятность, что мы ошибаемся в этом нашем решении, равна 0.05.

И каково же тут вероятностное пространство, чтобы так говорить?

Пространство элементарных исходов: ("статистика попала в критическую область", "статистика не попала в критическую область");
алгебра событий: все возможные подмножества, их четыре, включая пустое (невозможное) и достоверное "статистика куда-то попала";
вероятностная мера: (0.05, 0.95, 0, 1), какие события куда отображаются, думаю, понятно.

А для чего этот вопрос?

[realeugene]

andreiandrei в сообщении #1617901 писал(а):

Пространство элементарных исходов: ("статистика попала в критическую область", "статистика не попала в критическую область");
алгебра событий: все возможные подмножества, их четыре, включая пустое (невозможное) и достоверное "статистика куда-то попала";
вероятностная мера: (0.05, 0.95, 0, 1), какие события куда отображаются, думаю, понятно.

А для чего этот вопрос?

Чтобы лучше понять ваше утверждение "мы отвергаем нулевую гипотезу, и вероятность, что мы ошибаемся в этом нашем решении, равна 0.05".

Припишите нулевой гипотезе некоторую априорную вероятность, а также дополните ваше вероятностное пространство событиями попадания и непопадания в критическую область, когда нулевая гипотеза неверна, чтобы убедиться, что апостериорная вероятность истинности нулевой гипотезы после попадания теста в критическую область и отвергания нулевой гипотезы окажется на самом деле 0.05 только при весьма ограничивающих условиях на априорную вероятность нулевой гипотезы и вероятность попадания теста в критическую область при невыполнении нулевой гипотезы. То есть, честно посчитанная вероятность того, что вы ошиблись в вашем решении, скорее всего не будет 0.05.

[Евгений Машеров]

Да нет у нас при обычном подходе (пирсоно-фишеровском) никакой "априорной вероятности нулевой гипотезы". Есть допущение, что она верна, и вероятность того, что в этом предположении можем получить то, что наблюдаем.

[andreiandrei]

realeugene в сообщении #1617957 писал(а):

Припишите нулевой гипотезе некоторую априорную вероятность, а также дополните ваше вероятностное пространство событиями попадания и непопадания в критическую область, когда нулевая гипотеза неверна, чтобы убедиться, что апостериорная вероятность истинности нулевой гипотезы после попадания теста в критическую область и отвергания нулевой гипотезы окажется на самом деле 0.05 только при весьма ограничивающих условиях на априорную вероятность нулевой гипотезы и вероятность попадания теста в критическую область при невыполнении нулевой гипотезы. То есть, честно посчитанная вероятность того, что вы ошиблись в вашем решении, скорее всего не будет 0.05.

Что-то не понимаю, как мне поможет расширение вероятностного пространства "событиями попадания и непопадания в критическую область, когда нулевая гипотеза неверна", если я принимаю решение об отвержении именно нулевой гипотезы. Отвергаю её я тогда, когда статистика попадает в область отвержения именно нулевой гипотезы, то есть, как Вы говорите, в "критическую область, когда нулевая гипотеза верна". Вероятность этого события известна, 0.05 например, она не зависит от расширения вероятностного пространства, которое Вы предлагаете.

Про априорную вероятность Евгений написал.
И как можно задать и использовать априорную вероятность в случае с моими чёрными ящиками (алгоритмами) мне, честно говоря, непонятно.

[realeugene]

andreiandrei в сообщении #1618019 писал(а):

Что-то не понимаю, как мне поможет расширение вероятностного пространства "событиями попадания и непопадания в критическую область, когда нулевая гипотеза неверна", если я принимаю решение об отвержении именно нулевой гипотезы.

А посчитайте честно, по Байесу. В случае априорной равновероятности нулевой гипотезы и её отрицания и бесполезности теста для гипотезы отрицания нулевой гипотезы (вероятность попадания в критическую область теста при невыполнении нулевой гипотезы $1/2$), после отвержения вами нулевой гипотезы апостериорная вероятность нулевой гипотезы, а значит, вероятность того, что вы совершили ошибку, окажется примерно $0.1$, то есть, примерно в два раза больше, чем вы думаете.

-- 15.11.2023, 14:42 --

Евгений Машеров в сообщении #1617988 писал(а):

Да нет у нас при обычном подходе (пирсоно-фишеровском) никакой "априорной вероятности нулевой гипотезы". Есть допущение, что она верна, и вероятность того, что в этом предположении можем получить то, что наблюдаем.

Это и есть наш хрустальный шар. Двукратная ошибка в "разумных" случаях не критична и, поэтому, обычный подход работает. Но не всегда, и можно точнее.

-- 15.11.2023, 14:50 --

andreiandrei в сообщении #1618019 писал(а):

И как можно задать и использовать априорную вероятность в случае с моими чёрными ящиками (алгоритмами) мне, честно говоря, непонятно.

Это только вы можете придумать. Я так и не понимаю, что же за задачу вы решаете? В общем случае может быть что угодно, а смещённые эстиматоры могут давать меньшую дисперсию, как известно, только они бесполезны.

[Евгений Машеров]

Ещё раз. Фишер начинал с Байеса. Но столкнулся с тем, что априорные вероятности далеко не всегда удаётся осмысленно назначить, а "принцип безразличия" не спасает, поскольку ввести "интуитивно равновероятные" исходы можно разными способами, и принятие какого-либо из них есть вопрос веры, а не положительного знания, а разный выбор приводит к решительно разным ответам. И поэтому выработал методику, в которой вообще бессмысленно говорить о вероятности гипотезы, лишь о вероятности получить наблюдённую картину при верности гипотезы.
И что до бесполезности "смещённых эстиматоров" - я бы не рискнул объявлять о бесполезности ридж-регрессии и регуляризации вообще.

[realeugene]

Евгений Машеров в сообщении #1618139 писал(а):

И поэтому выработал методику, в которой вообще бессмысленно говорить о вероятности гипотезы, лишь о вероятности получить наблюдённую картину при верности гипотезы.

Совершенно верно. Так лучше, чем никак, и часто этот метод работает. Но выбранный порог принятия не есть апостериорная вероятность того, что мы ошиблись, отвергнув гипотезу. Возможно, что мы ошиблись при этом не сильно. В тех случаях, в которых априорная вероятность гипотез известна, апостериорная вероятность отвергнутой гипотезы отличается от порога в тестах, кроме множества меры нуль. Но всё равно не остаётся ничего, как верить, что альтернативная гипотеза не слишком дикая, когда отвергается нулевая в этой терминологии гипотеза.

Евгений Машеров в сообщении #1618139 писал(а):

И что до бесполезности "смещённых эстиматоров" - я бы не рискнул объявлять о бесполезности ридж-регрессии и регуляризации вообще.

Да, не правильно выразился. Не полностью бесполезны, но меньшая дисперсия смещённых эстиматоров по сравнению с оптимальными несмещёнными - это не есть хорошо. В конце концов, из каждого несмещённого эстиматора тривиально сделать смещённый с нулевой дисперсией.

[Евгений Машеров]

Так нет у нас "апостериорной вероятности гипотез" при обычном подходе статистического оценивания или тестирования. Потому как нет априорной. Там, где априорная есть, будь то врач со статистикой встречаемости заболеваний или артиллерист со статистикой ошибок прицеливания - можно говорить об апостериорной вероятности. Там, где её изначально нет, это единственное исследование - отказ от постулирования априорного распределения это вопрос прежде всего честности (ну, или гигиены), не обманывать себя, прибавляя к данным недоказуемые предположения (и не загрязняя их, данные, собственным Очень Ценным Мнением). Да, если есть априорные вероятности - можем получить более точную оценку, но исключительно опираясь на дополнительну статистику, по которой оценивалась априорная картина, но не на введённые самими собой предположения. И именно опасаясь самообмана - Фишер перешёл к рассмотрению тестов, в которых никаких "апостериорных вероятностей гипотез" нет. Гипотеза верна или нет, "да-да, нет-нет, а всё прочее от Лукавого", и считается лишь вероятность того, что наблюдаемая картина приключилась при верности гипотезы. Байес мощный метод, но он должен опираться на дополнительную информацию, а не на спекулятивные предположения о вероятностях.
Ну и по поводу смещённых оценок - решительно с Вами не согласен. Больше тридцати лет как...
https://www.twirpx.cc/file/750248/

[realeugene]

Евгений Машеров в сообщении #1618197 писал(а):

Так нет у нас "апостериорной вероятности гипотез" при обычном подходе статистического оценивания или тестирования.

Да, но ТС написал: "мы отвергаем нулевую гипотезу, и вероятность, что мы ошибаемся в этом нашем решении, равна 0.05". Это и есть обсуждаемое заблуждение. Строго говоря, нет у нас вероятности при таком подходе, я согласен.

Евгений Машеров в сообщении #1618197 писал(а):

Там, где её изначально нет, это единственное исследование - отказ от постулирования априорного распределения это вопрос прежде всего честности (ну, или гигиены), не обманывать себя, прибавляя к данным недоказуемые предположения (и не загрязняя их, данные, собственным Очень Ценным Мнением).

Какие-то интуитивные априорные представления об этой вероятности есть у каждого исследователя, раз он выдвигает гипотезы. Согласен, что эти представления обычно субъективны и, поэтому, ненаучны. Но они неизбежны. Наука добывает знания из грязи.

Нюанс в том, что правило принятия решения о гипотезе на основании вероятности наблюдения в рамках гипотезы субъективно в той же степени, что и оценка априорной вероятности в Байесе. Но если оказывается критически важно, апостериорная вероятность отвергнутой гипотезы 0.05 или 0.1, то что-то делается неправильно.

Евгений Машеров в сообщении #1618197 писал(а):

Ну и по поводу смещённых оценок - решительно с Вами не согласен. Больше тридцати лет как... https://www.twirpx.cc/file/750248/

Спасибо, посмотрю.

Просто, помню, что была задачка в учебнике по теории оценивания, доказать, что смещённая оценка в некотором смысле не может быть лучше, чем оптимальная несмещённая, несмотря на меньшую дисперсию. Сейчас по памяти пишу.

[andreiandrei]

realeugene в сообщении #1618209 писал(а):

Да, но ТС написал: "мы отвергаем нулевую гипотезу, и вероятность, что мы ошибаемся в этом нашем решении, равна 0.05". Это и есть обсуждаемое заблуждение. Строго говоря, нет у нас вероятности при таком подходе, я согласен.

Прошу прощения, по-моему, тут путаница у Вас. При таком подходе вероятность есть, и это, в данном случае, именно вероятность ошибки, как я и написал. Евгений совершенно справедливо говорит про другую вероятность, а не про ту, с которой Вы соглашаетесь. Вероятностные пространства совсем разные.

[realeugene]

andreiandrei в сообщении #1618229 писал(а):

Вероятностные пространства совсем разные.

Ага. В вашем вероятностном пространстве гипотеза верна всегда, а понятия ошибки нет вообще. На самом деле, ошибки бывают только ваши, когда вы отвергаете правильную гипотезу (или её правильную альтернативу).