Вопросы по критерию Манна-Уитни

[alisa-lebovski]

igor_ivanov в сообщении #1584426 писал(а):

А если нарушить условие о том, что две выборки имеют "одно и то же с точностью до параметра сдвига распределение", тогда критерий Манна-Уитни будет проверять гипотезу $P(X<Y)=1/2$ или вообще непонятно что?

Да, в общем случае он будет проверять только эту гипотезу, но несколько криво, с большей ошибкой первого рода, чем положено, при небольших выборках (как было выше показано ipgmvq).

[ipgmvq]

igor_ivanov в сообщении #1584260 писал(а):

Если гипотеза $H_0$ неверна, то ... можно лишь утверждать

В фриквентистской статистике (в рамках парадигмы, в которой мы используем тесты с отвержением нулевой гипотезы) в случае двусторонних тестов то, что мы можем утверждать, установить весьма просто: достаточно определить, что является нулевой гипотезой в тесте, принять противоположное суждение, наложив на него те ограничения (во что мы априорно верим), с которыми мы пришли к этому тесту изначально.
Если нашим ограничением при подходе к тесту было, что функции распределения X и Y тождественны вплоть до "параметра смещения", то отвергая нулевую гипотезу, мы принимаем обратную ей в рамках этого же ограничения.
Если мы подошли к тесту без ограничений, то после отвержения нулевой гипотезы о полной тождественности функций распределения, мы принимаем обратную гипотезу о том, что эти функции не тождественны, без каких либо ограничений.

Если же тест односторонний, то тут (IMHO) в плане выводов (и релевантности рассчитываемого значения p односторонней нулевой гипотезе) начинается алхимия даже для самых классических параметрических тестов.

[igor_ivanov]

ipgmvq в сообщении #1584459 писал(а):

Если же тест односторонний, то тут (IMHO) в плане выводов (и релевантности рассчитываемого значения p односторонней нулевой гипотезе) начинается алхимия даже для самых классических параметрических тестов.

В литературе я встречал три способа сравнения U с $U_{tab}$. Например, для выборок объёма $N = 20$ имеем:
1. Односторонний тест при $\alpha = 0,95$: $U \leqslant U(0,05) = 138$ или $U \geqslant U(0,95) = 262$.
2. Двухсторонний тест при $\alpha = 0,95$: $127 = U(0,025) \leqslant U \leqslant U(0,975) = 273$.
3. Двухсторонний тест на основе «оси значимости» для $U = \min(U(x/y), U(y/x))$: зона незначимости при $U \geqslant U(0,05) = 138$, зона значимости при $U \leqslant U(0,01) = 114$, зона неопределённости при $114 < U < 138$.

Вопросы:
1. В чём проблема одностороннего теста?
2. Есть ли смысл использовать тест на основе «оси значимости»?

[ipgmvq]

.

[ipgmvq]

alisa-lebovski в сообщении #1584450 писал(а):

при небольших выборках

Докладываю.
Провёл три Монте-Карлы размером 100 000 каждая для выборок по 100 (как в первый раз), 1000 и 10 000 соответственно для того же setup'а.
Единственно: если для случая с выборками размером 100 Манн-Уитни делался точно, то в случае выборок размером 1000 и 10 000 — уже асимптотически.
Получил отвержение нулевой гипотезы на конце "$ \xi_1 $ стохастически доминирует над $ \xi_2 $" в примерно 5.140%, 5.040%, 5.069% случаев соответственно вместо теоретических 2.5%.
Попарные двусторонние точные тесты Фишера между симуляциями с выборками размером 100, 1000 и 10 000 не позволяют отвергнуть нулевую гипотезу о том, что эти пропорции одинаковы (между 100 и 1000 значение p $\approx 0.314$, между 1000 и 10 000 значение p $\approx 0.775$, между 100 и 10 000 значение p $\approx 0.477$).
Таблица сопряженности в симуляциях получилась следующая:
$\begin{bmatrix} 5140 & 5040 & 5069 \\ 94860 & 94960 & 94931 \end{bmatrix}$

Используется синтаксис Python

import gc
import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm, mannwhitneyu, fisher_exact

ξ1 = norm(2.0, 0.05)
ξ2 = norm(2.0, 1.0)

размер_выборки = 100
размер_выборки_MC = 100000
значения_p_100 = mannwhitneyu(ξ1.rvs(size=(размер_выборки, размер_выборки_MC)), 
                          ξ2.rvs(size=(размер_выборки, размер_выборки_MC)), 
                          alternative='greater',
                          method='exact').pvalue

знач_p_1000 = []
размер_выборки = 1000
размер_выборки_MC = 10000

for _ in range(10):
    gc.collect()
    значения_p_1000 = mannwhitneyu(ξ1.rvs(size=(размер_выборки, размер_выборки_MC)), 
                          ξ2.rvs(size=(размер_выборки, размер_выборки_MC)), 
                          alternative='greater').pvalue
    знач_p_1000.append(значения_p_1000)
    

знач_p_10000 = []
размер_выборки = 10000
размер_выборки_MC = 1000

for _ in range(100):
    gc.collect()
    значения_p_10000 = mannwhitneyu(ξ1.rvs(size=(размер_выборки, размер_выборки_MC)), 
                          ξ2.rvs(size=(размер_выборки, размер_выборки_MC)), 
                          alternative='greater').pvalue
    знач_p_10000.append(значения_p_10000)

    
доля_отвержения_100 = значения_p_100 < 0.025
доля_отвержения_1000 = np.concatenate(знач_p_1000) < 0.025
доля_отвержения_10000 = np.concatenate(знач_p_10000) < 0.025

таблица_сопряженности = np.array([[доля_отвержения_100.sum(), доля_отвержения_1000.sum(), доля_отвержения_10000.sum()],[100000 - доля_отвержения_100.sum(),100000 - доля_отвержения_1000.sum(),100000 - доля_отвержения_10000.sum()]])

print(таблица_сопряженности)
print(fisher_exact(таблица_сопряженности[:,1:])[1])
print(fisher_exact(таблица_сопряженности[:,:2])[1])
print(fisher_exact(таблица_сопряженности[:,[0,2]])[1])

[alisa-lebovski]

ipgmvq в сообщении #1584506 писал(а):

Докладываю.

Да, это интересный эффект, заслуживающий теоретического изучения. Значит, и при больших объемах выборок уровень значимости считается неверно. Но в любом случае, нельзя сказать, что критерий проверяет гипотезу о равенстве распределений, поскольку тогда вероятность отвержения гипотезы (когда она неверна) должна была бы стремиться к единице, а не оставаться на уровне долей процента.

[igor_ivanov]

Ещё вопросы:
1. Существуют ли непараметрические критерии, позволяющие проверить гипотезу сдвига, если величина сдвига и/или размаха не константа?
2. Можно ли с помощью критерия Мана-Уитни рассчитать по выборкам вероятность того, что медиана первого распределения больше медианы второго распределения? Допустим, есть две выборки объёма $N = 20$; число пар значений, для которых $x_i>y_i$, составляет $U = 250$; как с помощью этих данных рассчитать вероятность того, что медиана X больше медианы Y?
3. Непараметрические критерии для зависимых (связанных) выборок имеют такие же ограничения к применению как критерий Мана-Уитни, то есть позволяют проверить гипотезу сдвига для распределений, не отличающихся ничем, кроме сдвига?

[ipgmvq]

igor_ivanov

1. Вопрос непонятен.
2. В фриквентисткой парадигме нельзя оценивать вероятности. Единственная вероятность, которая в таких тестах фигируирует, это получение статистикой теста (критерием) такого или более крайнего значения при верности нулевой гипотезы. Они вообще никак не оценивают вероятность альтернативной гипотезы или вероятность достижения такого значения статистикой теста (критерием) при верности альтернативной гипотезы. Паттерн работы создателя фриквентистского теста: сформулировать очень узкое собитие (которое во многих реальных ситуациях "почти никогда" не произойдет), назвав его нулевой гипотезой, описать распреление некой выборочной статистики (критерия) при условии этого очень узкого события, часто это распределение можно описать только асимптотически (при размере выборки, стремящемся к бесконечности). Всё, тест создан, можно умывать руки.
3. У данного теста нет таких ограничений. А каком конкретно тесте для связанных выборок Вы говорите?

[igor_ivanov]

ipgmvq
Согласны ли Вы со следующими утверждениями:
1. В общем случае, когда функции распределения любые, условия применения критерия Манна-Уитни нарушены и, соответственно, применять данный критерий для проверки гипотезы о тождественности функций распределения нельзя.
2. Если в общем случае обсчитывать данные так, как в критерии Манна-Уитни, будет проверяться гипотеза «больше-меньше», заключающаяся в том, число пар значений $x_i$ и $y_i,$ для которых $x_i > y_i$, равно числу пар значений $x_i$ и $y_i$, для которых $x_i < y_i$.
3. В частном случае, когда функции распределения отличаются только сдвигом, критерий Манна-Уитни проверяет гипотезу о тождественности функций распределения. И если данная гипотеза отклоняется, то с доверительной вероятностью $\alpha$ распределения не тождественны (то есть сдвиг есть), а с вероятностью $1-\alpha$ распределения тождественны (то есть сдвига нет).
4. В частном случае, когда функции распределения отличаются то ли сдвигом, то ли размахом, то ли тем и другим, критерий Манна-Уитни проверяет гипотезу о тождественности функций распределения. И если данная гипотеза отклоняется, то с доверительной вероятностью $\alpha$ распределения не тождественны (то есть то ли сдвиг есть, то ли размах разный, то ли то и другое), а с вероятностью $1-\alpha$ распределения тождественны (то есть сдвига нет и размах одинаковый).

[ipgmvq]

1. Не согласен.
2. Не согласен.
3. Не согласен.
4. Не согласен.

Относительно вопросов 3 и 4 уже упомянул выше, что ни о каких вероятностях фриквентистские стат. тесты не говорят, кроме одной: вероятности того, что критерий теста достигнет некого или более крайнего значения (зачастую только в асимптотическом случае) при условии верности нулевой гипотезы (это — условная вероятность, при том что вероятности условия мы не знаем). Никаких суждений о вероятности верности нулевой или альтернативной гипотезы сделать невозможно. Фриквентистские тесты вместо вероятности (probability) оперируют термином достоверность (confidence).
Представьте, что Вы знаете, что завтра к Вам на дачный участок может приземлиться (а может не приземлиться) летающая тарелка. И Вам достоверно известно, что если это произойдет, инопланетяне дадут Вам 100 юаней с вероятностью 10%. Вы просыпаетесь послезавтра, ничего о прошлом дне не помните. Смотрите в кошелек: юаней нет. Вопрос: какова вероятность, что вчера у Вас на даче были инопланетяне? Что Вам мешает ответить на этот вопрос, то же мешает и фриквентистскому стат. тесту ответить на вопрос, какова вероятность нулевой гипотезы.

[igor_ivanov]

ipgmvq в сообщении #1584722 писал(а):

1. Не согласен.

Согласны ли Вы с таким утверждением: "В общем случае, когда функции распределения любые, условия применения критерия Манна-Уитни не нарушены и, соответственно, применять данный критерий для проверки гипотезы о тождественности функций распределения можно". Если согласны, приведите, пожалуйста, ссылку на доказательство.

[alisa-lebovski]

По-видимому, тут есть проблема в терминологии. Что значит, что какой-то критерий проверяет гипотезу или применим для проверки гипотез. Это можно говорить в том смысле, что если применять критерий при верной гипотезе, то критические точки для таких-то значений ошибок первого рода (уровней значимости) считаются по такой-то формуле или таблице. А можно говорить в том смысле, что при какой-то альтернативе (или наборе альтернатив) с ростом числа наблюдений вероятность отклонить гипотезу стремится к единице. Насколько я помню, это называется состоятельностью критерия против альтернативы. Хорошо бы конечно и то, и другое.

[igor_ivanov]

Поясню, что я имею ввиду на примере утверждения: "В общем случае, когда функции распределения любые, условия применения критерия Манна-Уитни не нарушены и, соответственно, применять данный критерий для проверки гипотезы о тождественности функций распределения можно".
Для опровержения данного утверждения достаточно привести пару нетождественных функций распределения X и Y, для которых нулевая гипотеза принимается с той же доверительной вероятностью $\alpha$, что и для тождественных функций. Насколько я понимаю, такие пары X и Y существуют, а значит, утверждение выше неверно.

[ipgmvq]

igor_ivanov в сообщении #1584750 писал(а):

условия применения критерия Манна-Уитни не нарушены

igor_ivanov в сообщении #1584750 писал(а):

Для опровержения данного утверждения достаточно

Если мы говорим о тесте Манна и Уитни, а не о тесте Александров Ивановичей, то условия применения формулируют всё-таки авторы.
Как я писал выше, механика создания нового фриквентистского теста следующая:

• сформулировать (очень узкую) нулевую гипотезу (узкую, потому что только для нее зачастую можно вывести единообразное распределение критерия),
• сформулировать критерий, вывести (если возможно) его распределение, и
• в идеале (чтобы народ принял) протестить часть альтернатив (ибо вся альтернатива (особенно у непараметрических тестов) настолько широка и разнородна, что не поддается универсальному тестированию на желательные для теста характеристики).

Среди всего множества альтернатив нулевой гипотезе можно обычно найти такие, при которых тест будет практически бесполезен. Если Вы тестите две нормальные случайные величины со стандартной дисперсией и мат ожиданием, которое отличается на 1.0e-1000, в тесте Стьюдента, это уже не нулевая гипотеза и всё типа состоятельно, но... Накладывает ли Стьюдент (или тот, кто его использует) ограничение на разницу в матожиданиях для альтернатив, чтобы тест прям работал?...

Поэтому, чтобы понять, какие у авторского теста условия для использования, нужно спросить у его авторов. Если у их читателей и пользователей есть предложения по улучшению теста, то они могут выйти с модификацией и назвать её модифицированный тест Манна-Уитни-Кобзаря-Орлова.

Выше я привел ссылку на полный текст авторской публикации с цитатами из неё именно по этому поводу.

Альтернативы, которые авторы не стали тестить на состоятельность: две функции распределения, не будучи тождественными, касаются или пересекаются. Сформулировали ли они это как ограничение для теста эксплицитно? Я думаю, нет.

[igor_ivanov]

ipgmvq в сообщении #1584447 писал(а):

Возможно уместно добавить, что в оригинальной публикации [1] помимо декларирования прямо во введении, что нулевой гипотезой является тождественность функции распределения...
1. Mann HB, Whitney DR. On a test of whether one of two random variables is stochastically larger than the other. Ann Math Statist. 1947;18(1):50-60. Полный текст.

ipgmvq в сообщении #1584754 писал(а):

чтобы понять, какие у авторского теста условия для использования, нужно спросить у его авторов.
Выше я привел ссылку на полный текст авторской публикации с цитатами из неё именно по этому поводу

Вы привели утверждение Манна и Уитни о том, что в тесте Манна-Уитни "нулевой гипотезой является тождественность функции распределения". Сначала я понимал данную фразу так: авторы выдвинули гипотезу для проверки, предложили тест, проверяющий эту гипотезу, и привели доказательства того, что данный тест действительно способен проверить эту гипотезу. Сейчас мне подумалось, что может иметься ввиду не это, а следующее: авторы сказали - пусть функции распределения X и Y тождественны, тогда для разных объёмом выборок рассчитаем доверительные интервалы, в которые с вероятностью $\alpha$ попадают значения U, рассчитанные для случайных выборок из генеральных совокупностей X и Y. Какая из моих интерпретаций верная или снова всё неверно?