Вопросы по критерию Манна-Уитни

[igor_ivanov]

Здравствуйте! Прошу помочь разобраться в вопросах применения критерия Манна-Уитни. Согласно [1, c. 454] критерий Манна-Уитни – ранговый критерий проверки гипотезы сдвига. Согласно [2, c. 91] критерий Манна-Уитни предназначен для проверки гипотезы $H_0: P(X < Y) = 1/2$, где X и Y – независимые случайные величины.
Правильно ли я понимаю, что:
1. Параметры и виды функций распределения случайных величин X и Y могут быть любыми.
2. Если гипотеза $H_0$ неверна, то а) в общем случае, когда про X и Y ничего неизвестно, можно лишь утверждать, что больше половины значений X меньше (больше) значений Y, б) в частном случае, когда про X и Y известно, что их функции распределения одного вида и с разными параметрами, можно утверждать, что медианы данных распределений неравны.
3. Не существует непараметрического критерия равенства медиан или матожиданий для общего случая (когда даны только выборки из распределений, а про сами распределения дополнительной информации нет).

Список используемой литературы:
1. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. - М.: ФИЗМАТЛИТ, 2006. - 816 с. - ISBN 5-9221-0707-0;
2. Орлов А.И. Двухвыборочный критерий Вилкоксона – анализ двух мифов // Журнал КубГАУ. 2014. № 104. С. 91-111.

[alisa-lebovski]

igor_ivanov в сообщении #1584260 писал(а):

б) в частном случае, когда про X и Y известно, что их функции распределения одного вида и с разными параметрами, можно утверждать, что медианы данных распределений неравны.

В классической формулировке имеются в виду $F(x-\theta)$, и получаются $\theta$ не равны, отсюда следуют и медианы, и средние, и любые другие параметры положения, которые существуют.

А в общем случае, да, это интересная история. Если задаваться вопросом, какие числовые характеристики распределений сравнивает критерий Манна-Уитни, то получается, что никакие, такой числовой характеристики не может существовать. Потому что отношение чисел (больше-меньше) транзитивно, а отношение $P(X<Y)>1/2$ нетранзитивно, и может идти по кругу (см. нетразитивные кости).

[ipgmvq]

igor_ivanov в сообщении #1584260 писал(а):

критерий Манна-Уитни предназначен для проверки гипотезы $H_0: P(X < Y) = 1/2$

Не совсем. В этом тесте нулевая гипотеза более строгая — что у непрерывных случайных величин x и y идентичная (но любая) функция распределения.
$H_0: P(X < Y) = 0.5 $ имеет место и для случайных величин с разными функциями распределения.
Например, если Вы возьмете две нормально распределенные случайные величины с одинаковым $\mu$, но разной $\sigma^2$, то $ P(X < Y) = 0.5 $, но при тестировании выборок из них в Манне-Уитни значение p будет рассчитываться неверно. И чем больше разница в $\sigma^2$, тем хуже.

[alisa-lebovski]

ipgmvq, по-моему, Вы показали, на примере нормального распределения, что критерий Манна-Уитни не способен проверить нулевую гипотезу о равенстве функций распределения, а проверяет более слабую гипотезу $P(X<Y)=1/2$. Эти гипотезы совпадают, если распределения $X$ и $Y$ предполагаются из одного сдвигового семейства, т.е. вида $F(x-\theta)$. Так что "предназначен" критерий Манна-Уитни для проверки равенства параметров $\theta$ (или одно больше, другое меньше), только при данных предположениях. А если его применять в общем случае, то он проверяет $P(X<Y)=1/2$, и больше ничего.

[ipgmvq]

alisa-lebovski в сообщении #1584324 писал(а):

Эти гипотезы совпадают, если распределения $X$ и $Y$ предполагаются из одного сдвигового семейства, т.е. вида $F(x-\theta)$. Так что "предназначен" критерий Манна-Уитни для проверки равенства параметров $\theta$ (или одно больше, другое меньше), только при данных предположениях.

С этой частью согласен.

alisa-lebovski в сообщении #1584324 писал(а):

по-моему, Вы показали, на примере нормального распределения, что критерий Манна-Уитни не способен проверить нулевую гипотезу о равенстве функций распределения, а проверяет более слабую гипотезу $P(X<Y)=1/2$.

А тут не понял. Как же я показал это, если я показал как раз обратное. Вы не могли бы, пожалуйста, пояснить.

[alisa-lebovski]

ipgmvq в сообщении #1584330 писал(а):

Вы не могли бы, пожалуйста, пояснить.

В том смысле, что на примере нормальных распределений он должен был бы отклонить гипотезу о равенстве распределений, если ее принять за нулевую, но не отклонил ее. А вторую не отклонил, поскольку она верна, ее и не надо отклонять.

[ipgmvq]

alisa-lebovski в сообщении #1584333 писал(а):

В том смысле, что на примере нормальных распределений он должен был бы отклонить гипотезу о равенстве распределений, если ее принять за нулевую, но не отклонил ее.

я поясню.
Вот эмпирический пример.
Мы берем выборки по 100 независимых случайных нормально распределенные величин $\xi_1$ и $\xi_2$ соответственно с параметрами $\mu_1 = \mu_2 = 2,\ \sigma_1 = 0.05,\ \sigma_2 = 1 $. Согласно Вашему предположению, данный setup соответствует нулевой гипотезе. Можно сразу отметить, что $\xi_1$ имеет стохастическое доминирование 2-го порядка над $\xi_2$.
Мы рассчитываем значение p в тесте Манна-Уитни, и в результате симуляции Монте-Карло рисуем своеобразный Q-Q plot для значений p для эмпирического критерия при таком setup'е супротив теоретического при верности $H_0$, а также оцениваем в Монте-Карло частоту отвержения данной нулевой гипотезы при вероятности ошибки 1-го рода на уровне 0.025 на каждом конце. Увы частота отвержения на конце "$\xi_1$ стохастически доминирует над $\xi_2$" получается примерно в два раза выше, чем должна быть теоретически: точечная оценка пропорции 0.04986 (ДИ Клоппера-Пирсона 0.0485-0.0512, гипотеза о том, что эта пропорция равна теоретической 0.025, статистически отвергается). То же самое на конце "$\xi_2$ стохастически доминирует над $\xi_1$": точечная оценка пропорции 0.05114 (ДИ Клоппера-Пирсона 0.0498-0.0525, гипотеза о том, что эта пропорция равна теоретической 0.025, статистически отвергается).

При сближении значений $\sigma$ у $\xi_1$ и $\xi_2$ всё стремиться к теоретическим значениям.

Т.е. при расхождении функций распределения (при сохранении $ P(X < Y) = 0.5 $ ) нулевая гипотеза начинает отвергаться всё чаще и чаще, чем следует.

Используется синтаксис Python

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm, mannwhitneyu, binomtest

n1 = norm(2.0, 0.05)
n2 = norm(2.0, 1.0)

размер_выборки = 100
размер_выборки_MC = 100000
значения_p = mannwhitneyu(n1.rvs(size=(размер_выборки, размер_выборки_MC)), 
                          n2.rvs(size=(размер_выборки, размер_выборки_MC)), 
                          alternative='greater',
                          method='exact').pvalue
значения_p = np.sort(значения_p)

plt.plot(np.linspace(0.0,1.0,размер_выборки_MC),значения_p)
plt.xlabel('Теоретические квантили', fontsize=18)
plt.ylabel('Эмпирические квантили', fontsize=18)
plt.title('p-value to p-value Q-Q plot', fontsize=28)
plt.xlim(0.0,1.0)
plt.ylim(0.0,1.0)
plt.show()

print(binomtest((значения_p < 0.025).sum(), размер_выборки_MC, p=0.025).proportion_ci())
print(binomtest((значения_p < 0.025).sum(), размер_выборки_MC, p=0.025))

print(binomtest((значения_p > 0.975).sum(), размер_выборки_MC, p=0.025).proportion_ci())
print(binomtest((значения_p > 0.975).sum(), размер_выборки_MC, p=0.025))

[alisa-lebovski]

Интересный эффект! Дело по-видимому в аномальной зависимости индикаторов $I(X_i<Y_j)$ при различии дисперсий переменных. Эта зависимость влияет на дисперсию статистики, дисперсия получается другая, чем при равенстве распределений, что приводит к большей частоте отклонения нулевой гипотезы. То есть критерий фактически делает больше ошибок, проверяя гипотезу $P(X<Y)=1/2$, но за счет того, что в случае этих ошибок он оказывается прав в отношении гипотезы равенства распределений, то в отношении нее получается лучше. Но я думаю, что этот эффект должен стремиться к нулю с ростом числа наблюдений. В то время как обычно статистические критерии проверяют гипотезы тем лучше, чем больше наблюдений.

[Евгений Машеров]

Критерий Манна-Уитни - критерий проверки гипотезы о том, что две выборки, имеющие одно и то же с точностью до параметра сдвига распределение, не отличаются и по параметру сдвига. В этом случае, разумеется, равны и их медианы и, если существуют, средние. Поскольку предварительной проверки равенства распределений (с оговоркой насчёт сдвига) обычно не делают, взамен постулируя это равенство, тут возможен источник ошибок.

[igor_ivanov]

Суть последних сообщений я как-то не очень уловил. Поэтому сам решил немного поэкспериментировать:
1. Генерируем две выборки объёма $N = 20$ из нормальных распределений Normal(100, 1) и Normal(100, 1). Рассчитываем статистику Манна-Уитни U и проверяем выполнение неравенства $127 \leqslant U \leqslant 273$, где 127 и 273 – критические значения для $N = 20$ и $\alpha=0,95$. Повторяем описанный алгоритм 1 млн раз. Результат: неравенство $127 \leqslant U \leqslant 273$ выполняется в 95,4 % случаев.
2. Повторяем эксперимент, описанный в пункте 1, с другими нормальными распределениями – Normal(100, 1) и Normal(100, 5). Результат: неравенство $127 \leqslant U \leqslant 273$ выполняется в 92,5 % случаев.
3. Повторяем эксперимент, описанный в пункте 1, с равномерными распределениями – Uniform(-1, 1) и Uniform(-1, 1). Результат: неравенство $127 \leqslant U \leqslant 273$ выполняется в 95,4 % случаев.
4. Повторяем эксперимент, описанный в пункте 1, с бета-распределениями – Beta(2, 5) и Beta(2, 5). Результат: неравенство $127 \leqslant U \leqslant 273$ выполняется в 95,4 % случаев.
5. Повторяем эксперимент, описанный в пункте 1, с нормальным и равномерным распределениями – Normal(100, 1) и Uniform(97, 103). Результат: неравенство $127 \leqslant U \leqslant 273$ выполняется в 94,3 % случаев.
6. Повторяем эксперимент, описанный в пункте 1, с нормальным и равномерным распределениями – Normal(100, 1) и Uniform(98.4, 101.6). Результат: неравенство $127 \leqslant U \leqslant 273$ выполняется в 95,4 % случаев.

Мои выводы из экспериментов:
а) В общем случае распределения непрерывных случайных величин X и Y должны быть одного вида и иметь одинаковые параметры разброса (например, стандартное отклонение), а параметры сдвига (например, матожидание и медиана) у X и Y могут быть разными.
б) В частном случае существуют такие пары X и Y, для которых условия из пункта «а» не выполняются, но при этом критерий Манна-Уитни применим с заданной точностью (см. эксперимент № 6).

Также хотелось бы обсудить вопросы:
1) Что «на словах» означает гипотеза $P(X < Y) = 1/2$?
2) Что «на словах» означает гипотеза сдвига?
3) Если гипотеза сдвига верна, значит, гипотеза $P(X < Y) = 1/2$ тоже верна, но обратное утверждение не всегда верно?
4) В каком случае при выполнении гипотезы $P(X < Y) = 1/2$ автоматически выполняется гипотеза сдвига?
5) Какую всё-таки гипотезу проверяет критерий Манна-Уитни: $P(X < Y) = 1/2$ или гипотезу сдвига?

[igor_ivanov]

igor_ivanov в сообщении #1584398 писал(а):

3) Если гипотеза сдвига верна, значит, гипотеза $P(X < Y) = 1/2$ тоже верна, но обратное утверждение не всегда верно?

Переформулирую вопрос:
3) Из верности гипотезы сдвига не следует верность гипотезы $P(X < Y) = 1/2$ и обратное утверждение тоже верно?

[alisa-lebovski]

Еще статьи в тему:

Thangalevu K., Brunner E. Wilcoxon--Mann--Whitney test for stratified samples and Efron's paradox dice // J. Statist. Plann. Inference. 2007. V. 137. P. 720--737.

Корнеев А.А., Кричевец А.Н. Условия применимости критериев Стьюдента и Манна-Уитни
// Психологический журнал. 2011. Т. 32. No.~1. С. 97--110.

А. В. Лебедев, “Проблема нетранзитивности для трех непрерывных случайных величин”, Автоматика и телемеханика, 2019, 6, 91–103

[Евгений Машеров]

1. На столе две колоды карт, и не обычных игральных, а с цифрами, не обязательно одинаковым набором в обеих колодах. Один игрок вытаскивает карту из одной, один из другой колоды. Большее число выигрывает. При справедливости гипотезы нет резона приплачивать за право выбрать колоду. Прежде чем играть, Вам предоставляют возможность пробных игр, для проверки гипотезы и принятия решения, играть ли.
2. Колоды точно одинаковые, но банкомёт считает Вас выигравшим, если Ваше число превышает число противника на величину тэта (вообще говоря, не обязательно положительное, и Вам не сообщаемое). Пробные игры для того, чтобы оценить, честная ли игра (т.е. равно ли тэта нулю).
3. Понимая под "гипотеза сдвига верна" утверждение, что обе выборки принадлежат одному и тому же закону распределения, не отличающемуся ничем, даже сдвигом, получаем, что в силу симметрии вероятность вытащить большее число из любой из колод равно 1/2.
4. Если единственное возможное отличие распределений это наличие сдвига - то из равенства вероятностей следует равенство нулю сдвига. Соответствие распределений может проверяться дополнительными тестами (и есть риск ошибки в силу вероятностного характера тестов), следовать из внестатистических соображений (но модель процесса может быть ошибочна) или постулироваться (что проще всего, и опаснее всего).
5. Сама по себе проверяется лишь вероятность. При принятии допущения об одинаковости, с точностью до сдвига, распределений - сдвиг.

[igor_ivanov]

Евгений Машеров в сообщении #1584392 писал(а):

Критерий Манна-Уитни - критерий проверки гипотезы о том, что две выборки, имеющие одно и то же с точностью до параметра сдвига распределение, не отличаются и по параметру сдвига.

А если нарушить условие о том, что две выборки имеют "одно и то же с точностью до параметра сдвига распределение", тогда критерий Манна-Уитни будет проверять гипотезу $P(X<Y)=1/2$ или вообще непонятно что?

[ipgmvq]

Евгений Машеров в сообщении #1584392 писал(а):

Критерий Манна-Уитни - критерий проверки гипотезы о том, что две выборки, имеющие одно и то же с точностью до параметра сдвига распределение, не отличаются и по параметру сдвига.

Возможно уместно добавить, что в оригинальной публикации [1] помимо декларирования прямо во введении, что нулевой гипотезой является тождественность функции распределения ("Let x and y be two random variables with continuous cumulative distribution functions f and g. A statistic U depending on the relative ranks of the x's and y's is proposed for testing the hypothesis $f = g$"), также говорится, что в альтернативной гипотезе (которая соответсвенно заключается в том, что функции распределения не тождественны, потому что именно это мы отвергаем с нулевой гипотезой) в фокусе находится "строгое" стохастическое доминирование 1-го порядка (т.е. нечно менее строгое, чем просто сдвиг функции распределения):
"The test is shown to be consistent with respect to the class of alternatives $f(x) > g(x)$ for every x".

igor_ivanov в сообщении #1584398 писал(а):

1) Что «на словах» означает гипотеза $P(X < Y) = 1/2$?

Иными словами (для непрерывных случайных величин) это значит, что $M(X-Y)=M(Y-X)=0$, где M — это медиана.

1. Mann HB, Whitney DR. On a test of whether one of two random variables is stochastically larger than the other. Ann Math Statist. 1947;18(1):50-60. Полный текст.