Хи-квадрат критерий согласия. Вопросы.

[_hum_]

Как-то раньше не приходилось тесно сталкиваться с Хи-квадрат критерием согласия, потому, думал, все просто. А вот, когда пришлось, оказалось, не так легко найти ответы на элементарные, казалось бы, вопросы:
1) каким образом выбирать карманы для группирования данных (для гистограммы хотя бы есть информация о вариантах, и какие из них лучше-хуже, а вот для данного критерия всюду смутные "чтоб было матожидание не меньше 5 " и т.п.) и почему (хотелось бы ссылки на утверждения);
2) как сказывается зависимость способа выбора карманов от выборки на распределение статистики?
3) почему при нынешних технологиях Хи-квадрат критерий согласия для средних размеров выборок (которых, я так понимаю, большинство в практике) не заменили точным Multinomial_test (кстати, какой русскоязычный аналог названию данного теста?)?
4) почему в англоязычной Вики пишут, что Хи-квадрат предпочтительнее сейчас заменять G-test, а в русскоязычном интернете ничего про это не слышно? И чем G-тест лучше, если , вроде бы, асимптотически, он имеет то же распределение;
5) с учетом всего сказанного, насколько вообще имеет смысл использовать в наше время Хи-квадрат критерий согласия для тестирования гипотезы о принадлежности выборки данному (произвольному) семейству распределений (сложная гипотеза)? Чем его можно заменить в этом деле?

Спасибо.

[Markiyan Hirnyk]

Для удобства пользователей привожу ссылки: G-test и Chi- squared test.

[Евгений Машеров]

Формальных рекомендаций не встречал, обычно руководствуются теми же, что и при построении гистограмм, но ячейки, в которых ожидаемое число меньше 5 (у некоторых авторов даже 10), объединяются с соседними. Требования о минимальном числе в ячейке обусловлены тем, что распределение числа попаданий не нормальное, а биномиальное. Коэффициент асимметрии для него $\frac {p-q} \sqrt{npq}$, а эксцесса $\frac {1-6pq}{npq}$, так что при малом количестве в ячейке знаменатели малы, и распределение не может быть хорошо приближено нормальным.
Асимптотически не должно зависеть, практически зависит, но, если не подбирать специально, влияние слабое.
Предпочтение хи-квадрат "точному тесту" связано, насколько могу судить, не столько с вычислительными сложностями, сколько совместимостью с более старыми результатами.
Рекомендация в английской Вики состоит не в замене вообще на G-test, а в использовании его, когда в ячейке малое ожидаемое число попаданий. Вообще, насколько я могу понять, они оба приближённые, но приближение в хи-квадрат состоит в замене биномиального распределения нормальным, а вот сумма квадратов нормальных в точности имеет распределение хи-квадрат, а вот в G - функция выражена точно, но её распределение только асимптотически будет хи-квадрат.

[Someone]

Евгений Машеров в сообщении #1331940 писал(а):

ячейки, в которых ожидаемое число меньше 5 (у некоторых авторов даже 10), объединяются с соседними

$10$ мне не попадалось, но $5$ встречал в двух вариантах: ожидаемое число меньше $5$ или фактическое число меньше $5$.

[Евгений Машеров]

Рекомендация "объединять, если фактическое число меньше 5", порочна тем, что появляется "зависимость от данных". Тем не менее тоже встречал. "Не менее 10" встречается редко, но бывает.

[_hum_]

Евгений Машеров в сообщении #1331940 писал(а):

Формальных рекомендаций не встречал, обычно руководствуются теми же, что и при построении гистограмм, но ячейки, в которых ожидаемое число меньше 5 (у некоторых авторов даже 10), объединяются с соседними.

В гистограммах нет больших проблем с выбором - можно детерминированные схемы, можно зависящие от выборки. Здесь же все это будет влиять на результирующее распределение (имеется в виду не предельное, а для заданной выборки).
К тому же, для тестирования сложной гипотезы (когда проверяется принадлежность выборки семейству распределений), непонятно, матожидание какого распределения рассматривать. Есть подозрение, что оценочного по методу максимального правдоподобия, но тогда будет явная зависимость от выборки.

Евгений Машеров в сообщении #1331940 писал(а):

Требования о минимальном числе в ячейке обусловлены тем, что распределение числа попаданий не нормальное, а биномиальное. Коэффициент асимметрии для него $\frac {p-q} \sqrt{npq}$, а эксцесса $\frac {1-6pq}{npq}$, так что при малом количестве в ячейке знаменатели малы, и распределение не может быть хорошо приближено нормальным.

Ну, это понятно. Только опять же, если идет учет минимального числа в ячейке (а не матожидания), то появляется зависимость от выборки.

Кстати, получается, что Хи-квадрат работает только для тестирования распределений с конечной дисперсией (раз предполагается ЦПТ)?

Евгений Машеров в сообщении #1331940 писал(а):

Асимптотически не должно зависеть, практически зависит, но, если не подбирать специально, влияние слабое.

Так в том и дело, что даже то, что вы описали, предполагает зависимый от выборки подбор.

Евгений Машеров в сообщении #1331940 писал(а):

Предпочтение хи-квадрат "точному тесту" связано, насколько могу судить, не столько с вычислительными сложностями, сколько совместимостью с более старыми результатами.

Ммм... так а почему студентов в мат. статистике продолжают учить Хи-квадрату как основному методу?

К тому же, я так и не нашел информации по поводу применения точного критерия для тестирования сложной гипотезы - возможно, еще и в этом причина (трудность применения для сложных гипотез)...

Евгений Машеров в сообщении #1331940 писал(а):

Рекомендация в английской Вики состоит не в замене вообще на G-test, а в использовании его, когда в ячейке малое ожидаемое число попаданий.

Нет, там фраза:

Цитата:

In statistics, G-tests are likelihood-ratio or maximum likelihood statistical significance tests that are increasingly being used in situations where chi-squared tests were previously recommended

Цитата:

В статистике G-критерии - это критерии статистической значимости на основе отношения провдоподобия или максимума правдоподобия, которые все больше и больше начинают использоваться ситуациях, где раньше использовались Хи-квадрат критерии.

И еще, непонятно, как в прикладных пакетах в Хи-квадрате выбираются карманы для непрерывных распределений. В той же Mathematica сказано, что так, чтобы вероятности были одинаковые, но при этом молчок о количестве карманов.

В общем, впечатление полнейшего бардака...

[Евгений Машеров]

Цитата:

In cases where the expected value, E, is found to be small (indicating a small underlying population probability, and/or a small number of observations), the normal approximation of the multinomial distribution can fail, and in such cases it is found to be more appropriate to use the G-test, a likelihood ratio-based test statistic. When the total sample size is small, it is necessary to use an appropriate exact test, typically either the binomial test or (for contingency tables) Fisher's exact test. This test uses the conditional distribution of the test statistic given the marginal totals; however, it does not assume that the data were generated from an experiment in which the marginal totals are fixed and is valid whether or not that is the case.

[Евгений Машеров]

_hum_ в сообщении #1332056 писал(а):

Только опять же, если идет учет минимального числа в ячейке (а не матожидания), то появляется зависимость от выборки.

Поэтому совет "объединять ячейки, в которые попало менее 5 наблюдений", хоть и встречается, но плох. А "объединять ячейки, в которых ожидается менее 5 наблюдений" приемлем.

-- 13 авг 2018, 08:12 --

_hum_ в сообщении #1332056 писал(а):

Кстати, получается, что Хи-квадрат работает только для тестирования распределений с конечной дисперсией (раз предполагается ЦПТ)?

Нет. Рассматривается распределение числа попаданий в ячейку. А что биномиальное, что его аппроксимация нормальным имеют конечную дисперсию. Само же тестируемое может быть хоть Коши, хоть вовсе некошерным, лишь бы можно было бы вычислить вероятность попадания в ячейку.

-- 13 авг 2018, 08:13 --

_hum_ в сообщении #1332056 писал(а):

К тому же, для тестирования сложной гипотезы (когда проверяется принадлежность выборки семейству распределений), непонятно, матожидание какого распределения рассматривать. Есть подозрение, что оценочного по методу максимального правдоподобия, но тогда будет явная зависимость от выборки.

Учитывается снижением числа степеней свободы на число параметров, оценённых по выборке.

-- 13 авг 2018, 08:16 --

_hum_ в сообщении #1332056 писал(а):

Ммм... так а почему студентов в мат. статистике продолжают учить Хи-квадрату как основному методу?

Потому, что G-тест не лучше асимптотически, практические преимущества на таблицах, в которых малое число ожидаемых попаданий (а этого желательно избежать, с практической точки зрения), а главная затыка - разбивка на ячейки непрерывной величины и связанный с этим произвол - остаётся.

[_hum_]

Евгений Машеров в сообщении #1332101 писал(а):

Цитата:

In cases where the expected value, E, is found to be small (indicating a small underlying population probability, and/or a small number of observations), the normal approximation of the multinomial distribution can fail, and in such cases it is found to be more appropriate to use the G-test, a likelihood ratio-based test statistic. When the total sample size is small, it is necessary to use an appropriate exact test, typically either the binomial test or (for contingency tables) Fisher's exact test. This test uses the conditional distribution of the test statistic given the marginal totals; however, it does not assume that the data were generated from an experiment in which the marginal totals are fixed and is valid whether or not that is the case.

Это откуда цитата? Какого она года? К тому же она не противорчеит той, что я привел (что G-тест в настоящее время начинает всен больше и больше заменять Хи-квадрат).

Евгений Машеров в сообщении #1332108 писал(а):

_hum_ в сообщении #1332056 писал(а):

Только опять же, если идет учет минимального числа в ячейке (а не матожидания), то появляется зависимость от выборки.

Поэтому совет "объединять ячейки, в которые попало менее 5 наблюдений", хоть и встречается, но плох. А "объединять ячейки, в которых ожидается менее 5 наблюдений" приемлем.

Так а что делать с тестированием сложной гипотезы? Матожидание какого распределения выбирать для расчета матожиданий для карманов?

Евгений Машеров в сообщении #1332108 писал(а):

_hum_ в сообщении #1332056 писал(а):

К тому же, для тестирования сложной гипотезы (когда проверяется принадлежность выборки семейству распределений), непонятно, матожидание какого распределения рассматривать. Есть подозрение, что оценочного по методу максимального правдоподобия, но тогда будет явная зависимость от выборки.

Учитывается снижением числа степеней свободы на число параметров, оценённых по выборке.

Это, я так понимаю, в случае, когда карманы заранее выбраны, то есть, независимы от выборки (плюс, оценка идет по сгруппированной выборке). В случае же использования для выбора карманов оценочного распределения начинается зависимость...

Евгений Машеров в сообщении #1332108 писал(а):

_hum_ в сообщении #1332056 писал(а):

Ммм... так а почему студентов в мат. статистике продолжают учить Хи-квадрату как основному методу?

Потому, что G-тест не лучше асимптотически, практические преимущества на таблицах, в которых малое число ожидаемых попаданий (а этого желательно избежать, с практической точки зрения), а главная затыка - разбивка на ячейки непрерывной величины и связанный с этим произвол - остаётся.

В статье Wiki я почему-то не нашел того, что вы говорите - там тоже он используется как асимптотический. К тому же, я не понимаю, в чем проблема по аналогии с G-test создать, как вы говорите, таблицы и для Хи-квадрат.
Мне кажется, выгода в чем-то другом. Может, у G-test сходимость к распределению быстрее, или он получается мощнее....В той же Вики что-то похожее на этот счет написано:

Цитата:

For samples of a reasonable size, the G-test and the chi-squared test will lead to the same conclusions. However, the approximation to the theoretical chi-squared distribution for the G-test is better than for the Pearson's chi-squared test.[5] In cases where $O_i > 2 \cdot E_i$ for some cell case the G-test is always better than the chi-squared test.[citation needed]

For testing goodness-of-fit the G-test is infinitely more efficient than the chi squared test in the sense of Bahadur, but the two tests are equally efficient in the sense of Pitman or in the sense of Hodges and Lehmann.[6][7]

[Someone]

_hum_ в сообщении #1332161 писал(а):

Матожидание какого распределения выбирать для расчета матожиданий для карманов?

А зачем оно вообще нужно? $n'_i=np_i$, где $n'_i$ — ожидаемое число элементов в "кармане", $n$ — объём выборки, $p_i$ — вероятность попадания в "карман" для гипотетического распределения. Никакого математического ожидания от гипотетического распределения не требуется.

[Евгений Машеров]

_hum_ в сообщении #1332161 писал(а):

Это откуда цитата? Какого она года?

Из Википедии, из статьи, ссылку на которую Вы дали. Год не назову, поскольку для этого нужно анализировать лог правок Вики, а мне не до этого. Но, во всяком случае, это не вызывает отторжения у авторов Вики в данный момент.

-- 13 авг 2018, 13:12 --

_hum_ в сообщении #1332161 писал(а):

Так а что делать с тестированием сложной гипотезы? Матожидание какого распределения выбирать для расчета матожиданий для карманов?

Биномиального, вестимо. Или, строго говоря, мультиномиального. $m_i=p_i n$

-- 13 авг 2018, 13:14 --

_hum_ в сообщении #1332161 писал(а):

Это, я так понимаю, в случае, когда карманы заранее выбраны, то есть, независимы от выборки (плюс, оценка идет по сгруппированной выборке). В случае же использования для выбора карманов оценочного распределения начинается зависимость...

-- 13 авг 2018, 13:29 --

Ещё раз. G-тест и $\chi^2$-тест устроены совершенно одинаково, отличаясь только расчётной формулой. И там, и там предполагается разбивка на ячейки, нахождение ожидаемого числа в ячейках, определение фактического числа попаданий и вычисление некоей меры расхождения ожидаемых и фактических величин. Поскольку, в отличие от дискретного случая, когда ячейки определены вполне однозначно, при дискретизации непрерывных величин может иметь место произвол, это может исказить результат. Практика, однако, показывает, что выбор разного числа интервалов (при соблюдении рекомендуемого минимума в ячейках) и сдвиг интервалов на общий результат влияет слабо, так что такой выбор оставляют на усмотрение исследователя. Часто выбирают число интервалов по формуле Стёрджесса $n=1+\lfloor 3.322\lg N\rfloor$, хотя это скорее "хоть и безобразно, но однообразно"

(Оффтоп)

как выражался товарищ майор, приказывая взводу расстегнуть в жару воротнички

Фактическое число будет меньше рекомендованного, поскольку, найдя вероятности попадания в интервалы, будем вынуждены объединить некоторые. Есть и другие рекомендации, вот некоторый обзор
https://ami.nstu.ru/~headrd/seminar/xi_square/28.htm
но существенно на результат это не повлияет. А в той степени, в какой повлияет - это претензия равно к G-тесту и $\chi^2$-тесту.
Само выражение для слагаемых G-теста является аппроксимацией для слагаемых$\chi^2$-теста (ну, или наоборот). И при немалом числе в ячейке дают почти одно и то же. При малом разница есть, и G-тест предпочтительнее, да. Только вот при малом числе в ячейке желательно от такого теста отказаться вовсе или объединять ячейки. Теоретически работать при малых G-тест будет, только вот на практике бывают досадные мелочи, то ли от невнимания не туда попало, то ли от округления на границе ячеек, и когда в ячейке много попаданий - такая ошибка несущественна, а когда мало - результат сильно искажён. А если объединять, не допуская малого числа - преимущества G-теста становятся сугубо академическими.

-- 13 авг 2018, 13:46 --

$G=2\sum _{{i}}{O_{{i}}\cdot \ln \left({\frac {O_{i}}{E_{i}}}\right)}$
Разложение логарифма имеет вид
$\ln(1+x)=x-{\frac {x^{2}}{2}}+{\frac {x^{3}}{3}}-{\frac {x^{4}}{4}}+\dots $
Расписывая выражение под логарифмом, как $\frac{E_i+(O_i-E_i)}{E_i}=1+\frac{O_i-E_i}{E_i}=1+x$ и подставляя его в ряд, оставив члены до квадратичного, получим слагаемое для $\chi^2$. Поскольку при достаточном числе ожидаемых попаданий в ячейку x мало, отбрасывание прочих членов мало искажает ответ.
Глубокие исследования эффективности этих критериев показали, что по Бахадуру G-тест эффективнее, чем $\chi^2$. а по Питмену и Ходжесу-Леману они эквивалентны. Однако эффективность по Бахадуру сравнивает оценки при стремлении уровня значимости к нулю, то есть для обычной практики использования критериев, когда довольствуются уровнями 5% и 1% это неважно.
То есть при обычной практике использования G-тест не имеет существенных преимуществ, но работает при малом числе в ячейке, что удобно, но при практической работе может порождать грубые ошибки из-за дефектов данных, которые не повлияли бы на $\chi^2$.

[_hum_]

Someone
Евгений Машеров
давайте, может, к реальной проблеме. Нужно проверить гипотезу принадлежности выборки размера N заданному параметрическому (допустим, для простоты, с одним параметром) семейству абсолютно непрерывных распределений.

Из того, что я нашел в нете на этот счет толкового (с доказательствами), предлагается след. подход:
1) изначально (вне зависимости от выборки) задается $k$-карманов;
2, вариант A) выборка группируется по карманам, после чего для группированного рапсределения находится оценка максимального правдоподория параметра $\Hat{\theta}$;
2, вариант B) находится оценка максимального правдоподобия параметра $\Tilde{\theta}$ по несгруппированной выборке;
3) составляется статистика Хи-квадрат с использованием вместо вероятности попадания в $i$-ый карман $p_i$ oценочного через оцененный параметр ($\Hat{\theta}$ или $\Tilde{\theta}$) значения;
4, вариант A) если используется $\Hat{\theta}$, то в качестве распределения статистики при основной гипотезе рассматривается хи-квадрат с $k$ - число оцененных параметров - 1 степенями свободы;
4, вариант B) если используется $\Tilde{\theta}$, то полагаются на результат, что в этом случае распределение будет зависеть от параметра, но при этом находиться (функция распределения будет принимать значения) между
хи-квадрат с $k$ - число оцененных параметров - 1 и хи-квадрат с $k$- 1, а потому можно смело отвергать гипотезу на выбранном уровне значимости, если значение критерия выше (соответствующего уровню значимости) квантиля для хи-квадрат с $k$ - 1, и смело не отвергать, если оно меньше квантиля для хи-квадрат с $k$ - число оцененных параметров - 1, с оставшейся серой зоной между этими двумя квантилями (когда ничего нельзя сказать).

Все прекрасно, кроме того, как в этом случае выбирать число карманов и их ширину? (Удивляет, что нет стандарта, ведь всюду же используется отсылка просто на тест, без указания схемы разбиения на карманы - типа "мы получили такое-то p-value при тестировании с помощью критерия Хи-квадрат, потому мы принимаем решение, что бла-бла-бла")

Евгений Машеров в сообщении #1332189 писал(а):

Есть и другие рекомендации, вот некоторый обзор https://ami.nstu.ru/~headrd/seminar/xi_square/28.htm

Не совсем понял, как использовать "Таблицы асимптотически оптимального группирования при проверке гипотез о согласии с использованием критериев типа c^2 Пирсона и оценивании параметров" - каким образом по ним выбирать схему построения карманов?

Евгений Машеров в сообщении #1332189 писал(а):

То есть при обычной практике использования G-тест не имеет существенных преимуществ, но работает при малом числе в ячейке

Я чего-то наверное не догоняю. Почему G-test работает при малом числе в ячейках, а Хи -квадрат - нет?
И, я так понимаю, здесь речь о тестировании простых гипотез? А что в случае сложных?

Еще меня смущает из той же вики:

Цитата:

McDonald recommends to always use an exact test (exact test of goodness-of-fit, Fisher's exact test) if the total sample size is less than 1000.

There is nothing magical about a sample size of 1000, it's just a nice round number that is well within the range where an exact test, chi-square test and G–test will give almost identical P values.

Получается, что только при объеме выборки больше 1000 можно полагаться на асимптотические критерии. Что же делать с тестированием сложной гипотезы при меньших объемах? Я что-то не встречал для этого случая точных критериев :(

[Евгений Машеров]

Группировку при расчёте параметров распределения ныне не используют. Это загрубление, использовавшееся для сокращения объёма ручного счёта (вручную посчитать число попаданий в ячейку проще, чем умножать).
Число степеней свободы для $\chi^2$ и при группировке, и без будет "число ячеек"-"число параметров, оценённых по выборке"-1.
G-тест способен работать при малом числе наблюдений в ячейке в силу того, что при малом числе величина под логарифмом не настолько близка к единице, чтобы пренебречь членами ряда для логарифма степени выше второй. А это пренебрежение даёт нам совпадение с формулой для критерия $\chi^2$

[GAA]

Евгений Машеров в сообщении #1332343 писал(а):

Группировку при расчёте параметров распределения ныне не используют. Это загрубление, использовавшееся для сокращения объёма ручного счёта (вручную посчитать число попаданий в ячейку проще, чем умножать).
Число степеней свободы для $\chi^2$ и при группировке, и без будет "число ячеек"-"число параметров, оценённых по выборке"-1.

Очень сильное заявление. Нельзя ли привести ссылки на доказательство этого утверждения? Боюсь, достаточно просто выполнить моделирование показывающее, что при достаточно малом числе интервалов группировки при использовании для параметров оценок максимального правдоподобия по исходной выборке даже при [её большом объёме] $n \to \infty$ статистика не будет иметь распределение $\chi^2$ с указанным числом степеней свободы.

Upd. И вообще, странно, что не упоминаются никакие условия. Тем более, что уже всем известный случай равномерного распределения с неизвестными параметрами говорит о том, что совсем без каких-то условий никак не получится.

[Александрович]

_hum_ в сообщении #1331651 писал(а):

каким образом выбирать карманы для группирования данных (для гистограммы хотя бы есть информация о вариантах, и какие из них лучше-хуже, а вот для данного критерия всюду смутные "чтоб было матожидание не меньше 5 " и т.п.) и почему (хотелось бы ссылки на утверждения);

Наиболее полный обзор рекомендаций по определению оптимального числа интервалов группирования приведён на мой взгляд в Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. – Л.: Энергоатомиздат, 1991. на стр. 172.