Объясните как работат критерий согласия Пирсона хи-квадрат

[Alex9]

В статьях слишком много специальных терминов. Может кто-нибудь без них объяснить и с минимальным количеством формул?

[Александрович]

Там спецтерминов и формул не так уж и много. Вам лично какие непонятны?

[provincialka]

А что значит "как работает"? Как считать и вывод делать? Или почему это верно?

[Alex9]

Что такое гипотеза в статистике? Какие они бывают? Как формулируются? Как происходит доказательство гипотезы, если принять применяемый матаппарат статистики как черный ящик?

[Lia]

Alex9
Хотелось бы конкретики на таком уровне: "Я тут читаю учебник такой-то и из него мне остается неясным то-то." Потому что пересказывать учебники по статистике тут вряд ли кто будет.

[provincialka]

Объясню нестрого (как гуманитариям объясняю. Прошу математиков сильно меня не бить ).
Главное свойство статистической гипотезы -- она говорит о распределении случайной величины (величин). Или о параметрах такого распределения. Например

1) Среднее значение $\xi$ равно 5
2) Дисперсии $\xi$ и $\eta$ совпадают
3) Величина $\xi$ распределена равномерно /нормально /еще как-то
4) Величины $\xi$ и $\eta$ независимы

Гипотеза такого вида называется "нулевой". Обычно нулевая гипотеза как бы говорит, что в данных "ничего интересного нет" -- нет различия, нет зависимости и т.п. Кроме того, в пару к этой, рассматривается альтернативная гипотеза, например:

1) Среднее значение $\xi$ больше 5
2) Дисперсии $\xi$ и $\eta$ не совпадают
3) Величина $\xi$ не распределена равномерно /нормально /еще как-то
4) Величины $\xi$ и $\eta$ зависимы

Так вот, обычно данные не в точности подтверждают нулевую гипотезу, есть отклонения. Например, для (1) выборочное среднее оказалось равным 5,5. Большое это отличие или нет? Методы статистики не позволяют, конечно, сказать "большое" или "маленькое", ведь данные содержат случайность! Но можно проверить вот что. Предположим, что истинное значение все-таки 5. Какова вероятность, что отклонение выборочных данных настолько велико (+0,5)? Эта вероятность называется p-value.

Например, если p-value равно 0,35, мы говорим: "Вероятность довольно большая, это могло произойти чисто случайно. Такое отклонение не противоречит нулевой гипотезе". Если же p-value равно 0,0035, это очень мало. Вряд ли могло произойти такое маловероятное событие! Значит, наше предположение было неверным, и среднее все-таки не равно 5 (больше 5, если такова была альтернативная гипотеза). Границей между "малой вероятностью" и "не малой" берут обычно 5%. Или даже 1%.

Критерий хи-квадрат используется для проверки гипотез типа (3) и (4) из приведенного списка. Впрочем, он довольно грубый.

[Geen]

provincialka в сообщении #1055763 писал(а):

отклонение выборочных данных настолько велико

...настолько или ещё больше...

[provincialka]

Geen
Да, конечно! Хотя можно считать, что в понятие "настолько велико" уже вложен смысл "или еще больше". Я же не сказала "отклонение именно такое"
Но, думаю, такие подробности пока ТС-у не нужны, так как он спрашивает

Alex9 в сообщении #1055758 писал(а):

Как происходит доказательство гипотезы, если принять применяемый матаппарат статистики как черный ящик?

[Alex9]

Спасибо за ответы. Можно ли использовать гипотезы при решении задачи кластеризации?

[provincialka]

Alex9
Ой! Ну и вопросик! А как вы ставите эту задачу? Насколько я знаю, во многих случаях ее решают эвристически и не особо заморачиваются строгой постановкой задачи. Явно определенная целевая функция -- скорее исключение.
И вообще, у вас данные стохастические что ли? То есть кластеры должны строиться с учетом какого-то распределения каких-то случ. величин?

[Alex9]

Я ещё не читал ничего о том, как надо ставить задачу. Как мне разобраться, что из себя представляют гипотезы на бытовом уровне?

[provincialka]

Так... Про кластеризацию забываем? Или вас она интересует?
Если нужно использование статистических методов именно в кластеризации -- боюсь, я не совсем компетентна. Если вас интересуют случаи попроще (одна-две-...-$n$ случайных величин, их распределения и параметры), тогда можно поговорить.

[Alex9]

Давайте пока не говорить о кластеризации, т.к. я сам дошел только до ее решения на основе расстояний между группами элементов. Объясните, пожалуйста, про гипотезы: как понятие распределения и его параметры связывают с решением реальной прикладной задачи?

Сейчас читаю книгу "Статистика для всех, но у меня еще есть книга "Математическая статистика" Горяинова, но о ней мне сказали, что так давно не считают.

[Brukvalub]

Alex9 в сообщении #1066826 писал(а):

как понятие распределения и его параметры связывают с решением реальной прикладной задачи?

Ну и вопрос! Это примерно как спросить: расскажите немного, как математику применяют в жизни?

[provincialka]

Alex9
Я чуть выше (и намного раньше) кое что вам написала... Вы это поняли? Подошло оно к вашим вопросам?

Вот, представьте себе, вы создали новое лекарство и хотите доказать его эффективность. Скажем, что оно снижает кровяное давление. Как проводить эксперимент?

Замеряете давление у нескольких гипертоников (скажем, среднее за неделю). Проводите курс лечения. Замеряете снова. Скажем, до лечения у пациентов давление было в среднем 165 мм рт.ст. А после лечения -- 157 мм рт. ст. Вроде, снизилось? А вдруг это просто следствие случайных погрешностей?

Ну что же, по определенным правилам считаете статистику Стьюдента. Например, она оказалась равной $t=3,44$. Эта величина тем больше, чем больше отклонение между результатами "До" и "После". Но насколько это много -- 3,44? Может ли такое отклонение получиться только за счет случайности?
Чтобы это проверить, подсчитаем вероятность того, что при равных давлениях величина $t$ будет равна 3,44 или больше? Эта вероятность называется p-value. Вот как это делается на языке R:

> x; mean(x)
[1] 150 180 152 180 178 164 168 166 170 172 164 160 166 150 155
[1] 165
> y; mean(y)
[1] 154 175 150 181 158 153 169 146 159 161 156 137 167 151 138
[1] 157

> t.test(x,y,paired=T,alt="greater")

Paired t-test

data: x and y
t = 3.4427, df = 14, p-value = 0.001981
alternative hypothesis: true difference in means is greater than 0
95 percent confidence interval:
3.907085 Inf
sample estimates:
mean of the differences
8
Итак, вероятность настолько большого значения равна примерно 0,2%. Конечно, трудно ожидать, что произошло настолько маловероятное событие. Значит, наиболее разумно будет отвергнуть гипотезу равенства давлений. Итак, принимаем альтернативную гипотезу, что давление действительно понизилось!