2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение19.09.2015, 17:03 
Аватара пользователя


20/11/12

121
В статьях слишком много специальных терминов. Может кто-нибудь без них объяснить и с минимальным количеством формул?

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение19.09.2015, 17:40 
Аватара пользователя


21/01/09
3923
Дивногорск
Там спецтерминов и формул не так уж и много. Вам лично какие непонятны?

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение19.09.2015, 18:31 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
А что значит "как работает"? Как считать и вывод делать? Или почему это верно?

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение22.09.2015, 08:40 
Аватара пользователя


20/11/12

121
Что такое гипотеза в статистике? Какие они бывают? Как формулируются? Как происходит доказательство гипотезы, если принять применяемый матаппарат статистики как черный ящик?

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение22.09.2015, 09:01 


20/03/14
12041
Alex9
Хотелось бы конкретики на таком уровне: "Я тут читаю учебник такой-то и из него мне остается неясным то-то." Потому что пересказывать учебники по статистике тут вряд ли кто будет.

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение22.09.2015, 09:16 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
Объясню нестрого (как гуманитариям объясняю. Прошу математиков сильно меня не бить :roll: ).
Главное свойство статистической гипотезы -- она говорит о распределении случайной величины (величин). Или о параметрах такого распределения. Например

    1) Среднее значение $\xi$ равно 5
    2) Дисперсии $\xi$ и $\eta$ совпадают
    3) Величина $\xi$ распределена равномерно /нормально /еще как-то
    4) Величины $\xi$ и $\eta$ независимы

Гипотеза такого вида называется "нулевой". Обычно нулевая гипотеза как бы говорит, что в данных "ничего интересного нет" -- нет различия, нет зависимости и т.п. Кроме того, в пару к этой, рассматривается альтернативная гипотеза, например:

    1) Среднее значение $\xi$ больше 5
    2) Дисперсии $\xi$ и $\eta$ не совпадают
    3) Величина $\xi$ не распределена равномерно /нормально /еще как-то
    4) Величины $\xi$ и $\eta$ зависимы

Так вот, обычно данные не в точности подтверждают нулевую гипотезу, есть отклонения. Например, для (1) выборочное среднее оказалось равным 5,5. Большое это отличие или нет? Методы статистики не позволяют, конечно, сказать "большое" или "маленькое", ведь данные содержат случайность! Но можно проверить вот что. Предположим, что истинное значение все-таки 5. Какова вероятность, что отклонение выборочных данных настолько велико (+0,5)? Эта вероятность называется p-value.

Например, если p-value равно 0,35, мы говорим: "Вероятность довольно большая, это могло произойти чисто случайно. Такое отклонение не противоречит нулевой гипотезе". Если же p-value равно 0,0035, это очень мало. Вряд ли могло произойти такое маловероятное событие! Значит, наше предположение было неверным, и среднее все-таки не равно 5 (больше 5, если такова была альтернативная гипотеза). Границей между "малой вероятностью" и "не малой" берут обычно 5%. Или даже 1%.

Критерий хи-квадрат используется для проверки гипотез типа (3) и (4) из приведенного списка. Впрочем, он довольно грубый.

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение22.09.2015, 10:25 
Заслуженный участник
Аватара пользователя


01/09/13
4318
provincialka в сообщении #1055763 писал(а):
отклонение выборочных данных настолько велико

...настолько или ещё больше...

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение22.09.2015, 17:00 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
Geen
Да, конечно! Хотя можно считать, что в понятие "настолько велико" уже вложен смысл "или еще больше". Я же не сказала "отклонение именно такое" ;-)
Но, думаю, такие подробности пока ТС-у не нужны, так как он спрашивает
Alex9 в сообщении #1055758 писал(а):
Как происходит доказательство гипотезы, если принять применяемый матаппарат статистики как черный ящик?

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение22.09.2015, 20:51 
Аватара пользователя


20/11/12

121
Спасибо за ответы. Можно ли использовать гипотезы при решении задачи кластеризации?

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение22.09.2015, 23:05 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
Alex9
Ой! Ну и вопросик! А как вы ставите эту задачу? Насколько я знаю, во многих случаях ее решают эвристически и не особо заморачиваются строгой постановкой задачи. Явно определенная целевая функция -- скорее исключение.
И вообще, у вас данные стохастические что ли? То есть кластеры должны строиться с учетом какого-то распределения каких-то случ. величин?

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение25.10.2015, 19:17 
Аватара пользователя


20/11/12

121
Я ещё не читал ничего о том, как надо ставить задачу. Как мне разобраться, что из себя представляют гипотезы на бытовом уровне?

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение25.10.2015, 21:27 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
Так... Про кластеризацию забываем? Или вас она интересует?
Если нужно использование статистических методов именно в кластеризации -- боюсь, я не совсем компетентна. Если вас интересуют случаи попроще (одна-две-...-$n$ случайных величин, их распределения и параметры), тогда можно поговорить.

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение25.10.2015, 22:24 
Аватара пользователя


20/11/12

121
Давайте пока не говорить о кластеризации, т.к. я сам дошел только до ее решения на основе расстояний между группами элементов. Объясните, пожалуйста, про гипотезы: как понятие распределения и его параметры связывают с решением реальной прикладной задачи?

Сейчас читаю книгу "Статистика для всех, но у меня еще есть книга "Математическая статистика" Горяинова, но о ней мне сказали, что так давно не считают.

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение25.10.2015, 22:55 
Заслуженный участник
Аватара пользователя


01/03/06
13626
Москва
Alex9 в сообщении #1066826 писал(а):
как понятие распределения и его параметры связывают с решением реальной прикладной задачи?

Ну и вопрос! Это примерно как спросить: расскажите немного, как математику применяют в жизни? :D

 Профиль  
                  
 
 Re: Объясните как работат критерий согласия Пирсона хи-квадрат
Сообщение25.10.2015, 23:24 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
Alex9
Я чуть выше (и намного раньше) кое что вам написала... Вы это поняли? Подошло оно к вашим вопросам?

Вот, представьте себе, вы создали новое лекарство и хотите доказать его эффективность. Скажем, что оно снижает кровяное давление. Как проводить эксперимент?

Замеряете давление у нескольких гипертоников (скажем, среднее за неделю). Проводите курс лечения. Замеряете снова. Скажем, до лечения у пациентов давление было в среднем 165 мм рт.ст. А после лечения -- 157 мм рт. ст. Вроде, снизилось? А вдруг это просто следствие случайных погрешностей?

Ну что же, по определенным правилам считаете статистику Стьюдента. Например, она оказалась равной $t=3,44$. Эта величина тем больше, чем больше отклонение между результатами "До" и "После". Но насколько это много -- 3,44? Может ли такое отклонение получиться только за счет случайности?
Чтобы это проверить, подсчитаем вероятность того, что при равных давлениях величина $t$ будет равна 3,44 или больше? Эта вероятность называется p-value. Вот как это делается на языке R:

> x; mean(x)
[1] 150 180 152 180 178 164 168 166 170 172 164 160 166 150 155
[1] 165
> y; mean(y)
[1] 154 175 150 181 158 153 169 146 159 161 156 137 167 151 138
[1] 157

> t.test(x,y,paired=T,alt="greater")

Paired t-test

data: x and y
t = 3.4427, df = 14, p-value = 0.001981
alternative hypothesis: true difference in means is greater than 0
95 percent confidence interval:
3.907085 Inf
sample estimates:
mean of the differences
8

Итак, вероятность настолько большого значения равна примерно 0,2%. Конечно, трудно ожидать, что произошло настолько маловероятное событие. Значит, наиболее разумно будет отвергнуть гипотезу равенства давлений. Итак, принимаем альтернативную гипотезу, что давление действительно понизилось!

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 16 ]  На страницу 1, 2  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group