Статистика и ГМО

[mihaild]

Geen в сообщении #1342463 писал(а):

А что тут статистика?

Разность между выборочными средними. Или модуль этой разности. Или модулю синуса экспоненты этой разности.

[peripatetic]

rockclimber в сообщении #1342461 писал(а):

Dan B-Yallay в сообщении #1342437 писал(а):

rockclimber в сообщении #1342404 писал(а):

Поздравляю, вы делаете поразительные успехи! Всего четыре страницы демагогии, и вы наконец-то пришли к тому, что сказал Munin еще во втором сообщении в топике:

А можно ли указать, в каких сообщениях была демагогия?

... а сейчас ТС договорился аж до того, что Munin и DimaM с ним якобы согласились .

Вы знаете, я дам Вам хороший совет, при Ваших интеллектуальных способностях надо быть скромнее. Надеюсь, Вы поймете (со временем), что я не утверждал ничего подобного.

[Geen]

Dan B-Yallay в сообщении #1342465 писал(а):

Последнее по идее и есть два возможных альтернативных предположения, которые согласно определениям/учебникам матстатистики и есть гипотезы.

Нет конечно. Гипотезы матстатистики и гипотезы "о реальном мире" хотя и связаны, но, фундаментально, совершенно разные вещи. И "нулевая гипотеза" всегда состоит в том, что намерянную статистику мы получили "случайно". И какие бы слова не писались в разных учебниках (кстати, не встречал хороших), "нулевая гипотеза" всегда используется ровно для вычисления вероятности этой "случайности".

[rockclimber]

peripatetic в сообщении #1342467 писал(а):

rockclimber в сообщении #1342461 писал(а):

... а сейчас ТС договорился аж до того, что Munin и DimaM с ним якобы согласились .

Вы знаете, я дам Вам хороший совет, при Ваших интеллектуальных способностях надо быть скромнее. Надеюсь, Вы поймете (со временем), что я не утверждал ничего подобного.

Вы написали двусмысленное сообщение, которое можно трактовать по-разному. Я оставляю за собой право выбирать трактовку. Если вам хочется, чтобы люди вас понимали правильно, извольте выражаться яснее.

[Geen]

mihaild в сообщении #1342466 писал(а):

Разность между выборочными средними.

А откуда две (несколько) выборок взялись? Или Вы имеете ввиду деление группы на "читавших"/"не читавших"? Но тогда у нас ровно одно значение статистики "из эксперимента" - что означали три числа, которые Вы ранее писали?

[mihaild]

Geen в сообщении #1342478 писал(а):

Или Вы имеете ввиду деление группы на "читавших"/"не читавших"?

Да, так.

Geen в сообщении #1342478 писал(а):

что означали три числа, которые Вы ранее писали?

А это макисмальные вероятности попасть в какое-то множество из заранее выбранного семейства, содержащее это число, при условии, что разница между средними удовлетворяет какому-то условию.
(условия не в смысле условной вероятности, а в смысле максимума по подмножеству)

[peripatetic]

rockclimber в сообщении #1342475 писал(а):

peripatetic в сообщении #1342467 писал(а):

rockclimber в сообщении #1342461 писал(а):

... а сейчас ТС договорился аж до того, что Munin и DimaM с ним якобы согласились .

Вы знаете, я дам Вам хороший совет, при Ваших интеллектуальных способностях надо быть скромнее. Надеюсь, Вы поймете (со временем), что я не утверждал ничего подобного.

Вы написали двусмысленное сообщение, которое можно трактовать по-разному. Я оставляю за собой право выбирать трактовку.

Как угодно. Но лучше, все же, воспользоваться моим советом. Поверьте, Вы от этого только выиграете.

[Geen]

mihaild в сообщении #1342481 писал(а):

А это макисмальные вероятности попасть в какое-то множество из заранее выбранного семейства, содержащее это число, при условии, что разница между средними удовлетворяет какому-то условию.
(условия не в смысле условной вероятности, а в смысле максимума по подмножеству)

Честно говоря, совсем не понял, ничего.
Вот у нас есть "измеренное" значение статистики и, каким-то образом полученная, плотность вероятности этой статистики. Что дальше?

[Dan B-Yallay]

Geen в сообщении #1342473 писал(а):

Гипотезы матстатистики и гипотезы "о реальном мире" хотя и связаны, но, фундаментально, совершенно разные вещи. И "нулевая гипотеза" всегда состоит в том, что намерянную статистику мы получили "случайно".

Так бы и сказали, что пользуетесь не Фишером, а Нейман-Пирсоном или еще чем-то заковыристей.

Wiki:
The concept of a null hypothesis is used differently in two approaches to statistical inference. In the significance testing approach of Ronald Fisher, a null hypothesis is rejected if the observed data are significantly unlikely to have occurred if the null hypothesis were true. In this case the null hypothesis is rejected and an alternative hypothesis is accepted in its place. If the data are consistent with the null hypothesis, then the null hypothesis is not rejected. In neither case is the null hypothesis or its alternative proven; the null hypothesis is tested with data and a decision is made based on how likely or unlikely the data are. This is analogous to the legal principle of presumption of innocence, in which a suspect or defendant is assumed to be innocent (null is not rejected) until proven guilty (null is rejected) beyond a reasonable doubt (to a statistically significant degree).

In the hypothesis testing approach of Jerzy Neyman and Egon Pearson, a null hypothesis is contrasted with an alternative hypothesis and the two hypotheses are distinguished on the basis of data, with certain error rates.

Statistical inference can be done without a null hypothesis, by specifying a statistical model corresponding to each candidate hypothesis and using model selection techniques to choose the most appropriate model. (The most common selection techniques are based on either Akaike information criterion or Bayes factor.

[mihaild]

Плотность вероятности этой статистики зависит от реальной разности (например).
Дальше мы фиксируем некоторое семейство подмножеств прямой, направленное вниз по включению (т.е. линейно упорядоченное по включению, и для каждого множества в семействе есть его собственное подмножество).
Дальше берем гипотезу (множество значений разности), и для каждого зафиксированного подмножества считаем вероятность в него попасть.
Дальше берем минимальное по включению множество, в которое попадает наша посчитанная статистика, и смотрим максимальную вероятность в него попасть для распределений статистики, получающихся при нашей гипотезе. Если вероятность маленькая - гипотезу отвергаем (т.к. маловероятно попасть в такое множество, если она верна).

Это вроде бы самое общее описание всех статистических тестов.

[Geen]

Dan B-Yallay в сообщении #1342490 писал(а):

Так бы и сказали, что пользуетесь не Фишером

Так ведь как-раз именно Фишером пользуюсь.

[mihaild]

Оставлю текст выше, но пожалуй на всякий случай напишу по-русски.
Итак, у нас есть $H$ - множество распределений нашей статистики (например, разности выборочных средних). Мы фиксируем в нем $H_0 \subseteq H$ - множество распределений нашей статистики при условии, что настоящая разность удовлетворяет какому-то условию.
Мы фиксируем семейство $X$ подмножеств прямой, удовлетворяющее двум свойствам: $\forall x, y \in X: x \subseteq y \vee y \subseteq x$ и $\forall r \in \mathbb{R} \exists! x\in X: r \in x \wedge \forall y \in X: y \subsetneq x: r \notin x$ (для каждой точки есть наименьшее по включению множество, ее содержащее).

Из эксперимента мы получили значение статистики $s_0$. Мы берем наше минимальное содержащее $s$ множество $x$ и считаем $p = \max\limits_{h \in H_0} P(h \in x)$. Чем меньше $p$ - тем хуже данные согласуются с нашей гипотезой.

[ozheredov]

peripatetic
Допустим, я изобрёл самолёт и сконструировал его модель. Мне предлагают обдуть ее в аэродинамической трубе, или скажем присобачить к ней RC и устроить демонстрационный полет. Верно ли, что в случае успеха мой самолёт будет безопасен для полетов? Нет. Он может оказаться особо привлекательным для террористов, или эксплуатирующая его авиакомпания будет экономить деньги, используя низкоквалифицированных лётчиков. Однако: если моя модель провалит начальные испытания, можно будет однозначно сказать, что мой самолёт отстой. Тест на принятие НГ («нестандартная» терминология )) ) — это такой примитивный мальчик для битья, примитивный в силу того, что чаще всего НГ простая гипотеза, так что посчитать вероятность возникновения наблюдений из экстремального семейства, если текущее наблюдение принять за границу экстремальности, не составляет труда. Если тест пройден и НГ принята, значит рано ставить жирную точку. А если отвергнута — эксперимент показал, что сформулированное в НГ утверждение точно не верно, самолёт не взлетит

-- 30.09.2018, 01:24 --

mihaild в сообщении #1342491 писал(а):

линейно упорядоченное по включению

В смысле друг в друге сидят?

[Dan B-Yallay]

Geen в сообщении #1342492 писал(а):

Так ведь как-раз именно Фишером пользуюсь.

Так. Всё, я сдаюсь. Вы правы, Фишер именно так и работает. Приношу извинения Вам, Dmitriy40 которого я ненамеренно но упорно "заблудил" в 2-х соснах, а также и всем остальным, включая ТС.
Пошёл подтягивать матчасть.

[Geen]

mihaild в сообщении #1342491 писал(а):

Плотность вероятности этой статистики зависит от реальной разности (например).

Так нельзя - статистика (как функция) не зависит от неизвестных/измеряемых параметров.

mihaild в сообщении #1342491 писал(а):

Дальше берем гипотезу (множество значений разности), и для каждого зафиксированного подмножества считаем вероятность в него попасть.

Не понял - что такое "гипотеза"?

mihaild в сообщении #1342491 писал(а):

Дальше берем минимальное по включению множество, в которое попадает наша посчитанная статистика, и смотрим максимальную вероятность в него попасть для распределений статистики, получающихся при нашей гипотезе.

Если я, вдруг, правильно понимаю, то Вы предлагаете считать несколько разных статистик (и называете это "гипотезами"), а затем, как-то, сравнивать между собой их функции распределения (в некой точке)? И выбирать максимум?... Но зачем?

-- 30.09.2018, 01:34 --

mihaild в сообщении #1342493 писал(а):

множество распределений

А что это такое?