2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Теория вероятностей: проверка гипотез
Сообщение07.10.2014, 18:37 
Заслуженный участник
Аватара пользователя


20/08/14
8062
Пусть есть три устройства $A$, $B$ и $C$, каждое из которых в результате испытания выдает $0$ или $1$. Мы не знаем вероятностей выпадения $0$ и $1$. Мы не знаем, независимы ли испытания. Мы не знаем, один ли закон распределения $0$ и $1$ для всех трех устройств или разные.

UPD: испытание - неопределимое понятие теории вероятностей, которое можно разъяснить на примерах. Например, для событий "выпадение орла" и "выпадение решки" испытание - бросок монеты. Когда я говорю "произведено одно испытание", я имею в виду, что произошло одно из двух событий - "устройство выдало $0$" или "устройство выдало $1$".

Мы хотим проверить гипотезу, что для всех трех устройств выполняется закон «испытания независимы друг от друга, и в каждом испытании выпадение $0$ и $1$ равновероятно».

Пусть устройство $A$ в ходе десяти испытаний выдало серию $1111111111$,
устройство $B$ – серию $0100101110$ и устройство $C$ – серию $0101010101$.
Вопрос: можем ли мы по какому-то критерию отвергнуть предложенную гипотезу для $A$ и/или $C$, но так, чтобы по аналогичному критерию не отвергнуть ее для $B$?

Достоверно отвергнуть ее мы не можем, потому что при независимых испытаниях и ненулевой вероятности выпадения $0$ и $1$ ни одна комбинация не является невозможной. Наверное, надо привязаться к низкой вероятности какого-нибудь события, связанного с выпадением $1111111111$, но не $0100101110$. Проблема в том, что найти такое событие никак не удается.

Например, можно сказать, что выпадение комбинации $1111111111$ в серии из десяти независимых испытаний с равновероятными $0$ и $1$ имеет вероятность $\frac{1}{1024}$, а эта вероятность слишком низка. Но штука в том, что и выпадение комбинации $0100101110$ (как и любой, подчеркиваю – любой – другой комбинации) в серии из десяти независимых испытаний с равновероятными $0$ и $1$ имеет вероятность $\frac{1}{1024}$. Что элементарно следует из теоремы умножения вероятностей.
Можно попытаться привязаться к количеству единиц. Например, сказать, что существует всего 11 комбинаций, в которых более восьми единиц, против 1013 комбинаций, в которых менее восьми, поэтому выпадение комбинации из десяти единиц маловероятно. Но непонятно, чем это рассуждение отличается от предыдущего («существует всего одна комбинация $0100101110$ и 1023 других комбинаций»). Или, например, от такого: существует всего 8 комбинаций, начинающихся с $0100101$, и 1016 комбинаций, которые начинаются иначе; поэтому выпадение $0100101110$ маловероятно.
Или, рассмотрим, например, комбинацию, выпавшую на устройстве $C$: $0101010101$. Здесь даже с количеством единиц все в порядке: пять единиц, точно по математическому ожиданию. Настораживает только строгая периодичность, заставляющая усомниться в независимости испытаний. Но – по какому критерию можно отбросить эту серию? Можно, конечно, сказать, что существует лишь 2 комбинации, в которых $1$ и $0$ следуют друг за другом строго периодично, и 1022 комбинации, где этот порядок нарушается, но – см. предыдущий абзац.

Я полагаю, не надо объяснять, что если заменить десять испытаний на десять в лохматой степени, ничего в вышеприведенных рассуждениях принципиально не изменится. Так что же – можем мы как-нибудь отвергнуть гипотезу для $A$ или $C$, не отвергнув ее для $B$? Или – произношу эти страшные слова – гипотеза о независимых испытаниях с двумя равновероятными исходами в принципе не проверяема?

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение07.10.2014, 18:59 
Заслуженный участник
Аватара пользователя


01/03/06
13626
Москва
А что вы здесь называете словами "одно испытание"?

 Профиль  
                  
 
 Posted automatically
Сообщение07.10.2014, 21:30 
Супермодератор
Аватара пользователя


20/11/12
5728
 i  Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
Причина переноса: формулы не оформлены $\TeX$ом

Anton_Peplov
Наберите все формулы и термы $\TeX$ом.
Инструкции по оформлению формул здесь или здесь (или в этом видеоролике).
См. также тему Что такое карантин, и что нужно делать, чтобы там оказаться.
После исправлений сообщите в теме Сообщение в карантине исправлено, и тогда тема будет возвращена.

 Профиль  
                  
 
 Posted automatically
Сообщение07.10.2014, 22:36 


20/03/14
12041
 i  Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение07.10.2014, 23:16 
Заслуженный участник
Аватара пользователя


20/08/14
8062
Brukvalub в сообщении #916214 писал(а):
А что вы здесь называете словами "одно испытание"?


Испытание - неопределимое понятие теории вероятностей, которое можно разъяснить на примерах. В результате испытания происходит (или не происходит) некоторое событие. Например, для событий "выпадение орла" и "выпадение решки" испытание - бросок монеты. Когда я говорю "произведено одно испытание", я имею в виду, что произошло одно из двух событий - "устройство выдало $0$" или "устройство выдало $1$".

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 02:33 
Заслуженный участник
Аватара пользователя


20/08/14
8062
Пришла в голову мысль: нужно использовать величины, для которых в случае упомянутой гипотезы известны математические ожидания. И показать, что в результатах устройств $A$ и $C$ эти величины сильно расходятся со своими матожиданиями. Так, для $A$ вполне подойдет величина "количество единиц". Величина же "количество пар вида $01$" (т.е. случаев, когда сразу за нулем идет единица, а не другой нуль) подойдет и для $A$, и для $C$. Для $A$ оно окажется существенно меньше матожидания, а для $C$ - существенно больше. А вот для $B$ - в самый раз. Как вам такая идея?

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 05:49 
Заслуженный участник
Аватара пользователя


20/08/14
8062
Родилась теорема.

Пусть в результате испытания может выпасть $0$ или $1$. Назовем лентой последовательность выпавших в результате испытаний нулей и единиц. Будем говорить, что упорядоченный набор нулей и единиц встречается в ленте, если несколько подряд идущих элементов ленты образуют этот набор. Например, в ленте $0111101$ набор $01$ встречается два раза, $11$ - три раза и $1111$ - один раз.

Теорема. Если все испытания независимы и в каждом выпадение $0$ и $1$ равновероятно, то вероятность встретить набор из $n$ элементов зависит только от $n$. Если все испытания независимы и выпадение $0$ и $1$ не равновероятно (но вероятности выпадения $0$ и $1$ не меняются от испытания к испытанию), то вероятность встретить набор из $n$ элементов зависит от $n$ и доли единиц в наборе (но не зависит от порядка элементов в нем).

Это и есть критерий. Если наборы, которые согласно гипотезе должны иметь равные вероятности, имеют существенно разные частоты - значит, гипотеза неверна.

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 10:17 
Заслуженный участник


12/09/10
1547
Есть такое понятие Колмогоровская_сложность

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 15:58 
Заслуженный участник
Аватара пользователя


01/03/06
13626
Москва
Anton_Peplov в сообщении #916425 писал(а):
Родилась теорема.

Пусть в результате испытания может выпасть $0$ или $1$. Назовем лентой последовательность выпавших в результате испытаний нулей и единиц. Будем говорить, что упорядоченный набор нулей и единиц встречается в ленте, если несколько подряд идущих элементов ленты образуют этот набор. Например, в ленте $0111101$ набор $01$ встречается два раза, $11$ - три раза и $1111$ - один раз.

Теорема. Если все испытания независимы и в каждом выпадение $0$ и $1$ равновероятно, то вероятность встретить набор из $n$ элементов зависит только от $n$. Если все испытания независимы и выпадение $0$ и $1$ не равновероятно (но вероятности выпадения $0$ и $1$ не меняются от испытания к испытанию), то вероятность встретить набор из $n$ элементов зависит от $n$ и доли единиц в наборе (но не зависит от порядка элементов в нем).

Это и есть критерий. Если наборы, которые согласно гипотезе должны иметь равные вероятности, имеют существенно разные частоты - значит, гипотеза неверна.

Вы бы сначала основам мат.статистики поучились, а уж потом теоремы "рожали". :D

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 16:44 


07/08/14
4231
Anton_Peplov в сообщении #916425 писал(а):
Назовем лентой

может лучше кортежем?

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 18:08 
Заслуженный участник


27/04/09
28128

(Оффтоп)

В принципе, когда подпоследовательности друг с другом конкатенируются друг к другу так прямо приписываются, их зовут строками. :-)

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 18:11 


07/08/14
4231

(Оффтоп)

так автор из строки берет упорядоченный конечный набор данных
Anton_Peplov в сообщении #916425 писал(а):
последовательность выпавших в результате испытаний нулей и единиц

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 18:31 
Заслуженный участник
Аватара пользователя


01/03/06
13626
Москва

(Оффтоп)

Тут на наших глазах в мат.статистику новые главы вписываются, а вы о терминологии волнуетесь! Несолидно получается...

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 18:42 


07/08/14
4231

(Оффтоп)

извиняюсь за невнимательность и за ошибку, дословно:
Anton_Peplov в сообщении #916425 писал(а):
Назовем лентой последовательность выпавших в результате испытаний нулей и единиц (1). Будем говорить, что упорядоченный набор нулей и единиц встречается в ленте, если несколько подряд идущих элементов ленты образуют этот набор.(2)

(1) лучше назвать строкой, а (2) - кортежем. но я не настаиваю.

 Профиль  
                  
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 19:04 
Заслуженный участник
Аватара пользователя


01/03/06
13626
Москва

(Оффтоп)

Цитируйте правильно! Я нигде про ленты не писал, "не нужно мне подбрасывать"!

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 16 ]  На страницу 1, 2  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group