2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу 1, 2  След.
 
 Теория вероятностей: проверка гипотез
Сообщение07.10.2014, 18:37 
Аватара пользователя
Пусть есть три устройства $A$, $B$ и $C$, каждое из которых в результате испытания выдает $0$ или $1$. Мы не знаем вероятностей выпадения $0$ и $1$. Мы не знаем, независимы ли испытания. Мы не знаем, один ли закон распределения $0$ и $1$ для всех трех устройств или разные.

UPD: испытание - неопределимое понятие теории вероятностей, которое можно разъяснить на примерах. Например, для событий "выпадение орла" и "выпадение решки" испытание - бросок монеты. Когда я говорю "произведено одно испытание", я имею в виду, что произошло одно из двух событий - "устройство выдало $0$" или "устройство выдало $1$".

Мы хотим проверить гипотезу, что для всех трех устройств выполняется закон «испытания независимы друг от друга, и в каждом испытании выпадение $0$ и $1$ равновероятно».

Пусть устройство $A$ в ходе десяти испытаний выдало серию $1111111111$,
устройство $B$ – серию $0100101110$ и устройство $C$ – серию $0101010101$.
Вопрос: можем ли мы по какому-то критерию отвергнуть предложенную гипотезу для $A$ и/или $C$, но так, чтобы по аналогичному критерию не отвергнуть ее для $B$?

Достоверно отвергнуть ее мы не можем, потому что при независимых испытаниях и ненулевой вероятности выпадения $0$ и $1$ ни одна комбинация не является невозможной. Наверное, надо привязаться к низкой вероятности какого-нибудь события, связанного с выпадением $1111111111$, но не $0100101110$. Проблема в том, что найти такое событие никак не удается.

Например, можно сказать, что выпадение комбинации $1111111111$ в серии из десяти независимых испытаний с равновероятными $0$ и $1$ имеет вероятность $\frac{1}{1024}$, а эта вероятность слишком низка. Но штука в том, что и выпадение комбинации $0100101110$ (как и любой, подчеркиваю – любой – другой комбинации) в серии из десяти независимых испытаний с равновероятными $0$ и $1$ имеет вероятность $\frac{1}{1024}$. Что элементарно следует из теоремы умножения вероятностей.
Можно попытаться привязаться к количеству единиц. Например, сказать, что существует всего 11 комбинаций, в которых более восьми единиц, против 1013 комбинаций, в которых менее восьми, поэтому выпадение комбинации из десяти единиц маловероятно. Но непонятно, чем это рассуждение отличается от предыдущего («существует всего одна комбинация $0100101110$ и 1023 других комбинаций»). Или, например, от такого: существует всего 8 комбинаций, начинающихся с $0100101$, и 1016 комбинаций, которые начинаются иначе; поэтому выпадение $0100101110$ маловероятно.
Или, рассмотрим, например, комбинацию, выпавшую на устройстве $C$: $0101010101$. Здесь даже с количеством единиц все в порядке: пять единиц, точно по математическому ожиданию. Настораживает только строгая периодичность, заставляющая усомниться в независимости испытаний. Но – по какому критерию можно отбросить эту серию? Можно, конечно, сказать, что существует лишь 2 комбинации, в которых $1$ и $0$ следуют друг за другом строго периодично, и 1022 комбинации, где этот порядок нарушается, но – см. предыдущий абзац.

Я полагаю, не надо объяснять, что если заменить десять испытаний на десять в лохматой степени, ничего в вышеприведенных рассуждениях принципиально не изменится. Так что же – можем мы как-нибудь отвергнуть гипотезу для $A$ или $C$, не отвергнув ее для $B$? Или – произношу эти страшные слова – гипотеза о независимых испытаниях с двумя равновероятными исходами в принципе не проверяема?

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение07.10.2014, 18:59 
Аватара пользователя
А что вы здесь называете словами "одно испытание"?

 
 
 
 Posted automatically
Сообщение07.10.2014, 21:30 
Аватара пользователя
 i  Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
Причина переноса: формулы не оформлены $\TeX$ом

Anton_Peplov
Наберите все формулы и термы $\TeX$ом.
Инструкции по оформлению формул здесь или здесь (или в этом видеоролике).
См. также тему Что такое карантин, и что нужно делать, чтобы там оказаться.
После исправлений сообщите в теме Сообщение в карантине исправлено, и тогда тема будет возвращена.

 
 
 
 Posted automatically
Сообщение07.10.2014, 22:36 
 i  Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение07.10.2014, 23:16 
Аватара пользователя
Brukvalub в сообщении #916214 писал(а):
А что вы здесь называете словами "одно испытание"?


Испытание - неопределимое понятие теории вероятностей, которое можно разъяснить на примерах. В результате испытания происходит (или не происходит) некоторое событие. Например, для событий "выпадение орла" и "выпадение решки" испытание - бросок монеты. Когда я говорю "произведено одно испытание", я имею в виду, что произошло одно из двух событий - "устройство выдало $0$" или "устройство выдало $1$".

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 02:33 
Аватара пользователя
Пришла в голову мысль: нужно использовать величины, для которых в случае упомянутой гипотезы известны математические ожидания. И показать, что в результатах устройств $A$ и $C$ эти величины сильно расходятся со своими матожиданиями. Так, для $A$ вполне подойдет величина "количество единиц". Величина же "количество пар вида $01$" (т.е. случаев, когда сразу за нулем идет единица, а не другой нуль) подойдет и для $A$, и для $C$. Для $A$ оно окажется существенно меньше матожидания, а для $C$ - существенно больше. А вот для $B$ - в самый раз. Как вам такая идея?

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 05:49 
Аватара пользователя
Родилась теорема.

Пусть в результате испытания может выпасть $0$ или $1$. Назовем лентой последовательность выпавших в результате испытаний нулей и единиц. Будем говорить, что упорядоченный набор нулей и единиц встречается в ленте, если несколько подряд идущих элементов ленты образуют этот набор. Например, в ленте $0111101$ набор $01$ встречается два раза, $11$ - три раза и $1111$ - один раз.

Теорема. Если все испытания независимы и в каждом выпадение $0$ и $1$ равновероятно, то вероятность встретить набор из $n$ элементов зависит только от $n$. Если все испытания независимы и выпадение $0$ и $1$ не равновероятно (но вероятности выпадения $0$ и $1$ не меняются от испытания к испытанию), то вероятность встретить набор из $n$ элементов зависит от $n$ и доли единиц в наборе (но не зависит от порядка элементов в нем).

Это и есть критерий. Если наборы, которые согласно гипотезе должны иметь равные вероятности, имеют существенно разные частоты - значит, гипотеза неверна.

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 10:17 
Есть такое понятие Колмогоровская_сложность

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 15:58 
Аватара пользователя
Anton_Peplov в сообщении #916425 писал(а):
Родилась теорема.

Пусть в результате испытания может выпасть $0$ или $1$. Назовем лентой последовательность выпавших в результате испытаний нулей и единиц. Будем говорить, что упорядоченный набор нулей и единиц встречается в ленте, если несколько подряд идущих элементов ленты образуют этот набор. Например, в ленте $0111101$ набор $01$ встречается два раза, $11$ - три раза и $1111$ - один раз.

Теорема. Если все испытания независимы и в каждом выпадение $0$ и $1$ равновероятно, то вероятность встретить набор из $n$ элементов зависит только от $n$. Если все испытания независимы и выпадение $0$ и $1$ не равновероятно (но вероятности выпадения $0$ и $1$ не меняются от испытания к испытанию), то вероятность встретить набор из $n$ элементов зависит от $n$ и доли единиц в наборе (но не зависит от порядка элементов в нем).

Это и есть критерий. Если наборы, которые согласно гипотезе должны иметь равные вероятности, имеют существенно разные частоты - значит, гипотеза неверна.

Вы бы сначала основам мат.статистики поучились, а уж потом теоремы "рожали". :D

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 16:44 
Anton_Peplov в сообщении #916425 писал(а):
Назовем лентой

может лучше кортежем?

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 18:08 

(Оффтоп)

В принципе, когда подпоследовательности друг с другом конкатенируются друг к другу так прямо приписываются, их зовут строками. :-)

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 18:11 

(Оффтоп)

так автор из строки берет упорядоченный конечный набор данных
Anton_Peplov в сообщении #916425 писал(а):
последовательность выпавших в результате испытаний нулей и единиц

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 18:31 
Аватара пользователя

(Оффтоп)

Тут на наших глазах в мат.статистику новые главы вписываются, а вы о терминологии волнуетесь! Несолидно получается...

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 18:42 

(Оффтоп)

извиняюсь за невнимательность и за ошибку, дословно:
Anton_Peplov в сообщении #916425 писал(а):
Назовем лентой последовательность выпавших в результате испытаний нулей и единиц (1). Будем говорить, что упорядоченный набор нулей и единиц встречается в ленте, если несколько подряд идущих элементов ленты образуют этот набор.(2)

(1) лучше назвать строкой, а (2) - кортежем. но я не настаиваю.

 
 
 
 Re: Теория вероятностей: проверка гипотез
Сообщение08.10.2014, 19:04 
Аватара пользователя

(Оффтоп)

Цитируйте правильно! Я нигде про ленты не писал, "не нужно мне подбрасывать"!

 
 
 [ Сообщений: 16 ]  На страницу 1, 2  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group