Теорема Байеса, как обратный закон больших чисел

[prof.uskov]

В книге Мизеса "Вероятность и статистика" теорема Байеса называется обратным законом больших чисел.
Под прямым ЗБЧ понимаются теоремы Бернулли и Чебышева.
Стиль книги Мизеса своеобразный, он объясняет математику без формул... что вот, типа, должно быть вот так и вот так... а формулы не приводит... В результате я читал-читал и так и не понял, как с помощью теоремы Байеса получить утверждение обратное теореме Бернулли.
Может быть, кто-нибудь знает о чем идет речь и может подсказать?

[Евгений Машеров]

Насколько я могу судить, речь идёт не об обращении теоремы в строго математическом смысле, а о практическом их применении. ЗБЧ сообщает нам, какие мы можем получить выборки при известных значениях параметров, а при помощи теоремы Байеса фон Мизес предлагает судить о значениях параметров, исходя из наблюдаемой выборки.

[epros]

Не знаю что может означать "обратный" ЗБЧ. Могу только предположить, что если "прямой" ЗБЧ утверждает, что при заданном распределении среднее арифметическое результатов независимых испытаний стремится к мат. ожиданию, то "обратный" ЗБЧ утверждает, что при распределении, заданном с точностью до неизвестного мат. ожидания, оценка этого мат. ожидания по Байесу представляется распределением с мат. ожиданием, равным среднему арифметическому результатов независимых испытаний, и дисперсией, стремящейся в пределе к нулю.

[Евгений Машеров]

Может быть, уточните, где именно это сказано? Можно сверить с оригиналом, возможно, там яснее.

[prof.uskov]

Евгений Машеров в сообщении #1293559 писал(а):

Может быть, уточните, где именно это сказано? Можно сверить с оригиналом, возможно, там яснее.

Книга Мизеса, как раз Вы давали ссылку http://www.twirpx.com/file/2404859/
Вот фрагмент его выводов:

[prof.uskov]

А вот тот кусочек про теорема Байеса - закон больших чисел...

[Евгений Машеров]

Это чисто его тараканынаучная концепция. Мизес, ища основания для теории вероятностей, отвергает наивный подход "равновероятности", представляющий собой, по сути, формализацию и беатификацию незнания (у нас нет оснований предпочитать одну грань другой - ergo, они равновероятны), и не желает переходить к аксиоматическому подходу, при котором теорвер становится частным разделом теории меры, а законы постулируются. Он хочет рассматривать теорию вероятностей, как естественно-научную дисциплину, уровня, скажем, физики, объект которой - "коллективы", совокупности одинаково ведущих себя объектов, для каждого из которых существует вероятность некоего события, одинаковая для каждого "члена коллектива". И эта вероятность существует объективно и может быть оценена. Ему недостаточно теоремы Бернулли, из которой следует, что если существует вероятность p, то частости к ней стремятся. Поскольку вероятность предполагается данной. А он не хочет ни "принимать равными", абсолютизируя незнание и равнодушие, ни вовсе выводить за пределы теории вероятностей задание их значений, делая теорвер "чистой математикой" (а он, Рихард фон Мизес, математик-прикладник, аэро- и гидродинамик, и даже разрабатывал свой самолёт, служа в ПМВ лётчиком-испытателем). И поэтому использует "обратное рассуждение" (что не делает его "обратной теоремой" в строго математическом смысле) - если у нас есть полученные на достаточно большой выборке частости, то они и есть вероятность (стремятся к ней по мере роста выборки). Байес тут, видимо, при том, что при любом задании вероятностей априорных гипотез о распределении истинного значения p (если это вероятности не обращаются в нуль) при росте объёма выборки апостериорные вероятности для истинного значения будут стремиться к единице.

[prof.uskov]

Евгений Машеров в сообщении #1293729 писал(а):

Байес тут, видимо, при том, что при любом задании вероятностей априорных гипотез о распределении истинного значения p (если это вероятности не обращаются в нуль) при росте объёма выборки апостериорные вероятности для истинного значения будут стремиться к единице.

Вот это я как раз и не совсем понял. Пожалуйста, а формулой это можете показать, как это происходит?

[epros]

prof.uskov в сообщении #1293775 писал(а):

Пожалуйста, а формулой это можете показать, как это происходит?

Обозначим буквой $a$ неизвестную нам вероятность события $A$. Обозначим как $p(a)$ априорную плотность распределения вероятностей соответствующих значений $a$ на отрезке $[0,1]$. Очевидно, что $P(A|a)=a$, $P(\neg A|a)=1-a$ - вероятности событию $A$ в отдельном испытании произойти или не произойти соответственно. Таким образом, вероятность событию $A$ произойти $m$ раз в $n$ независимых испытаниях равна $a^m (1-a)^{n-m}$. В соответствии с формулой Байеса, если это произошло, то апостериорная плотность распределения вероятностей $a$ получается перенормировкой выражения $a^m (1-a)^{n-m} p(a)$ по $a$.

Нетрудно убедиться, что эта апостериорная плотность распределения вероятностей при больших $n$ стремится к дельта-функции $\delta(a-\frac{m}{n})$.

[Евгений Машеров]

Логика, как я понимаю, такова: у нас есть теорема Бернулли, устанавливающая, что по мере роста количества испытаний частости приближаются к вероятностям. Но откуда берутся вероятности? Какое право мы имеем брать в качестве оценки вероятности частости? Почему не может оказаться, что наблюдённые частости получатся при других значения вероятностей? Если вероятности постулируются, то такой вопрос и не надо ставить, вероятности известны, и мы оцениваем, что может наблюдаться. Но постулирования фон Мизес желает избежать, как "наивного", основанного на незнании и безразличии постулирования равновероятности исходов, так и величественной абстракции "примем, что вероятности p(x)". И он постулирует только, что вероятности существуют, как физическое свойство "коллектива", для всех объектов которого вероятности события, которое рассматриваем, одинаковы. Их значения нам неизвестны, они могут рассматриваться, как случайная величина, характеристика наудачу выбранного коллектива. У нас есть априорное распределение этой величины, но мы не указываем его явно, себя не связываем конкретными значениями, требуя лишь, чтобы априорные вероятности не обращались в ноль для разных возможных значений параметра p. Тогда наблюдения за n элементами коллектива дают нам частости, и мы может утверждать, что для "истинной" вероятности p частости будут приближаться к истинному значению, так что условная вероятность получить наблюдаемую частость при значении p будет расти, а при отличном от наблюдаемой частости значении p будет падать, и вычисленная по Байесу апостериорная вероятности для $p=\frac m n$ будет стремиться к единице по мере роста числа испытаний n.

[prof.uskov]

Но все равно непонятно. Уже сама теорема Бернулли доказывается с помощью биномиального распределения, которое показывает, что при n стремящемся к бесконечности с вероятностью стремящейся к 1 событие появляется $m=pn$ раз.
Зачем городить огород с гипотезами, когда уже из теоремы Бернулли понятно, что при больших n вероятность выполнения всех других гипотез кроме $p=\frac m n$ стремится к 0?

Короче, все как-то тривиально оказалось...

[Евгений Машеров]

Если Вы говорите о "вероятностях гипотез", значит, Вы уже используете теорему Байеса.

[prof.uskov]

Евгений Машеров в сообщении #1293822 писал(а):

Если Вы говорите о "вероятностях гипотез", значит, Вы уже используете теорему Байеса.

Да... но я ожидал узнать что-то новое... а тут просто пересказ старой сказки наоборот... разочарование... :)

[Евгений Машеров]

Это попытка аккуратно обосновать давно и успешно применяемые вещи чем-то основательнее интуитивных соображений.

[prof.uskov]

Но фраза в книге Мизеса о том, что теорема Байеса является обратной по отношению к теореме Бернулли некорректна. Более правильно сказать, что на основе теоремы Байеса можно получит утверждение обратное тому, что утверждает теорема Бернулли.