Re: Комбинаторика vs теорвер

[Mihaylo]

Deggial: обсуждение выделено из темы Смысл моментов в формулах асимметрии, эксцесса и вариации.
Название темы дано несколько наугад. Тег оффтопа убран.
Замечания и предложения просьба писать в ЛС или в жалобы.

(цитата для связности)

_nobody в сообщении #841302 писал(а):

Добрый день.

Как известно, для случайной величины $X$ (пусть у нее существуют требуемые моменты) определяют такие числовые характеристики, как коэффициент асимметрии $\gamma_1=\frac{\mu_3}{\sigma^3}$, коэффициент эксцесса $\gamma_2=\frac{\mu_4}{\sigma^4}-3$ и коэффициент вариации $V=\frac{\sigma}{\mathrm{M}X}$, где $\mu_k=\mathrm{M}\left[\left(X-\mathrm{M}X\right)^k\right]$ — центральный момент $k$-ого порядка, $\sigma=\sqrt{\mathrm{D}X}=\sqrt{\mathrm{M}\left[\left(X-\mathrm{M}X\right)^2\right]}$ — среднеквадратическое отклонение.

Везде пишут смысл этих коэффициентов:

• коэффициент асимметрии — мера асимметричности: $\gamma_1=0$ в случае симметричности распределения относительно мат.ожидания, $\gamma_1<0$ в случае левой асимметрии (отн. мат.ожидания левый хвост длиннее правого), $\gamma_1>0$ в случае правой асимметрии (отн. мат.ожидания правый хвост длиннее левого),
• коэффициент эксцесса — мера остроты пика по сравнению с нормальным распределением: $\gamma_2=0$ в случае так называемого нормального эксцесса (в силу того, что у нормального распределения тоже $\gamma_2=0$), $\gamma_2<0$ в случае дефекта (т.н. отрицательный эксцесс, когда в окрестности моды более низкая и плоская вершина, чем у нормального распределения), $\gamma_2>0$ в случае эксцесса (т.н. положительный эксцесс, когда в окрестности моды более острый и высокий пик, чем у нормального распределения), хотя приведенная интерпретация не всегда верна.
• коэффициент вариации — еще одна (в списке: дисперсия, СКО, разброс, интерквартильный разборс и др.) мера рассеивания, разбросанности.

Но мне не доводилось встречать, где бы было описано, почему в формулах выбраны именно такие моменты и именно таких порядков, почему берется именно отношение этих моментов, а не другая операция? Может, есть какие книги, где об этом рассказывалось?

Тема старая, но на всякий случай сообщу о своих мыслях. Допустим имеется $n$ случайных чисел.
1. Если известен первый момент (среднее), то можно вычислить сумму $n$ чисел.
2. Если известны первый и второй моменты (среднее и дисперсия), то можно найти сумму $n$ чисел и сумму квадратов $n$ чисел.
3. Если еще вдобавок известен третий момент, то можно еще вычислить сумму кубов $n$ чисел.
4. По первым четырем моментам вычисляются суммы первой-четвертой степеней.
5. И так далее.

То есть можно говорить об однозначном соответствии моментов и сумм степеней чисел. Суммы степеней чисел - это интегральные характеристики массива чисел. Эти интегральные характеристики несут некоторую обобщенную (интегральную) информацию о массиве чисел. В одной из тем я пытался вычислить количество информации, но пока получены формулы только для количества информации, которую скрывает в себе первый момент (среднее). Дальше - сложности, с которыми мне пока трудно справиться.

[Евгений Машеров]

Mihaylo в сообщении #1047429 писал(а):

Тема старая, но на всякий случай сообщу о своих мыслях. Допустим имеется $n$ случайных чисел.
1. Если известен первый момент (среднее), то можно вычислить сумму $n$ чисел.
2. Если известны первый и второй моменты (среднее и дисперсия), то можно найти сумму $n$ чисел и сумму квадратов $n$ чисел.
3. Если еще вдобавок известен третий момент, то можно еще вычислить сумму кубов $n$ чисел.
4. По первым четырем моментам вычисляются суммы первой-четвертой степеней.
5. И так далее.

То есть можно говорить об однозначном соответствии моментов и сумм степеней чисел. Суммы степеней чисел - это интегральные характеристики массива чисел. Эти интегральные характеристики несут некоторую обобщенную (интегральную) информацию о массиве чисел. В одной из тем я пытался вычислить количество информации, но пока получены формулы только для количества информации, которую скрывает в себе первый момент (среднее). Дальше - сложности, с которыми мне пока трудно справиться.

По-моему, Вы открыли проблему моментов. Но Чебышев, Марков и Стильтьес успели раньше...

[Mihaylo]

Я занимаюсь немного другой тематикой, а именно: теорией информации.

[arseniiv]

…которая растёт из теории вероятностей.

[Mihaylo]

у меня она растет из комбинаторики, это очень важно

[arseniiv]

Она не может расти из одной только комбинаторики просто по определению информационной энтропии.

[Евгений Машеров]

Комбинаторный подход предполагает постулирование равноценности вариантов. В частности, их равновероятности. А это не так.
Естественный текст при равновероятности появления букв будет даже не "дыр бул щыр", а вообще какой-то ыРспЧ. В реальном тексте, и это используется теорией информации, скажем, для сжатия или криптографии, есть вероятности букв, вероятности ди- и триграмм (и более длинных последовательностей, но по ним статистику набирать сложнее).
А сам по себе первый момент (и любой иной момент) не несёт информации (хотя, восстановив по совокупности всех моментов распределение, можно посчитать его энтропию, соответственно - информацию в отдельном наблюдении)

[Mihaylo]

Евгений Машеров писал(а):

Комбинаторный подход предполагает постулирование равноценности вариантов. В частности, их равновероятности. А это не так.

Да, принято почему-то так считать. Однако вероятность - это частота, а частота в свою очередь - это отношение целых чисел (количеств комбинаций)... Вообще ВСЕ пошло из комбинаторики, но почему-то об этом забывают... И даже думают, что комбинаторику можно вывести из теории вероятности, а не наоборот.

-- 30.08.2015, 17:36 --

Обратите внимание на то, как в теме Количество комбинаций с ограничениями формулируется задача без привлечения понятий теории вероятности. Конечная цель той задачи - измерение количества информации, содержащейся в первом моменте (без знания распределения вероятностей!). Затем решалась такая же задача с двумя моментами.

[arseniiv]

Mihaylo в сообщении #1049285 писал(а):

Однако вероятность - это частота, а частота в свою очередь - это отношение целых чисел (количеств комбинаций)...

Вы повернули вещи с ног на голову. То, что количества исходов (всех или благоприятных) — всегда целые, никак не делает вероятностей отношениями целых чисел. Предел последовательности рациональных чисел может не быть рациональным, как ни странно.

Mihaylo в сообщении #1049285 писал(а):

Вообще ВСЕ пошло из комбинаторики, но почему-то об этом забывают... И даже думают, что комбинаторику можно вывести из теории вероятности, а не наоборот.

Стоит привести доказательство и к тому, и к этому.

Выразите парочку вероятностных понятий комбинаторно — информационная энтропия с самого начала определяется теоретико-вероятностно.

[Mihaylo]

(Оффтоп)

arseniiv писал(а):

Стоит привести доказательство и к тому, и к этому.

Чуть позже, ок?

[Mihaylo]

Евгений Машеров писал(а):

А сам по себе первый момент (и любой иной момент) не несёт информации

Ну согласитесь, что средний рост племени тумба-юмба 1,8 метра - о чем-то говорит...

[Евгений Машеров]

Сам по себе - ни о чём. Только после того, как мы узнаем о разбросе значений роста внутри человеческих групп и между ними. Но поскольку у нас такая информация уже есть, хотя бы неформализованная, мы может извлечь информацию и из сведений о росте.

[Mihaylo]

Средняя длина электромоноклов - 1 метр. Это говорит нам о том, какой длины будет следующий электромонокл?

[Евгений Машеров]

Нет. Если половина электромоноклов имеет длину 0, а половина 2 метра, то следующий может быть 0 или 2 метра с равными шансами. Если 99.99% 0 метров, а 0.01% 10000 метров, то следующий будет, скорее всего, 0 метров, но неожиданно найдётся 10000 метров. Если 1/3 случаев 0.5 и 2/3 случаев 5/4 метра, то ожидать надо 1.25 метра и т.д.

[Mihaylo]

Вы некорректно поставили задачу. Вы знаете об электромоноклах только их среднюю длину. Никаких вероятностей Вы не знаете. Теория Шеннона напрямую не работает. При этом Вы допускаете, что длина может изменяться от 0 до $\infty$.