Итак, напомню первую задачу и приведу ее конечное решение.
Mihaylo писал(а):
Задача первая. Имеется массив из
чисел:
. Все числа целые и принимают значения от 0 до
, где
. Необходимо пересчитать количество всевозможных комбинаций чисел при условии, что их сумма всегда равна некоторому числу
, где
.
Mihaylo писал(а):
Поэтому формула чуть упрощается:
Логарифм числа
- это есть энтропия.
Тут очень важно понять, что это за энтропия: известен размер массива
; известны значения, которые могут принимать числа массива (от 0 до
); и зафиксирована некоторая сумма чисел
.
Общеизвестна другая энтропия:
Если при известных
и
сообщить о величине суммы
, то энтропия уменьшится с
до
.
Огромнейший интерес представляет величина средней энтропии, приходящейся на один элемент массива
в двух отдельных случаях
а)
б)
Рассмотрим случай а) при некотором конечном значении
. В этом случае верхний предел суммы
устремится к нулю и выражение сильно упростится.
Хорошее выражение для взятия логарифма:
Использовав формулу Стирлинга-Муавра, получаем в конечном итоге
Заменив
на
, получим
энтропию первого центрального момента при
и конечном значении
При достаточно больших значениях
можно пользоваться приближенной формулой
Отмечу, что в исходной формулировке задачи рассматриваются только целые натуральные числа. Изменив формулировку, можно получить более общие выражения, но общий смысл остается прежним: центральные моменты распределения сами по себе имеют вычислимое количество информации (энтропии).