Итак, напомню первую задачу и приведу ее конечное решение.
Mihaylo писал(а):
Задача первая. Имеется массив из

чисел:

. Все числа целые и принимают значения от 0 до

, где

. Необходимо пересчитать количество всевозможных комбинаций чисел при условии, что их сумма всегда равна некоторому числу

, где

.
Mihaylo писал(а):
Поэтому формула чуть упрощается:

Логарифм числа

- это есть энтропия.

Тут очень важно понять, что это за энтропия: известен размер массива

; известны значения, которые могут принимать числа массива (от 0 до

); и зафиксирована некоторая сумма чисел

.
Общеизвестна другая энтропия:

Если при известных

и

сообщить о величине суммы

, то энтропия уменьшится с

до

.
Огромнейший интерес представляет величина средней энтропии, приходящейся на один элемент массива

в двух отдельных случаях
а)

б)

Рассмотрим случай а) при некотором конечном значении

. В этом случае верхний предел суммы

устремится к нулю и выражение сильно упростится.

Хорошее выражение для взятия логарифма:

Использовав формулу Стирлинга-Муавра, получаем в конечном итоге

Заменив

на

, получим
энтропию первого центрального момента при

и конечном значении


При достаточно больших значениях

можно пользоваться приближенной формулой

Отмечу, что в исходной формулировке задачи рассматриваются только целые натуральные числа. Изменив формулировку, можно получить более общие выражения, но общий смысл остается прежним: центральные моменты распределения сами по себе имеют вычислимое количество информации (энтропии).