Информационная энтропия

[sergey zhukov]

Одно из определений энтропии - это логарифм числа $N$ микросостояний $x_i$ $i=1...N$, реализующих данное макросостояние $X$.

Т.е. мы должны считать, что некоторое макросостояние $X$ системы может быть реализовано любым из множества $N$ микросостояний $x_i$ $i=1...N$. Тогда можно определить энтропию $S$ состояния $X$, как $S=\ln(N)$ (с точностью до множителя). Т.е. энтропия - это мера того, насколько состояние $X$ поливариантно.

Это определение верно, если все $x_i$ равновероятны. Ясно, что вероятность любого $x_i$ тогда равна $p=\frac{1}{N}$, т.е. $N=\frac{1}{p}$ и тогда $S=\ln(\frac{1}{p})$

Но для неравновероятных $x_i$, для которых для каждого $x_i$ соответствует своя вероятность $p_i$, предлагается считать некоторое эффективное количество состояний $\bar{N}$ по формуле:

$$\bar{N}=\big(\frac{1}{p_1}\big)^{p_1}\big(\frac{1}{p_2}\big)^{p_2}...\big(\frac{1}{p_N}\big)^{p_N}$$

Например тут

Эта формула ведет к формуле Шеннона для информационной энтропии. И если $p_1=p_2=...p_N=\frac{1}{N}$, то эта формула совпадает с предыдущей.

Я не могут понять, как получена эта формула для $\bar{N}$? На каких-то дискретных примерах это ведь можно показать?

[ozheredov]

sergey zhukov в сообщении #1558729 писал(а):

Но для неравновероятных $x_i$, для которых для каждого $x_i$ соответствует своя вероятность $p_i$,

число состояний равно количеству различных цепочек длины $N$, в которых ЧАСТОТА (заметьте, это не то же самое, что вероятность) появления исхода $x_i$ равна $p_i$. В таком разе, это число равно коэффициенту в полиномиальном распределении с исходами $x_i$, коих накопилось $Np_i$ для каждого типа. Логарифмируете => формула Стирлинга => устремление $N$ в бесконечность => геноцид медленно растущих членов => profit!

[sergey zhukov]

ozheredov
Кажется, что-то понял.

Допустим, имеем систему с тремя состояниями $x_1$, $x_2$ и $x_3$, вероятности которых не равны. Возьмем некоторую последовательную реализацию ее состояний длиной $N$. Она будет состоять из $N_1$ состояний $x_1$, $N_2$ состояний $x_2$ и $N_3$ состояний $x_3$. Причем $N_1+N_2+N_3=N$

Число различных перестановок состояний в этой последовательности равно:

$$R_N=\frac{N!}{N_1!N_2!N_3!}$$

Приближенная формула Стирлинга дает для этого выражения:

$$R_N\approx \Big(\frac{N}{N_1}\Big)^{N_1}\Big(\frac{N}{N_2}\Big)^{N_2}\Big(\frac{N}{N_3}\Big)^{N_3}\approx \Big(\frac{1}{p_1}\Big)^{N_1}\Big(\frac{1}{p_2}\Big)^{N_2}\Big(\frac{1}{p_3}\Big)^{N_3}$$

Это число перестановок состояний $x_i$ в последовательности длины $N$, и оно тем больше, чем больше $N$. Скажем, для равновероятных $x_i$ эта формула дает:

$$R_N\approx\Big(\frac{1}{p}\Big)^N$$

Нам нужно получить по сути число перестановок для последовательности длиной $N=1$. Для этого нужно извлечь из полученного результата корень $N$-ой степени. Тогда получаем:

$$R_1\approx \Big(\frac{1}{p_1}\Big)^{N_1/N}\Big(\frac{1}{p_2}\Big)^{N_2/N}\Big(\frac{1}{p_3}\Big)^{N_3/N}\approx\Big(\frac{1}{p_1}\Big)^{p_1}\Big(\frac{1}{p_2}\Big)^{p_2}\Big(\frac{1}{p_3}\Big)^{p_3}$$

[druggist]

sergey zhukov в сообщении #1558729 писал(а):

Я не могут понять, как получена эта формула для $\bar{N}$?

По определению. (https://ru.wikipedia.org/wiki/%D0%A1%D1 ... 0%BE%D0%B5 )

Что до интерпретации, то легко можно видеть, что $\bar{N} =N$ при $p_i=\frac{1}{N}$ и $\bar{N} < N$ при любом другом распределении $p_i$, т.е., N эффективно уменьшается(соответственно, логарифм)