Информативность (количество информации) распределения вероятности непрерывной величиныВ учебниках по теории информации принято рассматривать распределение вероятности
неограниченной непрерывной величины. Это неправильный подход, который приводит лишь к понятию дифференциальной энтропии, которое является искусственным. Дифференциальная энтропия не является энтропией распределения вероятности непрерывной величины.
Непрерывная величина должна быть ограничена, иначе априорная и апостериорная энтропии, а также количество информации будут равны бесконечности. Рассмотрим случайную величину

на отрезке
![$[X_1;X_2]$ $[X_1;X_2]$](https://dxdy-04.korotkov.co.uk/f/b/8/3/b830f7036904623ecfbafc0f18ba62c582.png)
.
Используем меру Шеннона для дискретной случайной величины

Разобьем отрезок
![$[X_1;X_2]$ $[X_1;X_2]$](https://dxdy-04.korotkov.co.uk/f/b/8/3/b830f7036904623ecfbafc0f18ba62c582.png)
на малые отрезки

, где

. Тогда

, где

- распределение плотности вероятности величины

.
![$h(x)=-\sum\limits_{x}F(x)\cdot \Delta\cdot\log [F(x)\cdot \Delta]=$ $h(x)=-\sum\limits_{x}F(x)\cdot \Delta\cdot\log [F(x)\cdot \Delta]=$](https://dxdy-01.korotkov.co.uk/f/4/f/f/4ffc172846c6830f2bed6dbd33a900d882.png)




,
где по условию нормировки

.
Компоненту

при неограниченном

называют дифференциальной энтропией.
Вернемся к ограниченной величине

и рассмотрим количество информации, а не энтропию
![$i(x)=h_0(x)-h(x)=\lim\limits_{M\to\infty}(\log M) - [-\int\limits_{X_1}^{X_2}F(x)\cdot\log F(x)\cdot dx-\lim\limits_{M\to\infty}(\log\Delta)]=$ $i(x)=h_0(x)-h(x)=\lim\limits_{M\to\infty}(\log M) - [-\int\limits_{X_1}^{X_2}F(x)\cdot\log F(x)\cdot dx-\lim\limits_{M\to\infty}(\log\Delta)]=$](https://dxdy-02.korotkov.co.uk/f/5/d/e/5de9a8f6b220cf49f8a6f127804654df82.png)


Полученное выражение является
количеством информации распределения непрерывной величины. Можно рассчитать количество информации для различных законов распределений

, но только не для нормального, экспоненциального и др., т.к. в этих случаях величина не является ограниченной.
Практически можно выбрать такие значения

и

, при которых вероятности

и

будут практически равны нулю. Данный факт можно считать
вероятностной ограниченностью величины

, при таких значениях

интеграл

также практически равен нулю.