Из ПУШКИ НА...

[cepesh]

$p_i$ -- это частота появления буквы в тексте?

[geomath]

Ну да, это частоты р(а), ..., р(я) во введенном тексте, т.е. количество каждой буквы, деленное на число их всех, считая все их повторения.

Добавлено спустя 4 минуты 47 секунд:

Вот контрольный пример, правда, посчитанный вручную.

Цитата:

Возьмем, например, предложение "Отношение длины окружности к диаметру обозначается греческой буквой пи". Его энтропия равна 4 с четвертью (4.248...), откуда пи равно "библейским" трем (3.00...).

[cepesh]

я добавил подсчет энтропии по вашей формуле.

[geomath]

Спасибо, cepesh. Еще бы указать единицу измерения этой энтропии: бит$/\sqrt2$.

[cepesh]

почему бит, а не байт?

[geomath]

Нет, в битах. Ведь байт - это 8 битов?

И еще, знаков бы после запятой в значении энтропии желательно побольше.

Добавлено спустя 3 минуты 39 секунд:

Не знаю, но можно было обыграть, что это про пи: энтропия или энтроПИя.

[cepesh]

мой вопрос был "почему?"

[geomath]

Потому что логарифм берется двоичный. Если, например, взять логарифм натуральный, то энтропия будет не в битах, а в натах.

Добавлено спустя 2 минуты 23 секунды:

А на $\sqrt2$ мы делим энтропию дополнительно, чтобы получалось пи.