Почти дублирование, но в "Помогите разобраться" обвал задачек...
Возьмём последовательность десятичных цифр. Вычислим энтропию
где
- вероятность появления данной цифры.
Рассмотрим последовательность 01234567890123456789...
Вероятность появления каждой цифры уже после первого цикла становится
равной 0.1 и далее не меняется.
В тоже время вероятность появления данной цифры в десятичном представлении числа Пи
также довольно быстро становится равной 0.1.
Получается, что энтропия Шеннона случайной последовательности такая же,
как у строго детерминированной?
Из первоисточников понял, что надо переходить к условным вероятностям.
Но как грамотно это сделать?
! |
Предупреждение за дублирование тем! |