2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Энтропия Колмогорова
Сообщение27.03.2010, 21:09 
Аватара пользователя
Сейчас исследую одну прикольную хаотическую систему.
Её особенность в том, что она может находится только в конечном
числе состояний (как цифры числа Пи).
Как грамотно провести численный анализ энтропии Колмогорова?
Вот формальное определение (для момента дискретного времени $n$):
$\mathfrak{K}_n=-\sum\limits_{i_0...i_n} P_{i_0...i_n}lnP_{i_0...i_n}$
ЗдесьP_{i_0...i_n} - условная вероятность, что в момент 0 система находится в состоянии i_0,в момент 1 - в i_1 и т.д
Как то меня напрягли эти условные вероятности...

 
 
 
 Энтропия Колмогорова(Шеннона)
Сообщение29.03.2010, 20:36 
Аватара пользователя
Почти дублирование, но в "Помогите разобраться" обвал задачек...
Возьмём последовательность десятичных цифр. Вычислим энтропию
$K=-\sum _{i=1}^{{10}} p_i \log
   \left(p_i\right)$
где p_i- вероятность появления данной цифры.
Рассмотрим последовательность 01234567890123456789...
Вероятность появления каждой цифры уже после первого цикла становится
равной 0.1 и далее не меняется.
В тоже время вероятность появления данной цифры в десятичном представлении числа Пи
также довольно быстро становится равной 0.1.
Получается, что энтропия Шеннона случайной последовательности такая же,
как у строго детерминированной?
Из первоисточников понял, что надо переходить к условным вероятностям.
Но как грамотно это сделать?

 !  Предупреждение за дублирование тем!

 
 
 [ Сообщений: 2 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group