2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.



Начать новую тему Ответить на тему
 
 Энтропия Колмогорова
Сообщение27.03.2010, 21:09 
Аватара пользователя


22/09/08
174
Сейчас исследую одну прикольную хаотическую систему.
Её особенность в том, что она может находится только в конечном
числе состояний (как цифры числа Пи).
Как грамотно провести численный анализ энтропии Колмогорова?
Вот формальное определение (для момента дискретного времени $n$):
$\mathfrak{K}_n=-\sum\limits_{i_0...i_n} P_{i_0...i_n}lnP_{i_0...i_n}$
ЗдесьP_{i_0...i_n} - условная вероятность, что в момент 0 система находится в состоянии i_0,в момент 1 - в i_1 и т.д
Как то меня напрягли эти условные вероятности...

 Профиль  
                  
 
 Энтропия Колмогорова(Шеннона)
Сообщение29.03.2010, 20:36 
Аватара пользователя


22/09/08
174
Почти дублирование, но в "Помогите разобраться" обвал задачек...
Возьмём последовательность десятичных цифр. Вычислим энтропию
$K=-\sum _{i=1}^{{10}} p_i \log
   \left(p_i\right)$
где p_i- вероятность появления данной цифры.
Рассмотрим последовательность 01234567890123456789...
Вероятность появления каждой цифры уже после первого цикла становится
равной 0.1 и далее не меняется.
В тоже время вероятность появления данной цифры в десятичном представлении числа Пи
также довольно быстро становится равной 0.1.
Получается, что энтропия Шеннона случайной последовательности такая же,
как у строго детерминированной?
Из первоисточников понял, что надо переходить к условным вероятностям.
Но как грамотно это сделать?

 !  Предупреждение за дублирование тем!

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 2 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group