Энтропия термодинамическая и информационная

[Pi]

Вообще говоря существует два определения термодинамической энтропии, по Больцману и по Гиббсу. Они несколько различные и могут приводить к некотрым разным интерпретациям результатов и даже Второго закона термодинамики. Поэтому, даже в физике нет однозначности.
А связь между термодинамической и информационной энтропии очень простая. Подобное абзывается подобным образом. Когда Шеннон вывел свою формулу неопределенности информации он увидел что она похажа на Больцмана, или скоре на Гиббса - с которым она совпадает почти дословно - и обозвал ее темже словом.

[druggist]

При чем здесь Шеннон? Информационную(=статистическую) трактовку энтропии дал Больцман. На то он и гений, чтобы объяснять раньше всех связи и закономерности, которые через сто лет объявляют "очень простыми" Ни фига не простая, фантастически глубокая идея...

[Pi]

Энтропия вообще определение чисто статистическое, а вот связь с пропускной способностью канала, то что сейчас называется информационной энтропией строго дал Шеннон. Даже если сам Больцман пользовался словом информация, то именно Шеннон дал четкое критерие этого слова.

[druggist]

Pi в сообщении #200276 писал(а):

Энтропия вообще определение чисто статистическое,

Термодинамическая энтропия, которая наряду с внутренней энергией есть функция состояния тела - имеет чисто статистическое определение??? И какое же?

[Pi]

По Больцману который определял энтропию как логарифм числа микросостояний, реализующих данное макросостояние системы.

Гиббс определял энтропию через величины вероятности найти систему в данном состоянии в данный момент.

"Число" и "вероятность" в обоих определениях суть эквивалентные определения и определяются статистически.

Просто у Больцмана эта статистика плохо выраженна, у Гиббса очень хорошо. Шенноновское же определение суть гиббсоновское определение.

[druggist]

Да не определял Больцман энтропию как логарифм..., а дал статистическую трактовку,
определение энтропии дано Р. Клаузиусом:
S=Q/T, Q -количество теплоты, T - абсолютная температура

[Pi]

druggist в сообщении #200301 писал(а):

Да не определял Больцман энтропию как логарифм...

Ну это ты хватил:D , впервые слышу
вот нашел популярную ссылку
http://ru.wikipedia.org/wiki/%D0%A2%D0% ... 0%B8%D1%8F

[AlexNew]

druggist писал(а):

Значит так, есть динамическая система (других в физике нет). Число независимых переменных в системе уравнений, описывающих эволюцию дс есть размерность фазового пространства системы. Разбиваем доступный объем фпс на "кубики" и следим долго-долго за тем сколько раз траектория пересечет каждый кубик. Отношение этого числа пересечений(естественно умноженное на время "пролета" кубика) к полному времени наблюдения за системой для каждого кубика называется микроскопической функцией распределения. Согласно постулату о равнораспределении в термодинамическом равновесии мфр постоянна для всех ячеек-кубиков или же микроскопических состояний дс и равна еденице, деленной на полное число кубиков -состояний.

а как-же быть с кубиками в которых скорость = c , согласно постулату они стольже вероятны как и любые другие кубики
похоже на УФ катострофу излучении черного тела :- )

druggist писал(а):

Тогда "информационная энтропия" это просто логарифм числа кубиков.

Тут не понятно совсем про какие кубики вы говорите ?

[druggist]

AlexNew в сообщении #200463 писал(а):

druggist писал(а):

Логарифм числа состояний =числа кубиков. Определение информационной энтропии:
S= -сумма р log p по числу состояний, при р=1/N, где N -число состояний, имеем для энтропии S= log N

[Pi]

druggist в сообщении #200249 писал(а):

деленной на полное число кубиков -состояний. Тогда "информационная энтропия" это просто логарифм числа кубиков.

В теории информации и кодирование логарифм вероятности

$$I(cubics) =-\log\ P(cubics) = -\log \frac {number\ of\ cubics} {full\ number\ of\ cubics

называется просто количеством информации, а не "информационная энтропия". Энтропия это среднее количество информации

$$-\sum_{cubics}P(cubics)\log\ P(cubics)$$

.

[druggist]

Теперь я не пойму, что за кубики
Разбиваем s-мерное фазовое пространство динамической системы на ку..., пардон, s-мерные ячейки, сеточку такую накладываем...Пусть кол-во ячеек N ( фп конечно как и конечен размер ячейки).Траектория дс самым причудливым образом гуляет по фп. Через равные промежутки времени смотрим в какой ячейке оказалась точка - траектория дс. После продолжительного времени наблюдения у нас в каждой ячейке будет какое-то кол-во таких точек ( согласно постулату о равнораспределении одинаковое) Вероятность обнаружения дс в какой-либо из ячеек есть отношение количества точек в этой ячейке к полному кол-ву точек, равному полному числу интервалов времени наблюдения. В то же врямя согласно уже упомянутому замечательному
постулату о равнораспределении эта же вероятность равна 1/N. Поскольку вероятности всех состояний равны, то для информационной энтропии получаем S=Log N

[Pi]

Премер примитивный, в нем количество информации и среднее количество информации совпадает, I=E.

$$-\log\frac1 N = -\sum_{N}\frac1 N\log\frac1 N$$

. Поэтому их него ничего нельзя понять.

[Droog_Andrey]

Pi прав. Равенстсво, вообще говоря, не соблюдается. Оно - следствие эргодической гипотезы, которая на самом деле неверна, однако даёт хорошее приближение в термодинамических масштабах.