Энтропия термодинамическая и информационная

[ellipse]

Не очень понимаю связь между энтропией термодинамической и информационной. Например, как определяется количество возможных состояний $\Omega$ для данного макросостояния в этой формуде $S=k*ln(\Omega)$?

Мне приходи в голову только, то что $\Omega$ как-то связана с мерой множества возможных пар значений (импульс; координата). В правильном направлении я думаю?

Вообще, какое-то необъективное определение энтропии. Например, для "демона" который знает состояние молекул в системе энтропия всегда равна 0?

Например, пусть сосуд объемом V с идеальным газом содержит одну идеальную молекулу которая имеет скорость v и массу m. Какова будет энтропия системы?

[AlexNew]

да, бред это все,

для информационной энтропии не понятно как определить макросостояние...

Цитата:

Мне приходи в голову только, то что как-то связана с мерой множества возможных пар значений (импульс; координата). В правильном направлении я думаю?

это про физическую? чем не нравятся стандартные определения макросостояний?

[epros]

AlexNew писал(а):

для информационной энтропии не понятно как определить макросостояние...

Как распределение по микросостояниям.

AlexNew писал(а):

это про физическую? чем не нравятся стандартные определения макросостояний?

А именно какие?

[AlexNew]

Цитата:

Как распределение по микросостояниям.

: )) вопрос как раз в том как определить макропараметры и макросостояния (распределение определяется после того как решити чего меряете).

я вам напишу все возможные комбинации 0 и 1, посчитаете распределение по микросостояниям ? и как следствие найдете макросостояние? : ))

Добавлено спустя 2 минуты 12 секунд:

Цитата:

А именно какие?

Канонический ансамбль например (полистайте статфизику)

[epros]

AlexNew писал(а):

Цитата:

Как распределение по микросостояниям.

: )) вопрос как раз в том как определить макропараметры и макросостояния (распределение определяется после того как решити чего меряете).

я вам напишу все возможные комбинации 0 и 1, посчитаете распределение по микросостояниям ? и как следствие найдете макросостояние? : ))

Вопрос был в том, как определяется понятие "макросостояние". Я сказал - как распределение вероятностей по микросостояниям. Откуда взять само это распределение - это уже другой вопрос. Например, в термодинамике для "равновесного" состояния это распределение считается равномерным по всем микросостояниям.

AlexNew писал(а):

Канонический ансамбль например (полистайте статфизику)

Это то же самое определение макросостояния, которое точка в точку совпадает с "информационным".

[AlexNew]

epros писал(а):

Вопрос был в том, как определяется понятие "макросостояние". Я сказал - как распределение вероятностей по микросостояниям.

Не понятно другое, в "информационным" случае, вообще говоря вероятность всех микросостояний будет одинакова для файлa, сигнала, предварительно сжатых - как обычно и бывает.

Получается что физическая величина зависит от способа ее записи, и понятие "макросостояние" не имеет смысла, распределение "однородное".

epros писал(а):

Это то же самое определение макросостояния, которое точка в точку совпадает с "информационным".

каким таким образом? в физическом случае у вас гамильтониан от координат и импульсов и температура входят в распределение называемое каноническим, как это вообще соотносится с "информационным" случаем?

[epros]

AlexNew писал(а):

Не понятно другое, в "информационным" случае, вообще говоря вероятность всех микросостояний будет одинакова для файлa, сигнала, предварительно сжатых - как обычно и бывает.

Что Вы имеете в виду? В несжатом фале процент "избыточной" информации выше, что, собственно, и позволяет его сжать.

AlexNew писал(а):

Получается что физическая величина зависит от способа ее записи, и понятие "макросостояние" не имеет смысла, распределение "однородное".

В смысле? Что зависит от способа записи? На физический диск "физически" поместится вполне определённое количество информации. Если файлы с полезной информацией предварительно сжать, то, конечно, их поместится больше. Но это только потому, что при записи файлов в несжатом виде мы записываем большое количество избыточной информации. Соответственно, для полезной остаётся меньше места.

AlexNew писал(а):

каким таким образом? в физическом случае у вас гамильтониан от координат и импульсов и температура входят в распределение называемое каноническим, как это вообще соотносится с "информационным" случаем?

А чему же там не соотноситься? Что такое "микросостояние"? Грубо говоря, это когда все механические параметры каждой молекулы заданы. Вот, скажем, у нас ящик с перегородкой посередине. Допустим, мы рассматриваем только один механический параметр молекулы: в какой половине ящика она находится. Пока весь газ в левой половине, ответ на вопрос про каждую конкретную молекулу "в какой она половине?", нам точно известен: в левой. Откроем перегородку, теперь ответ нам неизвестен. Можно сказать, что молекула находится в левой или правой половине с равной вероятностью.

[AlexNew]

epros писал(а):

Что Вы имеете в виду? В несжатом фале процент "избыточной" информации выше, что, собственно, и позволяет его сжать.

кавдая комбинация 0 и 1 - конкретное микросостояние,
что такое макросостояние если эти отдельные комбинации равновозможны?

epros писал(а):

А чему же там не соотноситься? Что такое "микросостояние"?

нет как макросостояние в физике соотносится с макросостоянием в "информационном случае".

повторюсь, у вас есть сжатый фаил или сигнал, вы архив скачиваете например (если послушать будет шум), как вы определите макросостояние?

Это я к тому что в информациооном случает нет смысла у понятия макросостояние, и вы его не сможите определить,
вероятности зависят от способа представления информации.

[epros]

AlexNew писал(а):

кавдая комбинация 0 и 1 - конкретное микросостояние,
что такое макросостояние если эти отдельные комбинации равновозможны?

Нет, не обязательно равновозможны. Это как раз зависит от ситуации, то бишь как раз от макросостояния. Скажем, Вы закодировали "Войну и мир" в виде азбуки Морзе (0 точка, 1 - тире) и записали в файл - каждый символ в одном байте. Допустим, Вам таким образом удалось заполнить весь диск (и ещё не всё поместилось). Что мы можем сказать о макросостоянии записи на диске, если мы не знаем, какое именно произведение на него записано, но зато знаем способ кодировки? На самом деле - очень много. Реально мы точно знаем состояние семи бит из каждых восьми. И это всё - избыточная информация (поскольку она не относится к содержанию того произведения, которое записано).

При упаковке архиватором большая часть этой избыточной информации будет удалена, тогда действительно все комбинации битов станут практически равновозможными.

AlexNew писал(а):

повторюсь, у вас есть сжатый фаил или сигнал, вы архив скачиваете например (если послушать будет шум), как вы определите макросостояние?

А это обратная ситуация: Мы что-то знаем о содержании записанного (может быть не всё), но мы также знаем, что избыточной информации на диске практически нет. В этом случае, если о содержании известно очень мало, то запись на диске для нас почти белый шум, энтропия максимальна. Но если о содержании известно много, то энтропия меньше на соответствующее количество информации, которую мы имеем о содержании.

AlexNew писал(а):

Это я к тому что в информациооном случает нет смысла у понятия макросостояние, и вы его не сможите определить

Я уже определил - как распределение вероятностей.

AlexNew писал(а):

вероятности зависят от способа представления информации

Вероятности зависят от того, что известно о записанных данных (включая способ их кодировки). Если неизвестно ничего, то распределение вероятностей по всем микросостояниям равномерное. Если кое-что известно, то уже имеем где-то вероятности меньше (может быть даже нулевые), а где-то - больше равномерных.

[AlexNew]

Цитата:

Вероятности зависят от того, что известно о записанных данных (включая способ их кодировки). Если неизвестно ничего, то распределение вероятностей по всем микросостояниям равномерное. Если кое-что известно, то уже имеем где-то вероятности меньше (может быть даже нулевые), а где-то - больше равномерных.

в том то и дело, информацию за наблюдением частиц в стакане вы можите записать поразному, лучше всего ее сжать для экономии места.

В результате у вас макросостояния будут разными для разных способов записи...
просто говоря это понятие не имеет смысла, это не теперетура

хотя! можно, например, обьем физический связать с минимальным количеством байтов необходимыв для записи данной информации, это и будет макропараметром : )
что еще можно придумать в качестве макропараметра?

[epros]

AlexNew писал(а):

в том то и дело, информацию за наблюдением частиц в стакане вы можите записать поразному, лучше всего ее сжать для экономии места.

В результате у вас макросостояния будут разными для разных способов записи...
просто говоря это понятие не имеет смысла, это не теперетура

Нет, макросостояние не зависит от способа записи. Содержательную информацию (т.е. не содержащую избыточности) сжать невозможно. Например, если всё, что Вы знаете о воде в объёме стакана, это только её полная энергия, то эта информация соответствует равновесному макросостоянию и описывается одним параметром - температурой.

AlexNew писал(а):

что еще можно придумать в качестве макропараметра?

Можно, например, описать макросостояние воды в стакане "средней температурой" по каждому из нескольких кубических сантиметров, составляющих объём стакана. Т.е. каждый кубический сантиметр полагается находящимся как бы в равновесном состоянии (обычно говорят "квази"-равновесное), но состояние воды в стакане в целом - неравновесное. В данном случае оно описывается значениями N параметров, и эту информацию, вообще-говоря, никак невозможно сжать без её потери.

[AlexNew]

Цитата:

Можно, например, описать макросостояние воды в стакане "средней температурой"

я про "информациооные макропараметры" все время говорил : )
у вас есть послед. ноликов и едичичек, какие тут макропараметры можно применить инвариантные относительно способа представления информации, например сжатия.
Как раз поэтому я и сказал что не имеют смысла макропараметры и след. распределения для "информац. случая"

[эдя псковский]

Ни фига не понял, но хочу заметить, что непрерывная величина т.е. с бесконечным количеством знаков после запятой требует бесконечного количества битов. Поэтому от них не убудет никогда. Может вам стоит заменить все это на механическую систему с дискретными состояниями?

[epros]

AlexNew писал(а):

Цитата:

Можно, например, описать макросостояние воды в стакане "средней температурой"

я про "информациооные макропараметры" все время говорил : )
у вас есть послед. ноликов и едичичек, какие тут макропараметры можно применить инвариантные относительно способа представления информации, например сжатия.
Как раз поэтому я и сказал что не имеют смысла макропараметры и след. распределения для "информац. случая"

Я Вас не понимаю. Те числа, которыми мы описываем макросостояние, и являются "несжимаемой информацией".

Добавлено спустя 45 секунд:

эдя псковский писал(а):

Ни фига не понял, но хочу заметить, что непрерывная величина т.е. с бесконечным количеством знаков после запятой требует бесконечного количества битов. Поэтому от них не убудет никогда. Может вам стоит заменить все это на механическую систему с дискретными состояниями?

Такие вещи обычно определяются с конечной точностью.

[druggist]

ellipse в сообщении #186507 писал(а):

Не очень понимаю связь между энтропией термодинамической и информационной. Например, как определяется количество возможных состояний $\Omega$ для данного макросостояния в этой формуде $S=k*ln(\Omega)$?

Мне приходи в голову только, то что $\Omega$ как-то связана с мерой множества возможных пар значений (импульс; координата). В правильном направлении я думаю?

Значит так, есть динамическая система (других в физике нет). Число независимых переменных в системе уравнений, описывающих эволюцию дс есть размерность фазового пространства системы. Разбиваем доступный объем фпс на "кубики" и следим долго-долго за тем сколько раз траектория пересечет каждый кубик. Отношение этого числа пересечений(естественно умноженное на время "пролета" кубика) к полному времени наблюдения за системой для каждого кубика называется микроскопической функцией распределения. Согласно постулату о равнораспределении в термодинамическом равновесии мфр постоянна для всех ячеек-кубиков или же микроскопических состояний дс и равна еденице, деленной на полное число кубиков -состояний. Тогда "информационная энтропия" это просто логарифм числа кубиков. Для уравнений механики. размерность фп есть произведение числа частиц на 6 (три координаты и три пр импульса одной частицы), в этом смысле, энтропия конечно "связана с мерой множества возможных пар значений (импульс; координата)"