Почему работают законы физики?

[miflin]

(Оффтоп)

alesha_popovich
Направить заблудших физиков по столбовой дороге - задача благородная, достойная аплодисментов.
Как у вас с "направлялкой"? - образование, собственные значимые результаты, etc...

[epros]

EUgeneUS в сообщении #1644996 писал(а):

epros в сообщении #1644796 писал(а):

Не имеет значения, откуда берётся распределение, из стат. оценок или из какой-то теории.

Да, ладно. Вы же совсем недавно утверждали, что распределение (которое в формулу Шеннона подставляется) нужно знать.

Вот мы знаем, что монета падает равновероятно орлом или решкой. Откуда? Кто-то скажет, что в его жизненном опыте лежит богатая статистика бросания подобных монет, а кому-то достаточно и соображений симметричности. Без разницы.

EUgeneUS в сообщении #1644996 писал(а):

epros в сообщении #1644796 писал(а):

Оно и есть информация о предметной области.

Это просто информация, а не "о предметной области". Всякие разные статистики и оценки частотных распределений ничего не говорят о предметной области.

Не путайте статистики и частоты, которыми они оперируют, с вероятностями. Знание о том, что монета выпадает орлом или решкой равновероятно и независимо от результатов других бросков (откуда бы оно ни взялось), и является иформацией о предметной области, коей является процесс падения монеты.

EUgeneUS в сообщении #1644996 писал(а):

epros в сообщении #1644796 писал(а):

Вообще-то большинство файлов любой нормальный архиватор расширяет. Удивлены? Освежите свои знания об архиваторах.

Вообще-то в моей фразе подразумевалось, что архиватор обработает любой файл, и выдаст какой-то архив. А не вывалится с ошибкой "Кто вы такие, я вас не знаю". Сожалею, что неточность формулировки привела к неверному пониманию.
Ежели архиватор увеличит размер, то что? То у нас будет две оценки сверху, возьмем более строгую, делов-то.

Вообще-то я и не говорил о вываливаниях с ошибкой. Говоря об оценках количества информации с помощью архиватора, Вы привязываетесь к особенностям алгоритма архивации. Ваш опыт общения с полудюжиной известных Вам архиваторов говорит Вам, что они сжимают "примерно одинаково". Но на самом деле это только потому что они предназначены для сжимания примерно одного и того же. Алгоритм может быть такой, что неожиданно плохо сжимает какой-нибудь художественный текст, но зато неожиданно хорошо сжимает какие-нибудь совершенно непонятные Вам кракозябры. И это тоже будет архиватор.

EUgeneUS в сообщении #1644996 писал(а):

epros в сообщении #1644796 писал(а):

А то, что это бессмысленные результаты.

Тут игра словами. Результаты бессмысленные в том смысле, что никаких смыслов мы и не измеряли.
А измеряли количество информации, а не смыслы.
Ежели статметодами (включая криптографию) удалось взломать, то есть определить хэш функцию и подсолку, то да, поток можем сильно ужать и информации там окажется сильно меньше, чем "прямым" применением формулы Шеннона. А ежели не удалось, то мечтать не вредно, а ширину канала для передачи этого потока нужно готовить по формуле Шеннона и теореме Котельникова

Ещё раз: Никакими известными статметодами Вы не взломаете хеш-функцию, если просто не будете её знать. И это знание - ни что иное, как информация о предметной области. Вы ошибочно полагаете, будто тупые подсчёты каких-то частот, которые Вам может предложить статистика, принесут Вам некое "объективное" знание о сообщении. А вот ничего подобного. То, что Вы получите от сообщения, определяется Вашим знанием или незнанием некоего "шифра" - априорной вероятностной модели предметной области. Вот об этом, в частности, и формула Шеннона.

В подсчётах же частот примерно столько же смысла, сколько в том, чтобы поделить выраженную целым числом дату Вашего рождения на число пи, отбросить целую часть и результат посчитать за ту вероятность, которую мы должны подставить в формулу Шеннона.

EUgeneUS в сообщении #1644996 писал(а):

epros в сообщении #1644796 писал(а):

А попробуйте проделать это с ChatGPT. Я полагаю, что по первому же абзацу он Вам предскажет весь остальной текст.

А откуда ChatGPT узнает, что я передаю "Войну и мир"? А не что-то другое, где первый абзац "Войны и мира" используется как эпиграф.

Я просто предложил Вам эксперимент. Вы же хотели какими-то "статметодами" предсказать появление следующих символов по предыдущим? Это то самое, что и делают большие языковые модели. Вот и проверьте. А уж "откуда он узнает, что дальше первого абзаца Вы не решили передавать что-то другое" - это вопрос не ко мне.

EUgeneUS в сообщении #1644996 писал(а):

Концепт информации, как он вводится в Теории информации тем и прекрасен, что никаких размышлений о смыслах, знаниях и субъектах не требует.

Теория информации просто даёт количественную оценку на основании тех знаний о предметной области, которую несут заданные распределения вероятностей. Какой в этом "концепт", я не знаю.

EUgeneUS в сообщении #1644996 писал(а):

epros в сообщении #1644796 писал(а):

Точно так же, если Вы нашли достаточно длинный текст клинописью (которую не понимаете), но косвенные признаки позволяют Вам предположить что это - Эпос о Гильгамеше
, то глупо "статметодами" заниматься подсчётом частот отдельных символов и корреляций между ними, нужно сразу искать соответствующие слова на соответствующих местах, чтобы расшифровать эту клинопись.

Оценки "глупо или не глупо" - тут смысла не имеют. Ибо этот пример совершенно про другое, а именно про получение знаний и-или смыслов из текста клинописью. А это не является предметом Теории информации

Этот пример всё про то же: Что получаемая приёмником с сообщением информация (в том числе, её количество) зависит от априорной вероятностной модели предметной области, которую он имел.

EUgeneUS в сообщении #1645069 писал(а):

epros в сообщении #1644796 писал(а):

Статметоды ничего подобного не покажут. Если они основаны на неверных априорных предположениях, то просто тупо дадут неверные оценки, о чём Вы даже не узнаете.

Тут ерунда написана.

Не нужно Ваши "априорные предположения" считать абсолютным знанием, то есть приписывать им априорную вероятность равную единице или нулю.
А если этого не делать, то статметоды "всё покажут". Понятно, что на достаточно большой выборке.

Я не понимаю, о чём Вы пишете. Какие априорные вероятности должны быть "равны единице или нулю"? Ещё раз: Чтобы статметоды показали хоть что-то осмысленное, должны выполняться куча априорных допущений, первейшее из которых - эргодичность хоть чего-нибудь.

Вот ещё один пример: Имеем некий случайный процесс, в котором среднее значение некой величины линейно нарастает со временем, при этом в каждый момент возможны случайные отклонения этой величины от среднего значения по нормальному закону с некоей фиксированной дисперсией. Можете ли Вы статметодами, т.е. имея только одну последовательность реализаций значений этой случайной величины, найти её среднее значение? Какие дополнительные допущения при этом потребуются?

[EUgeneUS]

epros в сообщении #1645086 писал(а):

Вот мы знаем, что монета падает равновероятно орлом или решкой

Ниоткуда.
Честная монета - это ровно такая же модельная абстракция, как и материальная точка.
А про реальную монету ничего такого Вы знать не можете. Можете только предполагать с той или иной степенью уверенности.

epros в сообщении #1645086 писал(а):

Не путайте статистики и частоты, которыми они оперируют, с вероятностями.

А кто путает?

epros в сообщении #1645086 писал(а):

Знание о том, что монета выпадает орлом или решкой равновероятно и независимо от результатов других бросков (откуда бы оно ни взялось), и является иформацией о предметной области, коей является процесс падения монеты.

У Вас нет и не может быть такого знания про какую-либо реальную монету.

epros в сообщении #1645086 писал(а):

Алгоритм может быть такой, что неожиданно плохо сжимает какой-нибудь художественный текст, но зато неожиданно хорошо сжимает какие-нибудь совершенно непонятные Вам кракозябры. И это тоже будет архиватор.

И что? Если файл ужался, то есть описать закономерности в файле (по которым поток уосстанавливается полностью) потребовало меньше бит, чем размер исходного файла, то в файле была "избыточная информация", и количество информации в файле было меньше, чем его размер.
Чтобы сделать такой вывод не нужно привлекать смыслы и знания о предметной области.

epros в сообщении #1645086 писал(а):

Вы ошибочно полагаете, будто тупые подсчёты каких-то частот, которые Вам может предложить статистика, принесут Вам некое "объективное" знание о сообщении.

Вы с каким-то придуманным собеседником спорите. Я полагаю, что в рамках теории информации, для определения информации и подсчета её количества нам вообще не нужны знания о сообщении (в конексте предметной области).

-- 04.07.2024, 11:28 --

epros в сообщении #1645086 писал(а):

Теория информации просто даёт количественную оценку на основании тех знаний о предметной области, которую несут заданные распределения вероятностей. Какой в этом "концепт", я не знаю.

Теория информации никак не оперирует предметной областью сообщений. И не требует знаний о предметной области.

-- 04.07.2024, 11:33 --

epros в сообщении #1645086 писал(а):

Ещё раз: Чтобы статметоды показали хоть что-то осмысленное, должны выполняться куча априорных допущений, первейшее из которых - эргодичность хоть чего-нибудь.

Еще раз. Априорные допущения - это некоторые утверждения. Если Вы априорно утверждаете, что Ваша монетка идеальна, и это принимается с вероятность единица - то Вы и получите бред.
А если Вы утверждаете, что Ваша монетка идеальна с априорной вероятностью 0.9999, или что Ваша монетка отклоняется от идеальной не более чем на 0.0001%, то статметоды позволят опровергнуть эти утверждения (если они ложны) с той или иной степенью уверенности.

-- 04.07.2024, 11:37 --

epros в сообщении #1645086 писал(а):

Имеем некий случайный процесс, в котором среднее значение некой величины линейно нарастает со временем, при этом в каждый момент возможны случайные отклонения этой величины от среднего значения по нормальному закону с некоей фиксированной дисперсией. Можете ли Вы статметодами, т.е. имея только одну последовательность реализаций значений этой случайной величины, найти её среднее значение? Какие дополнительные допущения при этом потребуются?

Вы описали процесс, который моделируется линейной регрессией. Да, для применения линейной регрессии "в лоб" нужно некоторые дополнительные допущения. И что?

[epros]

EUgeneUS в сообщении #1645098 писал(а):

А про реальную монету ничего такого Вы знать не можете. Можете только предполагать с той или иной степенью уверенности.

Я не знаю, как Вы это назовёте, "знанием" или "предположениями с той или иной степенью уверенности", но в формулу Шеннона подставить какую-то вероятность, чтобы узнать количество информации, которое Вы получили, узнав, что она упала орлом, Вам придётся.

EUgeneUS в сообщении #1645098 писал(а):

У Вас нет и не может быть такого знания про какую-либо реальную монету.

Это просто удивительное заявление. Ибо у меня есть такое знание именно про реальную монету (точнее, про процесс её бросания), причём его достоверность примерно такая же, как у знания о том, что Солнце восходит каждое утро.

EUgeneUS в сообщении #1645098 писал(а):

Если файл ужался, то есть описать закономерности в файле (по которым поток уосстанавливается полностью) потребовало меньше бит, чем размер исходного файла, то в файле была "избыточная информация", и количество информации в файле было меньше, чем его размер.

Вы меня не слышите. Насколько ужмётся конкретный файл:
Это. Зависит. От. Архиватора.
И это не просто какая-то мелочь, которой можно пренебречь. Некоторые архиваторы могут сжимать именно этот файл буквально в нуль. И это тоже будут архиваторы.

EUgeneUS в сообщении #1645098 писал(а):

Чтобы сделать такой вывод не нужно привлекать смыслы и знания о предметной области.

Да, чтобы сделать неверный вывод, не нужно привлекать смыслы и знания о предметной области. А чтобы сделать верный вывод - о том, что получаемая "избыточность информации" зависит от алгоритма архивации - нужно привлекать знания о том, что алгоритмы архивации пишутся с учётом знаний о предметной области (т.е. о том, какие файлы нам будут встречаться чаще всего).

EUgeneUS в сообщении #1645098 писал(а):

epros в сообщении #1645086 писал(а):

Вы ошибочно полагаете, будто тупые подсчёты каких-то частот, которые Вам может предложить статистика, принесут Вам некое "объективное" знание о сообщении.

Вы с каким-то придуманным собеседником спорите. Я полагаю, что в рамках теории информации, для определения информации и подсчета её количества нам вообще не нужны знания о сообщении (в конексте предметной области).

Я спорю с собеседником, который меня не слышит. И это явно Вы. Ибо Вы не услышали, что согласно формуле Шеннона для подсчёта количества информации в сообщении нужно знать вероятность этого сообщения, которая берётся из модели предметной области, имеющейся на стороне приёмника. Это сугубо субъективная вещь, никакими подсчетами частоты встречаемости символов в самом сообщении она не определяется.

EUgeneUS в сообщении #1645098 писал(а):

Если Вы априорно утверждаете, что Ваша монетка идеальна, и это принимается с вероятность единица - то Вы и получите бред.
А если Вы утверждаете, что Ваша монетка идеальна с априорной вероятностью 0.9999, или что Ваша монетка отклоняется от идеальной не более чем на 0.0001%, то статметоды позволят опровергнуть эти утверждения (если они ложны) с той или иной степенью уверенности.

Вы о чём сейчас? О каких конкретно априорных допущениях? Что значит "монетка идеальна"?

EUgeneUS в сообщении #1645098 писал(а):

Вы описали процесс, который моделируется линейной регрессией. Да, для применения линейной регрессии "в лоб" нужно некоторые дополнительные допущения. И что?

Объясните, как Вы будете выводить линейную регрессию, и я задам Вам следующий вопрос: Откуда Вы взяли те исходные допущения, на которых основан этот вывод?

[EUgeneUS]

epros в сообщении #1645113 писал(а):

Это просто удивительное заявление. Ибо у меня есть такое знание именно про реальную монету (точнее, про процесс её бросания), причём его достоверность примерно такая же, как у знания о том, что Солнце восходит каждое утро.

Даже если у Вас есть АГСЧ у Вас нет знания, что он в точности эквивалентен честной монетке.

epros в сообщении #1645113 писал(а):

Я спорю с собеседником, который меня не слышит. И это явно Вы.

(Почти) очевидно, я Вас не слышу. Так как не использую озвучку экранных текстов
Но я вижу поток символов от Вас, как источника информации. И статистически обрабатываю.
Статистическая обработка показывает, что Ваши аргументы стали повторяться, и среднее количество информации на символ стало неуклонно снижаться. И это можно сжать, заархивировать, например так: "Аргумент №42".
А вот получил ли я из этого потока информации хоть какие-то знания, и смог ли воспринять хоть какой-то смысл - большой отдельный вопрос.

[Geen]

EUgeneUS в сообщении #1645144 писал(а):

среднее количество информации на символ стало неуклонно снижаться.

Формула Шеннона вдруг изменилась? Или частота букв поменялась?...
Или Вы просто не заметили, что сами себе стали противоречить?

[EUgeneUS]

Geen в сообщении #1645159 писал(а):

Формула Шеннона вдруг изменилась? Или частота букв поменялась?...

Если Вы внимательно читали мои сообщения, то заметили, что формулу Шеннона предлагается использовать для оценки количества информации. Соответственно, в неё подставляются оценки вероятностей.
И да, оценки вероятностей изменились с набором статистики.

Geen в сообщении #1645159 писал(а):

Или Вы просто не заметили, что сами себе стали противоречить?

Никаких противоречий.

[Geen]

EUgeneUS в сообщении #1645167 писал(а):

И да, оценки вероятностей изменились с набором статистики.

Частота букв поменялась?

[EUgeneUS]

Geen в сообщении #1645170 писал(а):

Частота букв поменялась?

А причем тут частота букв?

[Geen]

EUgeneUS в сообщении #1645180 писал(а):

А причем тут частота букв?

В самом деле, а при чём? частота букв и манускрипт Войнича?... или какая-нибудь клинопись?...
Там количество информации не поменялось, а здесь - здрассте...

[epros]

EUgeneUS в сообщении #1645144 писал(а):

Даже если у Вас есть АГСЧ у Вас нет знания, что он в точности эквивалентен честной монетке.

Эк Вы смело рассуждаете о том, чего я якобы не могу знать. Наверное, замороченность кантовской идеей ноуменов к этому приводит.

Но я вот знаю, представляете? Конечно, я допускаю, что некто может наловчиться так осторожно бросать монетку, что результат будет предсказуем. Но это не подходит под моё понятие "честной монетки". Я-то брошу монетку с подкручиванием, так что и сам не буду знать точного результата, и буду уверен, что Вы не будете знать. И это моё знание (про равновероятность и независимость от других бросков) - вполне себе знание.

Geen в сообщении #1645185 писал(а):

EUgeneUS в сообщении #1645180 писал(а):

А причем тут частота букв?

В самом деле, а при чём? частота букв и манускрипт Войнича?... или какая-нибудь клинопись?...
Там количество информации не поменялось, а здесь - здрассте...

Я вижу, что не слышат не только меня.

[EUgeneUS]

Geen в сообщении #1645185 писал(а):

В самом деле, а при чём? частота букв и манускрипт Войнича?... или какая-нибудь клинопись?...
Там количество информации не поменялось, а здесь - здрассте...

К сожалению, информация в Вашем сообщении указывает, что Вы невнимательно читали мои сообщения, или пропустили некоторые из них.
Например это

В котором русским по экрану написано:
1.

EUgeneUS в сообщении #1644107 писал(а):

Считая, что сообщение $m$ состоит из символов $c_i$, имеет длину $N$, и вероятность появления символов независима, получаем:

2.

EUgeneUS в сообщении #1644107 писал(а):

Учет зависимости символов уменьшит оценку, но если это будет иметь статистическую значимость, то статистическими методами и учтется.

А это означает, что оценка среднего количества информации на один символ может уменьшаться с набором статистики, даже при сохранении оценки частот отдельных символов.
И что?

-- 05.07.2024, 20:18 --

epros в сообщении #1645221 писал(а):

Эк Вы смело рассуждаете о том, чего я якобы не могу знать. Наверное, замороченность кантовской идеей ноуменов к этому приводит.

Тут мы упираемся в определение слова "знание" (кстати уже давно уперлись).
И что Вы понимаете под словом знание?
Полную и абсолютную уверенность, что какая-то реальная монетка - честная и является полным аналогом абстрактной честной монетки? Или уверенность, что какая-то реальная монетка - честная более 50%, в условиях экспериментов доступных "здесь и сейчас"? Или что-то другое?

-- 05.07.2024, 20:22 --

epros
Кстати,
1. В соседней теме возникла забавная и местами показательная дискуссия и обмен мнениями о предметной области.
2. В том же время в дочерней теме ведется дискуссия о применимости статметодов к набранной ТС статистике вообще без какого-либо обсуждения предметной области.
3. Причем
а) вторая, дочерняя тема на мой взгляд более содержательна
б) с тем, что для второй темы знания предметной области не важны, согласился, например, модератор, отделив одно от другого

[epros]

EUgeneUS в сообщении #1645280 писал(а):

Тут мы упираемся в определение слова "знание" (кстати уже давно уперлись).
И что Вы понимаете под словом знание?
Полную и абсолютную уверенность, что какая-то реальная монетка - честная и является полным аналогом абстрактной честной монетки? Или уверенность, что какая-то реальная монетка - честная более 50%, в условиях экспериментов доступных "здесь и сейчас"? Или что-то другое?

"Полной и абсолютной" уверенности, пожалуй, не бывает. Даже садясь на скамейку, можно предположить, что она под Вами вдруг исчезнет. Однако ж садимся, понадеявшись на то, что не исчезнет. Т.е. бывает знание, достоверности которого по нашему мнению достаточно для применения в какой-то практической ситуации. Так и с монетой: достаточно достоверного знания о том, как именно она упадёт, у меня нет, а вот достаточно достоверное знание о том, что модель равновероятных независимых друг от друга событий работает, есть.

EUgeneUS в сообщении #1645280 писал(а):

1. В соседней теме
возникла забавная и местами показательная дискуссия и обмен мнениями о предметной области.
2. В том же время в дочерней теме
ведется дискуссия о применимости статметодов к набранной ТС статистике вообще без какого-либо обсуждения предметной области.

Посмотрю на досуге.

-- Сб июл 06, 2024 10:45:52 --

epros в сообщении #1645319 писал(а):

EUgeneUS в сообщении #1645280 писал(а):

1. В соседней теме
возникла забавная и местами показательная дискуссия и обмен мнениями о предметной области.
2. В том же время в дочерней теме
ведется дискуссия о применимости статметодов к набранной ТС статистике вообще без какого-либо обсуждения предметной области.

Посмотрю на досуге.

Глянул по диагонали. Не особо хочется в это влезать, ибо Вы там явно взялись решать недопоставленную задачу. Чтобы поставить задачу нормально, нужно определить модели возможных саботажников, т.е. ответить на вопросы о том, какие они в принципе могут быть: "Саботажник" - это тот кто всегда стабильно выдаёт нуль? Он может быть только один или с некоторой вероятностью их может быть несколько? Раз идут разговоры о "маскировке" саботажника, значит ли это, что в целях "маскировки" кто-то из генераторов может постоянно выдавать единицу? Насколько вообще мы можем положиться на то, что срабатывания генераторов независимы друг от друга и от своих предыдущих срабатываний?

В общем, так или иначе, нам нужна та самая вероятностная модель предметной области, о которой я уже неоднократно говорил в этой теме. Если она будет, то по выборке можно будет оценить вероятности реализации тех или иных гипотез (например, гипотезы о том, что хотя бы один саботажник существует). Исходя их предположения, что "может быть что угодно", Вы "чисто по выборке" не определите ни-че-го.

[realeugene]

epros в сообщении #1645319 писал(а):

В общем, так или иначе, нам нужна та самая вероятностная модель предметной области, о которой я уже неоднократно говорил в этой теме. Если она будет, то по выборке можно будет оценить вероятности реализации тех или иных гипотез (например, гипотезы о том, что хотя бы один саботажник существует). Исходя их предположения, что "может быть что угодно", Вы "чисто по выборке" не определите ни-че-го.

Ну почему же, по выборке там можно сильно усомниться в нулевой гипотезе - что это выборка биномиального распределения. А лажа, конечно, может иметь любые причины, и там, скорее, нужна физика, а не математика, чтобы её раскопать.

[epros]

realeugene в сообщении #1645334 писал(а):

Ну почему же, по выборке там можно сильно усомниться в нулевой гипотезе - что это выборка биномиального распределения. А лажа, конечно, может иметь любые причины, и там, скорее, нужна физика, а не математика, чтобы её раскопать.

Чтобы усомниться в "нулевой" гипотезе, нужна хоть какая-то альтернативная гипотеза. Если предметная область определена так, что саботажников нет, то хоть обвыбирайся, обнаружить саботажника не получится, просто будет получаться, что нам "не повезло" с выборкой.