Почему работают законы физики?

[Dan B-Yallay]

epros в сообщении #1644104 писал(а):

Так вроде речь шла не о фиксированном приёмнике, а о зависимости информации от приёмника. И количество информации, как я понимаю, очень даже изменится, если приёмник пересмотрит свои оценки вероятностей.

Разумеется поменяется, потому, что это уже другой приёмник.

epros в сообщении #1644104 писал(а):

Для того, кто не знает секретных слов, информации о (не)нападении в этом сообщении точно нет. Хотя "на самом деле" она как будто есть.

Так тот, кто не знает секретных слов - тот и не является "официальным приёмником", которому предназначена эта информация. Просто наблюдатель со стороны.

Geen в сообщении #1644111 писал(а):

Согласен, но только уточню - "количество информации" бессмысленно без описания всей системы целиком (включая адекватность источника, грибы в канале/носителе и контузии приёмника)...

Кажется, уже технические детали, хотя и важные. Но спорить не буду.

[EUgeneUS]

Geen в сообщении #1644114 писал(а):

Какое отношение альтернатива имеет к "конверту" я не понял.

Пример с конвертом подразумевает навешивание, ака наличие, смыслов в сообщении. Поэтому в примере с конвертом Вы используете определение информации, которое подразумевает наличие смысла. А это в битах не измеряется.

Geen в сообщении #1644114 писал(а):

А Вы как символы определяете и на каком основании приписываете им какую-то информацию?

Описано выше. Но могу сжато, тезисно повторить:
1. Символы определяются и различаются по начертанию.
2. Ежели появление символов не является независимым, то это определяется стат. методами.
2.1. Ежели стат. методы показывают стат. значимость, то это и учтется стат. методами. Причем, может учесться только в сторону уменьшения информации. То есть оценка сверху в любом случае адекватна.
2.2. А ежели не показывают, то и учитывать не надо.
3. А ежели по начертанию мы не можем определить - это один, два или больше вариантов. То можно сделать оценки для всех вариантов. Это даст гораздо более широкий разброс оценки количества информации, но всё равно оценка будет иметь смысл.

-- 25.06.2024, 22:22 --

Geen в сообщении #1644114 писал(а):

А в азбуке Морзе всего два символа...

во-1х. В потоке битов два символа.
во-2х. В азбуке Морзе более чем два символа

(Оффтоп)

пусть такт - длительность одной "точки".
Тогда символы такие:
1. Точка. Потом обязательно пауза (см. ниже).
2. Тире - длительность три точки. Потом обязательно пауза (см. ниже).
2.1. Сигнал длительностью две точки - не бывает.
3. Паузы.
3.1. между элементами знака - длительность одна точка.
3.2. между знаками - длительность три точки.
3.3. пауз длительностью две точки не бывает.
4. Ещё бывают "спец. сигналы".
4.1. пауза длительностью шесть точек или более. Может использоваться, как "конец предложения".
4.2. сигнал длительностью шесть точек или более. Может использоваться, как "Ошибка в передаче. Буду передавать заново".

[Geen]

EUgeneUS в сообщении #1644119 писал(а):

Ежели стат. методы показывают стат. значимость, то это и учтется стат. методами.

Как там у Лема было? "Грозный Генька-генератор..." Для стат.методов нужна база много больше отдельного текста.

[EUgeneUS]

Geen в сообщении #1644124 писал(а):

Как там у Лема было? "Грозный Генька-генератор..."

Сильный аргумент. Можно ещё теорию струн обсудить со ссылками на "Далекую Радугу" Стругацких.

Geen в сообщении #1644124 писал(а):

Для стат.методов нужна база много больше отдельного текста.

Вы запретили лингвистам применять стат. методы к "Войне и Миру" Толстого, потому что "это отдельный текст"?

[Ghost_of_past]

Geen в сообщении #1644124 писал(а):

Для стат.методов нужна база много больше отдельного текста.

Зависит от размера текста и конкретных методов.

В маркетинговых исследованиях, к примеру, есть анализ сентимента: для самого анализа машинное обучение+анализ данных, а для составления "словарей" - методы математической и компьютерной лингвистики, статистики, эконометрики и математической социологии.

[Geen]

Ghost_of_past в сообщении #1644132 писал(а):

Зависит от размера текста и конкретных методов.

Зависит от задачи, прежде всего.
Дайте мне произвольный текст, и я сделаю архиватор, который сожмёт его в 1 (один) бит

[Ghost_of_past]

Geen в сообщении #1644136 писал(а):

Зависит от задачи, прежде всего.

Это само собой. Но в принципе для машинного обучения в том же самом анализе сентимента достаточно и одного, но большого текста.

Geen в сообщении #1644136 писал(а):

Дайте мне произвольный текст, и я сделаю архиватор, который сожмёт его в 1 (один) бит

Вот если в 0...

[Geen]

Ghost_of_past в сообщении #1644137 писал(а):

Но в принципе для машинного обучения

В принципе "машинного обучения" лежит датасет, независимый от... и достаточно объёмный для...
Иными словами, (обращаясь на этот раз к Конан Дойлю) из одной строчки "пляшущих человечков" нельзя извлечь никакой информации никакими стат.методами.
Стат.методы могут (не обязательно) помочь лишь если у нас есть корпус текстов на соответствующем языке с соответствующей лексикой.

-- 25.06.2024, 23:15 --

EUgeneUS в сообщении #1644129 писал(а):

Сильный аргумент. Можно ещё теорию струн обсудить со ссылками на "Далекую Радугу" Стругацких.

А это я ещё Льюиса Керрола не вспоминал...

[EUgeneUS]

Geen в сообщении #1644138 писал(а):

Иными словами, (обращаясь на этот раз к Конан Дойлю) из одной строчки "пляшущих человечков" нельзя извлечь никакой информации никакими стат.методами.

А её не нужно "извлекать". Она уже есть. Количество информации оценивается через относительные частоты символов.
Если же Вы имеете в виду знания, то есть "информацию со смыслом", то и из одной строчки пляшущих человечков в некоторых случаях можно извлечь смысл. Конечно, для этого нужно привлекать знания (и-или гипотезы) о контексте и дискурсе

Geen в сообщении #1644138 писал(а):

А это я ещё Льюиса Керрола не вспоминал...

Да, пожалуйста, вспоминайте, кто запретит. У меня в загашнике Гашек имеется

[Ghost_of_past]

Geen в сообщении #1644138 писал(а):

из одной строчки "пляшущих человечков" нельзя извлечь никакой информации никакими стат.методами

Из одной строчки семантический смысл - конечно нет. Из одного, но массивного текста - почему бы и нет? В компании, где я работаю, для этого типа анализа как раз использовались большие литературные романы для первичного обучения. Текст из 500-600 страниц в этом плане вполне неплох, хотя и не лишен недостатков, связанных прежде всего со стилистическим единообразием (которое обычно в таких произведениях встречается).

[EUgeneUS]

Ghost_of_past в сообщении #1644145 писал(а):

Из одной строчки семантический смысл - конечно нет.

А "семантический смысл" - это не "масло масляное"?

И из одной строчки пляшущих человечков можно добыть смысл, в отдельных случаях.
Я почему так уверенно утверждаю - где-то встречал, возможно в старых "Наука и жизнь" задачку на расшифровку именно что одной строчки, именно что пляшущих человечков

[Ghost_of_past]

EUgeneUS в сообщении #1644144 писал(а):

У меня в загашнике Гашек имеется

Лучше "Улисс" Джойса - совсем убойно.

EUgeneUS в сообщении #1644146 писал(а):

А "семантический смысл" - это не "масло масляное"?

Самую малость, хотя иногда целесообразно выделять так, ибо еще смыслами в языке частично занимается лексика и лексикология, и ономасиология/ономатология.

EUgeneUS в сообщении #1644146 писал(а):

И из одной строчки пляшущих человечков можно добыть смысл, в отдельных случаях.

Смысл добыть можно, но для полноценного анализа сентимента, о котором шла речь чуть ранее, этого не хватит. Приличного размера роман - другое дело.

[Geen]

Ghost_of_past в сообщении #1644145 писал(а):

Из одного, но массивного текста - почему бы и нет?

"Глокалось..."

Ghost_of_past в сообщении #1644151 писал(а):

Приличного размера роман - другое дело.

Ни манускрипт Войнича, ни узелковые "письмена" романами (с большой вероятностью) не являются....

[epros]

EUgeneUS в сообщении #1644107 писал(а):

epros в сообщении #1644094 писал(а):

Просто в этом конкретном месте не описан. "Не предложен" в смысле "вообще" - это слишком сильно сказано.

Так дайте ссылку, где предложен.

В формуле Шеннона. Там упоминается некое распределение вероятностей, которое нужно взять из вероятностной модели этого самого "смысла".

EUgeneUS в сообщении #1644107 писал(а):

epros в сообщении #1644094 писал(а):

Семантика по своей сути в некотором смысле является интерпретацией текстов множествами. Просто она далеко не всегда формализуется, поэтому нет смысла специально "изучать" её в рамках теории информации.

Об чём и речь - не всегда формализуется. Я бы сказал - далеко не всегда формализуется.

Где не нужно - не формализуется. А если нужно будет посчитать количество информации, то придётся формализовать.

EUgeneUS в сообщении #1644107 писал(а):

epros в сообщении #1644094 писал(а):

С чего бы это? Не вижу никаких проблем в том, чтобы считать их синонимами, с точностью до стилистических нюансов: когда нам нужно в каких-то специальных случаях отделить одни виды знаний (информации) от других.

Их нельзя считать синонимами, потому что это ведет к абсурдам. Это омонимы.

Не вижу никаких абсурдов.

EUgeneUS в сообщении #1644107 писал(а):

Текст из двадцати иероглифов, и все разные, даст очень широкую оценку. А текст из 100500 иероглифов 20-и различных типов даст гораздо более узкую оценку.

Он даст бессмысленную оценку, если Вы, не задумываясь, оцените вероятности частотами. Возможно, что эти 20 типов иероглифов на самом деле - просто элемент орнамента, повторяющегося через каждые 20 символов, потому что "так красиво". На самом деле, посмотрев на этот орнамент, Вы получите примерно нулевое количество информации, ибо вероятность каждому иероглифу находиться на своём месте равна примерно единице, а не $\frac{1}{20}$, как Вы посчитаете.

EUgeneUS в сообщении #1644107 писал(а):

Свобода в априорных предположениях нивелируется при наборе статистики. Например, при оценке эффективности вакцин по байесовскими методами, априори предполагается, не что вакцина нейтральна, а что сильно таки вредна (увеличивает вероятность заболевания).

Потому априорно и предполагается, что априорные предположения влияют на результат.

EUgeneUS в сообщении #1644107 писал(а):

epros в сообщении #1644094 писал(а):

Вывод, конечно же ни на чём не основан.

конечно же основан - на формуле Шеннона.

Ещё раз: Вывод о том, что в формуле Шеннона вероятности для редких символов окажутся такими, что ими можно пренебречь, ни на чём не основан.

EUgeneUS в сообщении #1644107 писал(а):

Считая, что сообщение $m$ состоит из символов $c_i$, имеет длину $N$, и вероятность появления символов независима

Откуда Вы взяли эти предположения? Вообще-то они из разряда того, из-за чего статистику заслуженно называют худшим вариантом наглой лжи. (вспомним крылатую фразу)

EUgeneUS в сообщении #1644107 писал(а):

Здесь суммирование производится по всем вариантам символов, которые встретились в сообщении.

А почему Вы пренебрегли теми символами, которые не встретились в сообщении? Если символ есть в алфавите, но почему-то не встретился в сообщении, то этот факт может нести важную информацию.

EUgeneUS в сообщении #1644107 писал(а):

Учет зависимости символов уменьшит оценку, но если это будет иметь статистическую значимость, то статистическими методами и учтется.

Как в случае с орнаментом из повторяющейся последовательности из 20 символов? Какими же "статистическими методами" Вы здесь сможете учесть тот факт, что вероятность такой комбинации близка к единице?

[realeugene]

Ghost_of_past в сообщении #1644137 писал(а):

Вот если в 0...

Тривиально.

-- 29.06.2024, 18:09 --

alesha_popovich в сообщении #1642957 писал(а):

Может быть и из таковских. Выше тут писали, что его вообще может быть нет. Вот с этим я не согласен. Но механизм, который есть, просто не поддается изучению и механизм, которого нет - это очень разные вещи.
Рано или поздно в изучении законов физики должен наступить момент, когда глубже понять уже не получится. Остаётся только принять то как оно есть. Но движение электрона - это слишком рано для такого момента, мне кажется.

Возвращаясь к теме.

Законы физики работают, потому что они подобраны человеком именно в таком виде, чтобы они работали. И наука, и религия делают какие-то предсказания относительно будущего. Но предсказания только науки основаны на многократно проверяемом опыте. Научная методология предполагает, что если мы десять раз кидали кирпич с какой-то силой под каким-то углом, и он попадал примерно туда, куда нам нужно, то, скорее всего, и на одиннадцатый раз, если мы кинем этот кирпич под этим же углом с такой же силой, он опять попадёт примерно туда же.

А вопросы типа существует ли кирпич, когда мы на него не смотрим, это уже не наука. Невозможно поставить проверочный эксперимент. Как и невозможно заранее предсказать, удастся ли "копнуть глубже", или нет. Удастся придумать эксперимент - удастся копнуть, не удастся придумать - не удастся копнуть.

И ещё. Для одного и того же набора экспериментов можно придумать различные математические модели, различимые или даже не различимые математически, но заведомо неразличимые экспериментально. Какая из этих моделей более "истинная", пока их нельзя различить - это вообще ни разу не вопрос науки. Какая удобнее - той и пользуйтесь. Единственная цель науки - это предсказывать будущее для человека. И пока модель с этой задачей справляется - она достаточно истинна. Равно и про внутренние механизмы. Пока у вас нет возможности их исследовать, у вас нет и возможности проверить свои модели. А значит, и отбросить какие-либо варианты вы не можете.