2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3
 
 
Сообщение14.04.2009, 14:34 


19/11/08
347
Хорошо вот определение энтропии числа:
Информационная энтропия

Цитата:
Информационная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле:
Изображение


Подставляем p(i) = 1/n (здесь n-основание системы счисления)

Информационная энтропия = -n*(1/n)*log2(1/n) = log2(n)
Оно-же совпадает с определением собственной информации.

Откуда тогда взялось вот это Изображение ? ( из Плотность записи в позиционных системах счисления)

Забыли просуммировать и взяли энтропию только одного состояния (знака)?

Или надо считать, что число приняло своё фиксированное значение и это будет энтропия одного конкретного его состояния?

Но если у нас энтропия одного состояния(знака) принимает максимальное значение (в системе счисления с основанием e) ... то это означает, что это как раз худшая из возможных систем счисления - ибо на один знак тут приходится максимальное количество информации и его искажение ,при передаче, нанесёт максимальный ущерб.

 Профиль  
                  
 
 
Сообщение14.04.2009, 15:05 


18/09/08
425
Андрей АK в сообщении #204680 писал(а):
Этот вопрос я постоянно задавал, но вы его не поняв начали изобличать.

Поскольку вы как детё пяти лет что нахваталось всяких слов перехожу на язык "яблоков и грибочков".
Скажем, У нас есть 20 знаков (двадцать разноцветных яблочек) собранных в кучки по количеству равным основанию системы счисления (по цветам), и кучки не содержат одинаковых цифр (все цвета в кучке разные).
Сколько всего можно записать разных чисел используя по одной цифре из каждой кучки?

Если у нас десятичная система счисления, то у нас есть две кучки по десять цифр 0123456789,0123456789. И получается всего 100 разных чисел мы можем записать.
Для двоичной сичтемы у нас есть десять кучек по две цифры 01,01,01,01,01,01,01,01,01,01. И получается 2^10=1024 разных числа. То есть больше чем в десятичной.
В троичной унас есть семь кучек по три цифры, но последняя не полная кучка 012,012,012,012,012,012,01. И мы можем записать 2*3^6=1458 разных чисел. Это больше чем в двоичной систме счисления!
Для четверичной есть пять кучек по четыре цифры 0123,0123,0123,0123,0123. И получается 4^5=1024 разных числа. То есть чтолько же как и в двоичной.
Для унарной (одноичной) системы счисления у нс есть двадцать кучек по одному элементу 1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1. И получается 20 чисел, поскольку в этой системе разрешается не брать из некотрых кучек.

Если вы и это не поняли то вам меньше пяти лет, и вы конечно гений, потому-что никому из более старшего возраста это не надо было объяснять поскольку это ну уж элементарней некуда.
-------------------------------------------------------------
Модератор, вот посмотри эти перлы которыми этот незнайка общается со знающими образованными людьми
Андрей АK в сообщении #203758 писал(а):
Для особо тупых, объясняю по слогам:

Андрей АK в сообщении #203696 писал(а):
Судя по вашему комменту - вы сами ничего не поняли

Андрей АK в сообщении #203773 писал(а):
когда люди сами чего-то не понимают, т

Андрей АK в сообщении #204574 писал(а):
потому-что не разобрались или чего-то не понимаете) , а раз так то не надо тут плодить тексты

и тд.
Отсюдо видно что он первый перешел на личности.

Добавлено спустя 10 минут 40 секунд:

Андрей АK в сообщении #204787 писал(а):
Откуда тогда взялось вот это ?

Ну и как вы читаете? Написанно же что инфармационная энтропия равна $$n\frac{\ln b}{b}$$ ,то и есть просто суммаH \left( X \right) = E \left( I \left( X \right) \right) = -\sum_{i=1}^np(i)\log p(i) , а плотность это производная по n - поэтому он и исчезает.

А иформация мерится не только в битах, но и в натах, и вообще основание логарифма может быть любое, его значение никак не определенно в определении энтропии
H \left( X \right) = E \left( I \left( X \right) \right) = -\sum_{i=1}^np(i)\log p(i)
То что часто используются биты так это и есть привязка к системе счисления используемой в компьютерах и в линиях связи.

И вообще учиться по википедии я вам крайне не рекомендую, википедия есть справочник в которой некотрые материалы далеко не полны, она полезна для справочного материала уже знающих людей, как дополнение к регулярному учебнику.

 Профиль  
                  
 
 
Сообщение14.04.2009, 15:12 


29/09/06
4552
Pi в сообщении #204602 писал(а):
Модератор ты конечно прав в отношении меня
Pi в сообщении #204790 писал(а):
Модератор, вот посмотри
А чо, ты с ним на "ты"? Кабы я с ним пивко пил, давно бы всех забанил! :D

 Профиль  
                  
 
 
Сообщение14.04.2009, 16:34 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
 !  Pi,
правила форума запрещают комментировать решения модераторов и обсуждать их в тематическом разделе. Либо пишите свои предложения в "Работу форума", либо ЛС.

Ваш оппонент, возможно, выражается и не всегда идеально вежливо, но это не повод Вам хамить в его адрес. Если хотите что-то ему объяснить - делайте это вежливо. Не хотите или не можете - оставьте тему в покое.

И оставьте также свою фамильярность в обращениях ко мне, здесь это не принято.

 Профиль  
                  
 
 
Сообщение14.04.2009, 17:31 


18/09/08
425
1. Это правила русского языка после имени пишут обычно второе лицо единственного числа. Ник это имя, но я не знал что у модераторов это фамилия. Вот и писал по инерции.

2. Извените, не знал что Андрей АК имеет другие правила чем остальные учатники форума. То есть ели он меня назвал особо тупым (подчеркиваю это и это осталось без ответа) в начале нашего общения ,
Андрей АK в сообщении #203758 писал(а):
Для особо тупых,

то он имеет на это полное право и это называется просто "не идеально вежливо" и все, а если я его в ответ, то у меня общие правила. Если он хамил в мой адрес и оскорблял, то все нормально.

 Профиль  
                  
 
 
Сообщение14.04.2009, 17:37 


19/11/08
347
Pi писал(а):
Если у нас десятичная система счисления, то у нас есть две кучки по десять цифр 0123456789,0123456789. И получается всего 100 разных чисел мы можем записать.
Для двоичной сичтемы у нас есть десять кучек по две цифры 01,01,01,01,01,01,01,01,01,01. И получается 2^10=1024 разных числа. То есть больше чем в десятичной.
В троичной унас есть семь кучек по три цифры, но последняя не полная кучка 012,012,012,012,012,012,01. И мы можем записать 2*3^6=1458 разных чисел. Это больше чем в двоичной систме счисления!
Для четверичной есть пять кучек по четыре цифры 0123,0123,0123,0123,0123. И получается 4^5=1024 разных числа. То есть чтолько же как и в двоичной.
Для унарной (одноичной) системы счисления у нс есть двадцать кучек по одному элементу 1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1. И получается 20 чисел, поскольку в этой системе разрешается не брать из некоторых кучек.

Вот это и есть заблуждение, оставшееся со времён освоения чисел (в детстве).
То что вы написали - это не позиционная система счисления.
У вас получается, что порядок "кучек" не имеет значения - поэтому их и стало возможным суммировать.
Особенно это очевидно на примере "унарной" системы счисления - для позиционных систем такой пример был бы невозможен (поскольку любой логарифм единицы равен нулю).
А "унарная" - это класс систем счисления в которые входят ,например, "Римские цифры".
Т.е. вы переносите на позиционную систему счисления правила к ней неприменимые (в частности умножаете основание на количество разрядов).
В позиционной же системе счисления складывать надо логарифмы, потому-что количество чисел ,которые можно записать при её помощи пропорционально не сумме, а произведению оснований.

 Профиль  
                  
 
 
Сообщение14.04.2009, 18:08 


18/09/08
425
Андрей АK в сообщении #204828 писал(а):
Вот это и есть заблуждение, оставшееся со времён освоения чисел (в детстве).
То что вы написали - это не позиционная система счисления.

А где там хоть слово написанно об позиционной системе счисления, там любая система счисления рассматривается!
Pi в сообщении #204790 писал(а):
Скажем, У нас есть 20 знаков (двадцать разноцветных яблочек) собранных в кучки по количеству равным основанию системы счисления (по цветам), и кучки не содержат одинаковых цифр (все цвета в кучке разные).
Сколько всего можно записать разных чисел используя по одной цифре из каждой кучки?

Опять вы прочли не то что написанно!!
Андрей АK в сообщении #204828 писал(а):
"унарной" системы счисления - для позиционных систем такой пример был бы невозможен

Вот именно!! Поэтому она и приведенна как пример непозиционной системы счисления! Там не надо представлять ее как позиционную, а просто как сумму единиц 1+1+1+1+....
Основание системы счисления, не обязательно должно быть основанием логарифма!!! Например, система счисления на основе чисел фибоначи, нега-позиционные и др. и тд.
Андрей АK в сообщении #204828 писал(а):
У вас получается, что порядок "кучек" не имеет значения

Вот именно, мы сдесь рассматриваем потенциальное количество различных чисел, а не конкретные числа, только тогда там важен порядок.

Андрей АK в сообщении #204828 писал(а):
В позиционной же системе счисления складывать надо логарифмы, потому-что количество чисел ,которые можно записать при её помощи пропорционально не сумме, а произведению оснований.

Бредовое утверждение основанное на ошибочном знании элементарной математике.

Ну в общем я понял, элементарные выкладки вы все равно отвергаете, поэтому вам объяснить никто ничего не сможет.
Вы вечно будете стоять на своем поскольку стыдно себе признаться не просто в своей ошибке, но и (подставте свои самые обидные слова об своих умственных способностях).
То что надумали величайшие ученые умы, вам не указ, они все глупцы по определению, поэтому пусть ищут ошибку в своих рассуждениях, а не вы в своих (у вас в каждом слове по логической ошибке)!!!

Поэтому тему можно закрыть, написанно все!!! а я ее покидаю навсегда!!

 Профиль  
                  
 
 
Сообщение14.04.2009, 18:12 


29/09/06
4552
Pi в сообщении #204826 писал(а):
1. Это правила русского языка после имени пишут обычно второе лицо единственного числа.
Это заблуждение. Вопрос совсем не из сферы правил грамматики, а из сферы речевого этикета, вполне допускающего
Виктор Иваныч, Вы не правы!
Виктор Иваныч, ты не прав!
Виктор, Вы не правы!
Виктор, ты не прав!
и даже
Витюха (Витёк), Вы не правы!

Замечу, что к своему основному собеседнику, тоже с ником, Вы обращались на "вы":
Pi в сообщении #204790 писал(а):
Ну и как вы читаете? Написанно же что инфармационная энтропия равна...
Pi в сообщении #204790 писал(а):
Поскольку вы как детё пяти лет что нахваталось всяких слов перехожу на язык "яблоков и грибочков"

Сорри за дабл оффтоп.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 38 ]  На страницу Пред.  1, 2, 3

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: YandexBot [bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group