2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3
 
 
Сообщение14.04.2009, 14:34 


19/11/08
347
Хорошо вот определение энтропии числа:
Информационная энтропия

Цитата:
Информационная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле:
Изображение


Подставляем p(i) = 1/n (здесь n-основание системы счисления)

Информационная энтропия = -n*(1/n)*log2(1/n) = log2(n)
Оно-же совпадает с определением собственной информации.

Откуда тогда взялось вот это Изображение ? ( из Плотность записи в позиционных системах счисления)

Забыли просуммировать и взяли энтропию только одного состояния (знака)?

Или надо считать, что число приняло своё фиксированное значение и это будет энтропия одного конкретного его состояния?

Но если у нас энтропия одного состояния(знака) принимает максимальное значение (в системе счисления с основанием e) ... то это означает, что это как раз худшая из возможных систем счисления - ибо на один знак тут приходится максимальное количество информации и его искажение ,при передаче, нанесёт максимальный ущерб.

 Профиль  
                  
 
 
Сообщение14.04.2009, 15:05 


18/09/08
425
Андрей АK в сообщении #204680 писал(а):
Этот вопрос я постоянно задавал, но вы его не поняв начали изобличать.

Поскольку вы как детё пяти лет что нахваталось всяких слов перехожу на язык "яблоков и грибочков".
Скажем, У нас есть 20 знаков (двадцать разноцветных яблочек) собранных в кучки по количеству равным основанию системы счисления (по цветам), и кучки не содержат одинаковых цифр (все цвета в кучке разные).
Сколько всего можно записать разных чисел используя по одной цифре из каждой кучки?

Если у нас десятичная система счисления, то у нас есть две кучки по десять цифр 0123456789,0123456789. И получается всего 100 разных чисел мы можем записать.
Для двоичной сичтемы у нас есть десять кучек по две цифры 01,01,01,01,01,01,01,01,01,01. И получается 2^10=1024 разных числа. То есть больше чем в десятичной.
В троичной унас есть семь кучек по три цифры, но последняя не полная кучка 012,012,012,012,012,012,01. И мы можем записать 2*3^6=1458 разных чисел. Это больше чем в двоичной систме счисления!
Для четверичной есть пять кучек по четыре цифры 0123,0123,0123,0123,0123. И получается 4^5=1024 разных числа. То есть чтолько же как и в двоичной.
Для унарной (одноичной) системы счисления у нс есть двадцать кучек по одному элементу 1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1. И получается 20 чисел, поскольку в этой системе разрешается не брать из некотрых кучек.

Если вы и это не поняли то вам меньше пяти лет, и вы конечно гений, потому-что никому из более старшего возраста это не надо было объяснять поскольку это ну уж элементарней некуда.
-------------------------------------------------------------
Модератор, вот посмотри эти перлы которыми этот незнайка общается со знающими образованными людьми
Андрей АK в сообщении #203758 писал(а):
Для особо тупых, объясняю по слогам:

Андрей АK в сообщении #203696 писал(а):
Судя по вашему комменту - вы сами ничего не поняли

Андрей АK в сообщении #203773 писал(а):
когда люди сами чего-то не понимают, т

Андрей АK в сообщении #204574 писал(а):
потому-что не разобрались или чего-то не понимаете) , а раз так то не надо тут плодить тексты

и тд.
Отсюдо видно что он первый перешел на личности.

Добавлено спустя 10 минут 40 секунд:

Андрей АK в сообщении #204787 писал(а):
Откуда тогда взялось вот это ?

Ну и как вы читаете? Написанно же что инфармационная энтропия равна $$n\frac{\ln b}{b}$$ ,то и есть просто суммаH \left( X \right) = E \left( I \left( X \right) \right) = -\sum_{i=1}^np(i)\log p(i) , а плотность это производная по n - поэтому он и исчезает.

А иформация мерится не только в битах, но и в натах, и вообще основание логарифма может быть любое, его значение никак не определенно в определении энтропии
H \left( X \right) = E \left( I \left( X \right) \right) = -\sum_{i=1}^np(i)\log p(i)
То что часто используются биты так это и есть привязка к системе счисления используемой в компьютерах и в линиях связи.

И вообще учиться по википедии я вам крайне не рекомендую, википедия есть справочник в которой некотрые материалы далеко не полны, она полезна для справочного материала уже знающих людей, как дополнение к регулярному учебнику.

 Профиль  
                  
 
 
Сообщение14.04.2009, 15:12 


29/09/06
4552
Pi в сообщении #204602 писал(а):
Модератор ты конечно прав в отношении меня
Pi в сообщении #204790 писал(а):
Модератор, вот посмотри
А чо, ты с ним на "ты"? Кабы я с ним пивко пил, давно бы всех забанил! :D

 Профиль  
                  
 
 
Сообщение14.04.2009, 16:34 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
 !  Pi,
правила форума запрещают комментировать решения модераторов и обсуждать их в тематическом разделе. Либо пишите свои предложения в "Работу форума", либо ЛС.

Ваш оппонент, возможно, выражается и не всегда идеально вежливо, но это не повод Вам хамить в его адрес. Если хотите что-то ему объяснить - делайте это вежливо. Не хотите или не можете - оставьте тему в покое.

И оставьте также свою фамильярность в обращениях ко мне, здесь это не принято.

 Профиль  
                  
 
 
Сообщение14.04.2009, 17:31 


18/09/08
425
1. Это правила русского языка после имени пишут обычно второе лицо единственного числа. Ник это имя, но я не знал что у модераторов это фамилия. Вот и писал по инерции.

2. Извените, не знал что Андрей АК имеет другие правила чем остальные учатники форума. То есть ели он меня назвал особо тупым (подчеркиваю это и это осталось без ответа) в начале нашего общения ,
Андрей АK в сообщении #203758 писал(а):
Для особо тупых,

то он имеет на это полное право и это называется просто "не идеально вежливо" и все, а если я его в ответ, то у меня общие правила. Если он хамил в мой адрес и оскорблял, то все нормально.

 Профиль  
                  
 
 
Сообщение14.04.2009, 17:37 


19/11/08
347
Pi писал(а):
Если у нас десятичная система счисления, то у нас есть две кучки по десять цифр 0123456789,0123456789. И получается всего 100 разных чисел мы можем записать.
Для двоичной сичтемы у нас есть десять кучек по две цифры 01,01,01,01,01,01,01,01,01,01. И получается 2^10=1024 разных числа. То есть больше чем в десятичной.
В троичной унас есть семь кучек по три цифры, но последняя не полная кучка 012,012,012,012,012,012,01. И мы можем записать 2*3^6=1458 разных чисел. Это больше чем в двоичной систме счисления!
Для четверичной есть пять кучек по четыре цифры 0123,0123,0123,0123,0123. И получается 4^5=1024 разных числа. То есть чтолько же как и в двоичной.
Для унарной (одноичной) системы счисления у нс есть двадцать кучек по одному элементу 1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1. И получается 20 чисел, поскольку в этой системе разрешается не брать из некоторых кучек.

Вот это и есть заблуждение, оставшееся со времён освоения чисел (в детстве).
То что вы написали - это не позиционная система счисления.
У вас получается, что порядок "кучек" не имеет значения - поэтому их и стало возможным суммировать.
Особенно это очевидно на примере "унарной" системы счисления - для позиционных систем такой пример был бы невозможен (поскольку любой логарифм единицы равен нулю).
А "унарная" - это класс систем счисления в которые входят ,например, "Римские цифры".
Т.е. вы переносите на позиционную систему счисления правила к ней неприменимые (в частности умножаете основание на количество разрядов).
В позиционной же системе счисления складывать надо логарифмы, потому-что количество чисел ,которые можно записать при её помощи пропорционально не сумме, а произведению оснований.

 Профиль  
                  
 
 
Сообщение14.04.2009, 18:08 


18/09/08
425
Андрей АK в сообщении #204828 писал(а):
Вот это и есть заблуждение, оставшееся со времён освоения чисел (в детстве).
То что вы написали - это не позиционная система счисления.

А где там хоть слово написанно об позиционной системе счисления, там любая система счисления рассматривается!
Pi в сообщении #204790 писал(а):
Скажем, У нас есть 20 знаков (двадцать разноцветных яблочек) собранных в кучки по количеству равным основанию системы счисления (по цветам), и кучки не содержат одинаковых цифр (все цвета в кучке разные).
Сколько всего можно записать разных чисел используя по одной цифре из каждой кучки?

Опять вы прочли не то что написанно!!
Андрей АK в сообщении #204828 писал(а):
"унарной" системы счисления - для позиционных систем такой пример был бы невозможен

Вот именно!! Поэтому она и приведенна как пример непозиционной системы счисления! Там не надо представлять ее как позиционную, а просто как сумму единиц 1+1+1+1+....
Основание системы счисления, не обязательно должно быть основанием логарифма!!! Например, система счисления на основе чисел фибоначи, нега-позиционные и др. и тд.
Андрей АK в сообщении #204828 писал(а):
У вас получается, что порядок "кучек" не имеет значения

Вот именно, мы сдесь рассматриваем потенциальное количество различных чисел, а не конкретные числа, только тогда там важен порядок.

Андрей АK в сообщении #204828 писал(а):
В позиционной же системе счисления складывать надо логарифмы, потому-что количество чисел ,которые можно записать при её помощи пропорционально не сумме, а произведению оснований.

Бредовое утверждение основанное на ошибочном знании элементарной математике.

Ну в общем я понял, элементарные выкладки вы все равно отвергаете, поэтому вам объяснить никто ничего не сможет.
Вы вечно будете стоять на своем поскольку стыдно себе признаться не просто в своей ошибке, но и (подставте свои самые обидные слова об своих умственных способностях).
То что надумали величайшие ученые умы, вам не указ, они все глупцы по определению, поэтому пусть ищут ошибку в своих рассуждениях, а не вы в своих (у вас в каждом слове по логической ошибке)!!!

Поэтому тему можно закрыть, написанно все!!! а я ее покидаю навсегда!!

 Профиль  
                  
 
 
Сообщение14.04.2009, 18:12 


29/09/06
4552
Pi в сообщении #204826 писал(а):
1. Это правила русского языка после имени пишут обычно второе лицо единственного числа.
Это заблуждение. Вопрос совсем не из сферы правил грамматики, а из сферы речевого этикета, вполне допускающего
Виктор Иваныч, Вы не правы!
Виктор Иваныч, ты не прав!
Виктор, Вы не правы!
Виктор, ты не прав!
и даже
Витюха (Витёк), Вы не правы!

Замечу, что к своему основному собеседнику, тоже с ником, Вы обращались на "вы":
Pi в сообщении #204790 писал(а):
Ну и как вы читаете? Написанно же что инфармационная энтропия равна...
Pi в сообщении #204790 писал(а):
Поскольку вы как детё пяти лет что нахваталось всяких слов перехожу на язык "яблоков и грибочков"

Сорри за дабл оффтоп.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 38 ]  На страницу Пред.  1, 2, 3

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group