Информационная энтропия слова

[Mihaylo]

С энтропией вопрос считаю закрытым, это не то, что характеризует некую информационную емкость конкретного слова. Надо разговор сводить к колмогоровской сложности, там ведь рассматривают конкретные последовательности нулей и единиц. А энтропия работает с неопределенностями, то есть последовательностями, в которых нули и единицы заменены вопросиками, в случае шенноновской неопределенности - вероятностями.