Предлагаю вниманию участников форума предварительную версию своего учебника
"Введение в теорию информации". Учебник рассчитан в первую очередь на студентов-математиков, но также должен быть доступен для программистов и интересующихся теорией информации представителей естественных наук. Мне будут весьма интересны всевозможные замечания по содержанию книги
Скачать файл можно здесь
http://math.nsc.ru/~potapov/lekbioinf1.pdf
Чтобы оценить, стоит ли это скачивать, предлагаю ознакомиться с
содержанием
Глава 1. Три подхода к понятию сложности сообщений
1.1. Алгоритмический подход
1.2. Комбинаторный подход
1.3. Вероятностный подход
Глава 2. Определение и свойства энтропии разбиения
Глава 3. Цепи Маркова
3.1. Эргодическая теорема для марковской цепи
3.2. Закон больших чисел для марковской цепи
Глава 4. Модели источников сообщений
4.1. Конечные автоматы
4.2. Параметры модели источника сообщений
4.3. Контекстная модель
4.4. Метод трансфер-матрицы
4.5. Скрытые марковские модели
Глава 5. Энтропия источника сообщений
5.1. Стационарные источники. Энтропия стационарного источника
5.2. Энтропия марковского источника
5.3. Энтропия источника Бернулли
Глава 6. Кодирование
6.1. Префиксные и разделимые множества слов
6.2. Кодирование натуральных чисел
6.3. Теорема кодирования Шеннона
6.4. Побуквенное кодирование
6.5. Равноблочное на выходе кодирование
6.6. Нумерационное кодирование
6.7. Арифметическое кодирование
6.8. Адаптивное и универсальное кодирования
6.9. Интервальное кодирование
6.10. Преобразование Барроуза --- Уилера
Глава 7. Сложность слова относительно программы
7.1. Схема Лемпела --- Зива
7.2. Схема конкатенации
Глава 8. Недоопределённые данные
8.1. Энтропия недоопределённых данных
8.2. Энтропия разбиения, при заданной точности воспроизведения
8.3. Кодирование недоопределённых данных
Глава 9. Передача сообщений по каналам связи, допускающим ошибки
9.1. Канал связи и его пропускная способность
9.2. Теорема кодирования для канала связи, допускающего ошибки
9.3. Обращение теоремы о помехоустойчивом кодировании
9.4. Избыточность универсального кодирования как пропускная способность некоторого канала
