2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Байесовский подход и изменение колич.информации. Синонимы?
Сообщение22.02.2013, 10:20 


15/04/10
985
г.Москва
Вот выдержка из одного учебника
В совр теории вероятностей есть 2 подхода к тому, что называть случайностью
В частотном подходе предполагается, что случайность есть объективная неопределенность В жизни «объективная неопределенность практич не встречается. Чуть ли не единственным примером может служить радиоактивный распад
В байесовском подходе предполагается, что
случайность есть мера нашего незнания Все величины и параметры считаются случайными. В качестве оценок неизвестных параметров выступают апостериорные распределения .
Формула Байеса позволяет рассчитать изменение степени истинности A с учетом информации о B.Байесовский вывод можно рассматривать как обобщение классической булевой логики. Только вме-
сто понятий «истина» и «ложь» вводится «истина с вероятностью p»

Сравним это с т.н. статистическим или количественным подходом в теории информации, информатике
Статистический метод – оценка производится с точки зрения меры неопределенности, снимаемой при получении информации, но при этом не рассматривается ее смысл. Основное внимание уделяется распределению вероятности различных исходов ожидаемых событий. Мера информации определяется ф-лой Шеннона
$I(U,B)=\sum(P(A_i,B_j)) \log_2(\frac{P(A_i,B_j)}{P(A_i)P(B_j)})
$
прямо указывающей связь между изменением количеством информации и результатами испытаний.
Если последовательно проводить эту линию не окажется ли что байесовский подход в теории вероятностей и мат.статистике есть раздел количественного подхода теории информации, т.е. информатики?

 Профиль  
                  
 
 Re: Байесовский подход и изменение колич.информации. Синонимы?
Сообщение22.02.2013, 10:38 
Заслуженный участник
Аватара пользователя


11/03/08
10039
Москва
Можно ссылку на учебник? А то очень уж формулировки странные...

 Профиль  
                  
 
 Re: Байесовский подход и изменение колич.информации. Синонимы?
Сообщение22.02.2013, 19:08 


15/04/10
985
г.Москва
к сожалению это pdf-глава выставленная в интернете. Я не мог понять, кто автор и чье издание. Но вот гиперссылка
http://www.machinelearning.ru/wiki/.../4/.../BayesML-2007-textbook-2.pdf
Написано кстати, по крайней мере для меня увлекательно и навевает на подобные размышления

 Профиль  
                  
 
 Re: Байесовский подход и изменение колич.информации. Синонимы?
Сообщение22.02.2013, 22:12 
Заслуженный участник
Аватара пользователя


11/03/08
10039
Москва
Ссылка нерабочая

 Профиль  
                  
 
 Re: Байесовский подход и изменение колич.информации. Синонимы?
Сообщение23.02.2013, 04:46 


15/04/10
985
г.Москва
виноват
http://www.machinelearning.ru/wiki/images/4/43/BayesML-2007-textbook-2.pdf

 Профиль  
                  
 
 Re: Байесовский подход и изменение колич.информации. Синонимы?
Сообщение23.02.2013, 16:21 
Заслуженный участник
Аватара пользователя


11/03/08
10039
Москва
Для начала скажу, что учебник не по теории вероятностей, а по распознаванию образов. И в используемые термины автор вкладывает какой-то свой смысл, отличный от общепринятого.
А так - попытки увязать теорию информации и статистическое оценивание были, назову хоть книгу Кульбака, но сводить к байесовскому подходу, причём в ом смысле, в котором употребляет автор, я бы не стал. Собственно, ТИ строится на вероятностной основе, причём в самом что ни на есть частотном смысле.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group