2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Байесовский подход и изменение колич.информации. Синонимы?
Сообщение22.02.2013, 10:20 
Вот выдержка из одного учебника
В совр теории вероятностей есть 2 подхода к тому, что называть случайностью
В частотном подходе предполагается, что случайность есть объективная неопределенность В жизни «объективная неопределенность практич не встречается. Чуть ли не единственным примером может служить радиоактивный распад
В байесовском подходе предполагается, что
случайность есть мера нашего незнания Все величины и параметры считаются случайными. В качестве оценок неизвестных параметров выступают апостериорные распределения .
Формула Байеса позволяет рассчитать изменение степени истинности A с учетом информации о B.Байесовский вывод можно рассматривать как обобщение классической булевой логики. Только вме-
сто понятий «истина» и «ложь» вводится «истина с вероятностью p»

Сравним это с т.н. статистическим или количественным подходом в теории информации, информатике
Статистический метод – оценка производится с точки зрения меры неопределенности, снимаемой при получении информации, но при этом не рассматривается ее смысл. Основное внимание уделяется распределению вероятности различных исходов ожидаемых событий. Мера информации определяется ф-лой Шеннона
$I(U,B)=\sum(P(A_i,B_j)) \log_2(\frac{P(A_i,B_j)}{P(A_i)P(B_j)})
$
прямо указывающей связь между изменением количеством информации и результатами испытаний.
Если последовательно проводить эту линию не окажется ли что байесовский подход в теории вероятностей и мат.статистике есть раздел количественного подхода теории информации, т.е. информатики?

 
 
 
 Re: Байесовский подход и изменение колич.информации. Синонимы?
Сообщение22.02.2013, 10:38 
Аватара пользователя
Можно ссылку на учебник? А то очень уж формулировки странные...

 
 
 
 Re: Байесовский подход и изменение колич.информации. Синонимы?
Сообщение22.02.2013, 19:08 
к сожалению это pdf-глава выставленная в интернете. Я не мог понять, кто автор и чье издание. Но вот гиперссылка
http://www.machinelearning.ru/wiki/.../4/.../BayesML-2007-textbook-2.pdf
Написано кстати, по крайней мере для меня увлекательно и навевает на подобные размышления

 
 
 
 Re: Байесовский подход и изменение колич.информации. Синонимы?
Сообщение22.02.2013, 22:12 
Аватара пользователя
Ссылка нерабочая

 
 
 
 Re: Байесовский подход и изменение колич.информации. Синонимы?
Сообщение23.02.2013, 04:46 
виноват
http://www.machinelearning.ru/wiki/images/4/43/BayesML-2007-textbook-2.pdf

 
 
 
 Re: Байесовский подход и изменение колич.информации. Синонимы?
Сообщение23.02.2013, 16:21 
Аватара пользователя
Для начала скажу, что учебник не по теории вероятностей, а по распознаванию образов. И в используемые термины автор вкладывает какой-то свой смысл, отличный от общепринятого.
А так - попытки увязать теорию информации и статистическое оценивание были, назову хоть книгу Кульбака, но сводить к байесовскому подходу, причём в ом смысле, в котором употребляет автор, я бы не стал. Собственно, ТИ строится на вероятностной основе, причём в самом что ни на есть частотном смысле.

 
 
 [ Сообщений: 6 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group