Помогите с решающим правилом

[Korvin]

Уважаемые коллеги, помогите разобраться с нахождением решающего правила по применению байесовского подхода.
Есть предполагаемое априорное распределение, скажем нормальное с мат. ожиданием 0 и стандартным отклонением s1=1. И есть результат наблюдения, скажем А, которое предполагается содержащим нормально распределенную ошибку со стандартным распределением скажем s2=3.
Каков подход к нахождению правила преобразования результата наблюдения А в наиболее вероятное значение Б? Я понимаю, что здесь байесовский подход, и решение окажется между А и 0, и каковы бы ни были значения А, на практике результат будет в пределах 0+- 3 (правило 3 сигм), но не могу найти подходы к выработке решающего правила. Здесь будет что-то вроде правила сжатия отрезка 0-А в отрезок 0-Б, нелинейное преобразование с насыщением. И на память приходит куча функций - арктангенс, экспонента, ломаная (отвергается сразу), функция по типу сопротивления двух параллельно соединенных резисторов, из которых один результат наблюдения, а другой "априорное сопротивление", ограничивающее первое сверху. Или все возможные варианты справедливы в зависимости от каких-то прочих исходных предпосылок и допущений?
Помогите плз. гуманитарию без систематического математического образования.
ЗЫ. Априорная функция нормальная, но чтобы было реальное ограничение, можно допустить априорную функцию усеченную, скажем сумму трех равномерных распределений. Тогда уж она точно за пределы 3 сигм не вылезет, и модель с ограничением сверху сработает.

[PAV]

Мне кажется, что термин "решающее правило" Вы используете не по делу, это сбивает с толку. Этот термин обычно обозначает выбор одной из двух (или конечного числа) ситуаций. А здесь, насколько я понял, стоит задача оценки.

Далее, не забывайте набирать все формулы в $\TeX$-е, это обязательное правило форума.

По сути же дела, насколько я понял, Вы наблюдаете сумму $Z=X+Y$, где $X$ - это неизвестная величина, относительно которой предполагается априорное нормальное распределение $\mathcal{N}(0,\sigma_1)$, а $Y$ - шум, который также распределен нормально $\mathcal{N}(0,\sigma_2)$. В результате эксперимента наблюдается некоторое значение $z$. На пальцах из здравого смысла распределение $X$ теперь должно быть пропорционально произведению плотностей

$$ \widehat{p}_X(x)\sim p_X(x)\cdot p_{Y}(z-x) $$

где слева стоит требуемая апостериорная плотность $X$, а справа - априорные. Если нужна только точка максимума, тогда ее можно искать прямо отсюда. Если же нужно выражение для распределения, то правую часть нужно еще нормировать.

Вообще-то я думаю, что это настолько базовая ситуация, что она должна рассматриваться в качестве одного из первых примеров практически в любой книге по байесовскому оцениванию.

[Korvin]

Спасибо за ответ. Пришел к такому выводу: Априорное распределение считаем нормальным (фактически форму распределения не знаем), фактическое распределение экспериментальных данных нормальное по факту, дисперсия экспериментальных данных известна, дисперсия априорного распределения неизвестна, но по порядку величин не может сильно отличаться от дисперсии экспериментальных данных. Имею ли я право в этом случае воспользоваться принципом недостаточного обоснования Бернулли и Лапласа и считать обе дисперсии равными? Другого выхода просто нет.
Тогда точечная оценка наблюденного значения будет взвешенным средним наблюденного значения и априорного среднего. При центрированном априорном среднем (равным 0) и равенстве дисперсий, как указано выше, точечная оценка наблюденного среднего оказывается равной 0,5 от наблюденного значения. Т.е. в условиях зашумленности в качестве полезного сигнала берется половина измеренного значения.
Возможно ли такое решение и нет ли ошибки в моих рассуждениях? В любом случае "болтать" и "раскачивать" при использовании половинного значения должно меньше, а тенденция измеряемого значения проявится в любом случае, хотя и возникнет некая инерционность, вполне компенсируемая большей плавностью работы на основе половинного измеренного значения, а не полного.

[PAV]

Честно говоря, мало что понял из сообщения. Было бы неплохо, если бы постановка излагалась бы более строго и четко, желательно с использованием формул.

По поводу дисперсий: вообще-то любой случайный аддитивный шум увеличивает дисперсию. Мне не очень понятно, что содержательного можно получить, если предположить эти дисперсии одинаковыми. В этом случае аддитивная добавка просто получится неслучайной.

-- Вт фев 21, 2012 10:28:23 --

Перечитал еще раз, вроде стало понятнее, однако это надо считать и проверять. Если Вы делали какие-то расчеты и выкладки, можете их выложить здесь - проверим.

-- Вт фев 21, 2012 10:51:11 --

Полученное Вами правило брать некоторое взвешенное среднее между априорным значением и наблюденным действительно совершенно разумно. Скорее всего, так и получается. Другое дело, что веса определяются соотношениями дисперсий, а поскольку Вы их не знаете, и берете "с потолка", то по сути получается, что и эти веса Вы назначили просто волюнтаристским образом. И сказать, что при этом получится, я не берусь.

Собственно, мне неизвестно, каким образом Вы будете измерять качество работы своего предсказателя. А без этого вопрос как-то не имеет смысла. Ну да, какие-то результаты он дает. И что дальше?

[_hum_]

Извиняюсь, но разве фраза

Korvin в сообщении #538473 писал(а):

Каков подход к нахождению правила преобразования результата наблюдения А в наиболее вероятное значение Б?

не означает, что стоит задача в модели

\begin{align*} &Z = X + Y, \\ &X \sim \mathcal{N}(0,\sigma_X^2), \\ &Y \sim \mathcal{N}(0,\sigma_Y^2),\\ &X,Y - \text{ независимы.} \end{align*}

получить оценку значения случайной величины $X$ по максимуму апостериорной вероятности, то есть

$$X^* = \mathrm{arg} \max_x p_{X|Z}(x|z)$$

?

И в чем тогда проблема, ведь по формуле Байеса

$$p_{X|Z}(x|z) = \frac{p_X(x)p_{Z|X}(z|x)}{p_Z(z)}$$

и все входящие плотности в явном виде можно выписать?

[PAV]

_hum_ в сообщении #541323 писал(а):

И в чем тогда проблема, ведь по формуле Байеса

Проблема автора в том, что ему неизвестны априорные дисперсии. Обсуждается, что в таком случае можно сделать.

[Korvin]

Благодарю за продолжение обсуждения. В принципе действительно, вопрос таков. Предполагается априорно, что у двух "пациентов" будут получены значения какого-то параметра, предположим 1 кг. А получено у одного 0,5 кг, а у другого 1,5 кг. Я предполагаю, что часть отклонений за счет индивидуальных отличий, которые нуждаются в коррекции, а часть элементарный шум. Притом величина корректирующего воздействия на 1 кг отклонения точно известна, но неизвестна доля шума в наблюденном отклонении. И тогда по "правилу" Лапласа я считаю, что наиболее вероятное значение у первого пациента 0,75 кг, а у второго 1,25 кг. А что еще делать?
И пришло в голову, что по сути дела это экспоненциальное сглаживание, когда сглаженное значение всегда середина между новым вновь полученным значением и предыдущим. По сути в условиях неопределенности и отсутствия информации априорное значение всегда предполагается равным последнему измеренному, т.е. если не знаешь, в какую сторону двинется значение, лучше считать, что оно останется на месте. А потом коррекция по наблюдению.

[Korvin]

Уважаемые коллеги, можно еще один вопрос. Мне он кажется продолжением уже разобранного здесь вопроса. Существует множество людей с какими-то внутренними циклами. Период цикла известен, и для каждого дня можно измерить некий параметр. Циклы достаточно устойчивы по значениям, но тем не менее циклы несколько разнятся, что можно рассматривать как шум. Я полагаю, что по 4 полным циклам можно вполне уверенно определить характерную для данного человека функцию значения от фазы периода и использовать ее в дальнейшей работе с ним. Но человек пришел сегодня, и нужно начинать работу сейчас. Предположим, что есть некая стандартная зависимость (средняя по репрезентативной выборке). В условиях полного незнания я использую ее на протяжении первого цикла как априорную зависимость. Но после первого цикла у меня уже будут измеренные данные по одному циклу. Как наиболее правильно на основе априорной зависимости определить рабочую зависимость для второго цикла работы? Есть 2 варианта - первый как среднюю между априорной и измеренной (т.е. использовать средневзвешенную зависимость с равными весами), второй как средневзвешенную с весом априорной зависимости 3, а единственной известной с весом 1. Далее после второго цикла у меня уже есть измеренные данные по 2 циклам, следует ли мне применить веса 2 и 2, после 3 цикла 1 и 3, и наконец после 4 цикла формально веса будут 0 и 4, т.е. априорная функция вытеснится и станет ненужной?
Как можно обосновать сделанные на уровне здравого смысла рассуждения, можно ли здесь как-то использовать принцип недостаточного обоснования Лапласа? Или же при строгих рассуждениях влияние априорного распределения должно сохраняться при любом количестве известных циклов? Тогда здесь просматривается что-то общее с правилом последовательности Лапласа. Но использовать более чем 4 циклов для определения наиболее правильной зависимости также нерационально, т.к. параметры циклов (период и значения) могут "плыть".