задача на марковские цепи (теор_вер)

[mfz]

Подскажите/подтолкните на правильный путь в следующей задаче:

Пусть $(X_n)$ - марковская цепь со значениями во множестве $\{ -1, 0, 1\}$, пусть $p_{ij}>0, i,j \in \{ -1, 0, 1\}$. Дать необходимые и достаточные условия для того, чтобы последовательность $(|X_n|)$ образовывала марковскую цепь.

Я рассматривал условие $p_{-10}=p_{10}$. Достаточность этого условия показать нетрудно. В обратную же сторону как-то не очень получается. Дошел до того, что $ \forall n P(X_{n-1}=0| X_n=1) = P(X_{n-1}=0| X_n=-1)$, то есть надо чтоб цепь была обратима, а условием это не предусматривается. Так как все же быть?

Заранее спасибо.

[Alexey1]

Нарисуйте цепь $X_n$ с состояниями $\{-1,0,1\}$ и рассмотрите случайную величину $|X_n| \in \{0,1\}$. Пусть цепь $X_n$ попадает в состояние $\{-1\}$, это означает, что случайная величина $|X_n|=1$. Аналогично, если цепь $X_n$ попадает в состояние $\{1\}$, то случайная величина $|X_n|=1$.
Пусть $|X_n|=1$. Чему равна вероятность, что $|X_{n+1}|=1$ и от чего зависит эта вероятность?

[mfz]

$$P\{|X_{n+1}|=1 \mid |X_n|=1\}=\frac{P\{|X_{n+1}|=1 ,|X_n|=1\}}{P\{ |X_n|=1\}}=$$ $$= \frac{ (p_{11}+p_{1-1}) P\{X_n=1\} + (p_{-11}+p_{-1-1})P\{X_n=-1\} } {P\{ |X_n|=1\}} $$

Цитата:

Чему равна вероятность $|X_{n+1}|=1$ и от чего зависит эта вероятность?

В смысле от чего зависит? От того, какое значение принимает $|X_n|$. Если имелось в виду, отчего заивисит $P\{|X_{n+1}|=1 \mid |X_n|=1\}$, то вроде ни от чего не зависит.
Так как мы исследуем необходимое условие, то есть предполагаем, что свойство марковости для $(|X_n|)$ выполнено, то

$$\forall C \mbox{-условие на } |X_0|, \ldots, |X_{n-1}| \,\,\, P\{|X_{n+1}|=1 \mid |X_n|=1, C\} = P\{|X_{n+1}|=1 \mid |X_n|=1\} $$

[Alexey1]

Если $X_n=-1$, то $P(|X_{n+1}|=1)$ может отличаться от $P(|X_{n+1}|=1)$ если $X_n=1$, хотя в обоих случаях $|X_n|=1$.

[mfz]

Да, это понятно, что зависит от знака $X_n$. Интуитивно, если я не ошибаюсь, вроде как вытекает для любых С - условий на $|X_0|, \ldots, |X_{n-1}|$

$$P(X_n=1 | C) = P(X_n=-1 | C).$$

Но даже если это так, то как показать это точнее на более аналитическом уровне, чем интуитивно.

[Alexey1]

Запишите так,

$$P(|X_{n+1}|=1 \ | \ |X_n|=1)=\left\{ \begin{array}{ll} p_{-1,-1}+p_{-1,1}, & X_n=-1, \\ p_{1,1}+p_{1,-1}, & X_n=1. \end{array} \right.$$

[mfz]

Вы фактически написали, что

$$ P(|X_{n+1}|=1 | X_n=1)=p_{1,1}+p_{1,-1} $$

$$ P(|X_{n+1}|=1 | X_n=-1)=p_{-1,1}+p_{-1,-1} $$

Ну ведь подобным образом для любых случайных величин можно расписать, например, как

$$P(X=a | Y \in B) =\left\{ \begin{array}{l} P(X=a| Y=b_1), Y=b_1\\ \ldots\\ P(X=a| Y=b_n), Y=b_n \end{array} \right.$$

где $Y=\{b_1, \ldots, b_n\}$

Однако из этого мы ничего не можем сказать о вероятностях $Y=b_i.$ Не очень понятно, так почему же все же это будет необходимо?

[Alexey1]

mfz в сообщении #358954 писал(а):

Вы фактически написали, что

$$ P(|X_{n+1}|=1 | X_n=1)=p_{1,1}+p_{1,-1} $$

$$ P(|X_{n+1}|=1 | X_n=-1)=p_{-1,1}+p_{-1,-1} $$

У Вас должно выполняться Марковское свойство, то есть $|X_{n+1}|$ должно зависеть только от $|X_n|$, а не от $X_n$. Как это сделать, видно из того, что я написал.

[mfz]

Да, это ясно. Но вот сейчас еще раз обдумал этот момент, и вот к какому логическому выводу пришел.
Опять, обозначим за С - некоторые условия на $|X_{n-1}|, \ldots, |X_0|$. ТОГДА, из того, что $P(|X_{n+1}|=0 | |X_n|=1 , C) = P(|X_{n+1}|=0 | |X_n|=1$ не зависит от $X_n$ вытекает, что при любых С величина $P(X_n=1 | |X_n|=1, C)$ должна оставаться постоянной. В самом деле,

$$ P(|X_{n+1}|=0 | |X_n|=1 , C)= P(X_{n+1}=0 | X_n=1, C) P(X_n=1 | |X_n|=1, C) + P(X_{n+1}=0 | X_n=-1, C) P(X_n=-1 | |X_n|=1, C) =p_{10} P(X_n=-1 | |X_n|=1, C) + p_{-10}P(X_n=-1 | |X_n|=1, C)=P(X_n=1 | |X_n|=1, C)(p_{10}-p_{-10}) + p_{-10}$$

И оно не зависит от С либо когда $p_{10}=p_{-10}$, либо когда $P(X_n=1 | |X_n|=1, C)=const$.
Так вот что делать со вторым условием? Как его дальше исследовать?


В Вашем рассуждении Вы, на сколько я понимаю, пытаетесь оперировать тем, что если из некоторых условий С мы получим, что $X_n=1,$ а из С', что $X_n=-1,$ то вероятность $|X_{n+1}|=1$ будет различной. Но почему обязательно найдутся такие условия? Ведь возможно, например, что из любой информации С мы будем всегда получать $P(X_n=1)=\pi_1, P(X_n=-1)=\pi_2, \mbox{ где } \pi_1, \pi_2 - const.$
Да и по определению марковского свойства $|X_{n+1}|$ не должно зависеть от $|X_j|, j<n$, а от $X_n$ оно вполне может зависеть. Другое дело, что при фиксированном $|X_n|=1$, может оказаться, что $X_n$ зависит от $|X_j|, j<n$. Если мы как раз покажем, что эта зависимость есть и она не фиктивна(!), то есть не выполняется равенство $P(X_n=1 | |X_n|=1, C)=const$ или покажем, что из этого следует $p_{10}=p_{-10}$, то получим в качестве необходимого условия как раз только $p_{10}=p_{-10}$. Не показав же этого, пока из марковости последовательности $|X_n|$ имеем лишь, что верна дизъюнкция

$$(p_{10}=p_{-10}) \,\,\, || \,\,\, (P(X_n=1 | |X_n|=1, C)=const)$$

Наверняка эта дизъюнкция является также и необходимым условием, но мне кажется, что условием задачи предполагалось нахождение условий именно на $p_{ij}.$
Еще раз обращаю Ваше внимание, что в условии требуется именно найти необходимые и достаточные условия. Сделанное мной предположение о $p_{10}=p_{-10}$ не обязано быть 100%-правильным.

Спасибо за понимание. Извиняюсь, если некоторые свои идеи, я высказал достаточно кривым языком.
Надеюсь на подробное объяснение непонятных мне моментов.

[Alexey1]

У Вас дано, что $X_n$ это марковская цепь, то есть $X_{n+1}$ зависит только от $X_n$ (не зависит от $X_{n-k}, k=1,2,...$). Отсюда следует, что $f(X_{n+1})=|X_{n+1}|$ тоже зависит только от $X_n$. Вам чтобы сделать цепь $|X_{n+1}|$ марковской надо сделать зависимость не от $X_n$, а от $|X_{n}|$. Зачем доказывать, что $|X_{n+1}|$ не зависит от $|X_{n-k}|, k=1,2,...$ когда $X_{n+1}$ не зависит от $X_{n-k}, k=1,2,...$?

[mfz]

ммм... честно говоря не очень понятно, что Вы этим хотите показать.

Да и $X_{n+1}$ не зависит от $X_{n-k}, k=1,2,\ldots,$ если $X_n=i_n$ - фиксировано. У нас же мы имеем $|X_n|=1,$ значит $X_n$ не фиксировано, то есть $X_{n+1}$ может и зависеть от некоторых $X_{n-k}, k=1,2,\ldots,$, а значит и $|X_{n+1}|.$

Я, наверное, что-то не понимаю. Будьте добры, поясните, пожалуйста, чуть доходчивее еще раз всю цепь Ваших рассуждений.
И, если нетрудно, подскажите, как можно было бы продолжить мое решение, ведь рассуждения, показывающие, что из марковости последовательности с модулями будет следовать выполнение одного из двух условий, вроде как не вызывают сомнений.

[Alexey1]

mfz в сообщении #359141 писал(а):

ммм... честно говоря не очень понятно, что Вы этим хотите показать.

У Вас "цепь" $|X_n|$ не является в общем случае марковской. Её надо такой сделать, наложив определённые ограничения на вероятности $p_{i,j}, i,j=1,2,3$ в цепи $X_n$. Для этого Вы рассматриваете вероятности $P(|X_{n+1}| \ | |X_n|)$ и смотрите, что мешает выполнению марковского свойства. В той формуле, которую я приводил, видно, что мешает зависимость от $X_n$. Что надо потребовать от вероятностей (в той формуле), чтобы когда Вам сказали, что $|X_n|=1$, Вам ненужно было знать $X_n$, чтобы сказать с какой вероятностью следующее состояние будет 1?

[mfz]

Насколько я понимаю, надо потребовать, чтоб $p_{-1,1}+p_{-1,-1}=p_{1,1}+p_{1,-1}$, или, что то же самое, $p_{-1,0}=p_{1,0}$. Верно?
Ну так это мы фактически показали достаточность этого условия.
А так как же быть с необходимостью? Ведь именно это место вызвало наибольшее затруднение. (я это уточнил в первом посте) Честно говорю, из Ваших рассуждений пока никак не могу уловить, что из того, что последовательность $(|X_n|)$ является марковской цепью, следует, что будет непременно выполнено $p_{-1,0}=p_{1,0}$.

Может, я что-то неправильно понимаю?

-- Пн окт 04, 2010 22:02:12 --

Или вы хотите воспользоваться тем, что в общем случае для двух марковских цепей $X_n$ и $Y_n$ вероятность $P(Y_{n+1} = i_{n+1} | Y_n=i_n)$ должна не зависеть от того, какие значения принимает $X_n$ ?
А почему это верно в общем случае (в частности, как в задаче, когда последовательности $X_n$ и $Y_n$ не являются независимыми)?

[Alexey1]

Попробуйте потребовать симметричности, то есть $p_{0,1}=p_{0,-1}$ и т.д., то есть нет разницы в каком состоянии -1 или 1 находится цепь и аналогично с 0, то есть $p_{0,1}=p_{0,-1}$. То есть у Вас цепь как $\{1,0,1\}$.

[mfz]

Не очень понятен вообще предыдущий пост. К чему он относится.
Я повторюсь, что в исследовании необходимого условия я дошел до того, что марковость $|X_n|$ влечет

Цитата:

$$(p_{10}=p_{-10}) \,\,\, || \,\,\, (P(X_n=1 | |X_n|=1, C)=const)$$

и как дальше быть не знаю.

Прокомментируйте, пожалуйста, этот момент. Потому если это верно(почему?), то необходимость условия $p_{10}=p_{-10}$ ясна.

Цитата:

Или вы хотите воспользоваться тем, что в общем случае для двух марковских цепей $X_n$ и $Y_n$ вероятность $P(Y_{n+1} = i_{n+1} | Y_n=i_n)$ должна не зависеть от того, какие значения принимает $X_n$ ?
А почему это верно в общем случае (в частности, как в задаче, когда последовательности $X_n$ и $Y_n$ не являются независимыми)?