Несущественные и невозвратные состояния в цепях Маркова

[ShMaxG]

Я неоднократно встречал факт, что в конечной цепи Маркова если состояние являются несущественным, то оно является невозвратным, и наоборот. Т.е. в конечных цепях понятия несущественности и возвратности совпадают. Доказательство этого факта, впрочем, мне совершенно не ясно, поэтому прошу помощи.

Вот, например, доказательство из задачника Прохорова, "Задачи по теории вероятностей". Рассмотрим пока только следствие в одну сторону: несущественность влечет невозвратность.

Пусть дана цепь Маркова $\xi_k$ с состояниями из $E=\{ 1,2,... \}$, причем $|E| < \infty$. Пусть состояние $i \in E$ несущественное. Для него можно указать состояние $j \in E$ и число шагов $n \ge 1$, такое, что $P_{ij}^{(n)}={\bf{P}}\left( {{\xi _n} = j|{\xi _0} = i} \right) > 0$. Более того, для любого $k \ge 1$ выполнено $P_{ji}^{(k)}={\bf{P}}\left( {{\xi _k} = i|{\xi _0} = j} \right) = 0$. Обозначим $f_{ii}$ -- вероятность возвращения в состояние $i$. Тогда (цитирую)

$$f_{ii} \le \mathbf{P}(\text{не будет ни одного попадания в состояние $j$ из состояния $i$}) \le 1-P_{ij}^{(n)}\right) < 1.$$

Оценки эти мне совершенно не понятны. Более того, я не понимаю, учитывается ли здесь где-то, что цепь конечная, или это можно записать и для счетных цепей. Я попытался вывести эти неравенства более строго. Вероятность $f_{ii}$ определяется по формуле

$$f_{ii} = {\bf{P}}\left( {\bigcup\limits_{k = 1}^{ + \infty } {\left\{ {{\xi _k} = i,{\xi _{k - 1}} \ne i,...,{\xi _1} \ne i} \right\}\left| {{\xi _0} = i} \right.} } \right).$$

Обозначим события ${A_k} = \left\{ {{\xi _k} = i,{\xi _{k - 1}} \ne i,...,{\xi _1} \ne i} \right\}$ и ${B_k} = \bigcap\limits_{q = 1}^k {\left\{ {{\xi _q} \ne j} \right\}}$. Можно показать, что

$${f_{ii}} = {\bf{P}}\left( {\bigcup\limits_{k = 1}^{ + \infty } {{A_k}{B_k}} |{\xi _0} = i} \right),$$

что и ясно и по смыслу, так как из $j$ невозможно попасть в $i$. Так я формально учитываю, что путь из $i$ в $i$ не может лежать через состояние $j$. Видимо, что-то похожее имелось ввиду в задачнике Прохорова. Однако что делать дальше не имею представления, мне никак не удалось выписать подходящие оценки, чтобы придти к нужным неравенствам.

Прошу подсказки

[--mS--]

Если выйдя из $i$ мы вернёмся когда-нибудь в $i$, то это значит, мы, выйдя из $i$, никогда не попадём в $j$. Поскольку из $j$ вернуться в $i$ невозможно. Отсюда первое неравенство.
Второе неравенство: событием, противоположным к событию "никогда не попасть из $i$ в $j$", будет событие "когда-нибудь попасть из $i$ в $j$". Когда-нибудь - это за один шаг или за два шага или за три шага и т.д. Вероятность этого "когда-нибудь" больше либо равна вероятности попасть за $n$ шагов. Отсюда второе неравенство.

Без разницы, конечная или счётная цепь.

[ShMaxG]

--mS-- в сообщении #1017640 писал(а):

Если выйдя из $i$ мы вернёмся когда-нибудь в $i$, то это значит, мы, выйдя из $i$, никогда не попадём в $j$.

Никогда не попадем в $j$ на участке пути от $i$ до $i$. После возвращения в $i$ хоть трава не расти, попадание в $j$ возможно. Так что событие "никогда не попадем в $j$ из $i$" -- это не совсем то, что нужно.

Я стараюсь подходить к утверждениям очень аккуратно. Событие $A_k$, которое я ввел, означает, что система из состояния $i$ перешла в состояние $i$ за $k$ шагов, причем на своем пути в $i$ попутно не заходила. Так что искомая вероятность вернуться в $i$ ровно такая:

$$f_{ii} = \mathbf{P}\left(\bigcup\limits_{k=1}^{\infty}A_k|\xi_0=i\right)$$

Объединение означает, что либо система на первом шаге вернулась в $i$, либо за два шага вернулась, не проходя повторно через $i$, либо за три и так далее. Если я хочу учесть, что попутно из $i$ в $i$ система не проходила через $j$, я ввожу события $B_k=\bigcap\limits_{q=1}^k\{ \xi_q \ne j\}$ и теперь рассматриваю события $A_k B_k$, которые означают, что система перешла из $i$ в $i$, на своем пути она в $i$ не заходила, и в $j$ на своем пути она тоже не заходила. Поэтому у меня и получается,

$$f_{ii} = \mathbf{P}\left(\bigcup\limits_{k=1}^{\infty}A_k B_k|\xi_0=i\right)$$

Что за событие стоит под вероятностью? Либо система перешла из $i$ в $i$ за один шаг, либо система перешла из $i$ в $i$ за два шага, и на первом шаге она не была ни в $i$, ни в $j$, и так далее.

Теперь давайте рассмотрим событие "не будет ни одного попадания из $i$ в $j$". Для этого я введу

$$B_{\infty} = \bigcap\limits_{q=1}^{\infty}\{ \xi_q \ne j\}$$

Если бы, действительно, было выполнено неравенство

$$f_{ii} = \mathbf{P}\left(\bigcup\limits_{k=1}^{\infty}A_k B_k|\xi_0=i\right) \le \mathbf{P}\left(\bigcap\limits_{q=1}^{\infty}\{ \xi_q \ne j\}|\xi_0=i\right),$$

то очевидно, что

$$f_{ii} \le \mathbf{P}\left( \xi_n \ne j |\xi_0=i \right) = 1-\mathbf{P}\left( \xi_n = j |\xi_0=i \right) < 1.$$

Но переход к $B_{\infty}$ мне и не ясен. Возможно, поможет факт, что ${A_k}$ составляют полную систему непересекающихся событий, а ${B_k}$ является вложенной убывающей системой событий.

[--mS--]

Вы правы, конечно, по поводу первого неравенства. Пока, за отсутствием времени подумать и найти что-то более простое, могу предложить разве что доказательство исходного факта в книжке Чжун Кай-лай, "Однородные цепи Маркова", теорема 4.4.

[ShMaxG]

Спасибо, как будет свободное время, прочитаю!