2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Несущественные и невозвратные состояния в цепях Маркова
Сообщение17.05.2015, 21:43 
Заслуженный участник
Аватара пользователя


11/04/08
2736
Физтех
Я неоднократно встречал факт, что в конечной цепи Маркова если состояние являются несущественным, то оно является невозвратным, и наоборот. Т.е. в конечных цепях понятия несущественности и возвратности совпадают. Доказательство этого факта, впрочем, мне совершенно не ясно, поэтому прошу помощи.

Вот, например, доказательство из задачника Прохорова, "Задачи по теории вероятностей". Рассмотрим пока только следствие в одну сторону: несущественность влечет невозвратность.

Пусть дана цепь Маркова $\xi_k$ с состояниями из $E=\{ 1,2,... \}$, причем $|E| < \infty$. Пусть состояние $i \in E$ несущественное. Для него можно указать состояние $j \in E$ и число шагов $n \ge 1$, такое, что $P_{ij}^{(n)}={\bf{P}}\left( {{\xi _n} = j|{\xi _0} = i} \right) > 0$. Более того, для любого $k \ge 1$ выполнено $P_{ji}^{(k)}={\bf{P}}\left( {{\xi _k} = i|{\xi _0} = j} \right) = 0$. Обозначим $f_{ii}$ -- вероятность возвращения в состояние $i$. Тогда (цитирую) $$f_{ii} \le \mathbf{P}(\text{не будет ни одного попадания в состояние $j$ из состояния $i$}) \le 1-P_{ij}^{(n)}\right) < 1.$$ Оценки эти мне совершенно не понятны. Более того, я не понимаю, учитывается ли здесь где-то, что цепь конечная, или это можно записать и для счетных цепей. Я попытался вывести эти неравенства более строго. Вероятность $f_{ii}$ определяется по формуле $$f_{ii} = {\bf{P}}\left( {\bigcup\limits_{k = 1}^{ + \infty } {\left\{ {{\xi _k} = i,{\xi _{k - 1}} \ne i,...,{\xi _1} \ne i} \right\}\left| {{\xi _0} = i} \right.} } \right).$$ Обозначим события ${A_k} = \left\{ {{\xi _k} = i,{\xi _{k - 1}} \ne i,...,{\xi _1} \ne i} \right\}$ и ${B_k} = \bigcap\limits_{q = 1}^k {\left\{ {{\xi _q} \ne j} \right\}}$. Можно показать, что $${f_{ii}} = {\bf{P}}\left( {\bigcup\limits_{k = 1}^{ + \infty } {{A_k}{B_k}} |{\xi _0} = i} \right),$$ что и ясно и по смыслу, так как из $j$ невозможно попасть в $i$. Так я формально учитываю, что путь из $i$ в $i$ не может лежать через состояние $j$. Видимо, что-то похожее имелось ввиду в задачнике Прохорова. Однако что делать дальше не имею представления, мне никак не удалось выписать подходящие оценки, чтобы придти к нужным неравенствам.

Прошу подсказки :-)

 Профиль  
                  
 
 Re: Несущественные и невозвратные состояния в цепях Маркова
Сообщение20.05.2015, 06:31 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Если выйдя из $i$ мы вернёмся когда-нибудь в $i$, то это значит, мы, выйдя из $i$, никогда не попадём в $j$. Поскольку из $j$ вернуться в $i$ невозможно. Отсюда первое неравенство.
Второе неравенство: событием, противоположным к событию "никогда не попасть из $i$ в $j$", будет событие "когда-нибудь попасть из $i$ в $j$". Когда-нибудь - это за один шаг или за два шага или за три шага и т.д. Вероятность этого "когда-нибудь" больше либо равна вероятности попасть за $n$ шагов. Отсюда второе неравенство.

Без разницы, конечная или счётная цепь.

 Профиль  
                  
 
 Re: Несущественные и невозвратные состояния в цепях Маркова
Сообщение20.05.2015, 12:07 
Заслуженный участник
Аватара пользователя


11/04/08
2736
Физтех
--mS-- в сообщении #1017640 писал(а):
Если выйдя из $i$ мы вернёмся когда-нибудь в $i$, то это значит, мы, выйдя из $i$, никогда не попадём в $j$.
Никогда не попадем в $j$ на участке пути от $i$ до $i$. После возвращения в $i$ хоть трава не расти, попадание в $j$ возможно. Так что событие "никогда не попадем в $j$ из $i$" -- это не совсем то, что нужно.

Я стараюсь подходить к утверждениям очень аккуратно. Событие $A_k$, которое я ввел, означает, что система из состояния $i$ перешла в состояние $i$ за $k$ шагов, причем на своем пути в $i$ попутно не заходила. Так что искомая вероятность вернуться в $i$ ровно такая: $$f_{ii} = \mathbf{P}\left(\bigcup\limits_{k=1}^{\infty}A_k|\xi_0=i\right)$$ Объединение означает, что либо система на первом шаге вернулась в $i$, либо за два шага вернулась, не проходя повторно через $i$, либо за три и так далее. Если я хочу учесть, что попутно из $i$ в $i$ система не проходила через $j$, я ввожу события $B_k=\bigcap\limits_{q=1}^k\{ \xi_q \ne j\}$ и теперь рассматриваю события $A_k B_k$, которые означают, что система перешла из $i$ в $i$, на своем пути она в $i$ не заходила, и в $j$ на своем пути она тоже не заходила. Поэтому у меня и получается, $$f_{ii} = \mathbf{P}\left(\bigcup\limits_{k=1}^{\infty}A_k B_k|\xi_0=i\right)$$ Что за событие стоит под вероятностью? Либо система перешла из $i$ в $i$ за один шаг, либо система перешла из $i$ в $i$ за два шага, и на первом шаге она не была ни в $i$, ни в $j$, и так далее.

Теперь давайте рассмотрим событие "не будет ни одного попадания из $i$ в $j$". Для этого я введу $$B_{\infty} = \bigcap\limits_{q=1}^{\infty}\{ \xi_q \ne j\}$$ Если бы, действительно, было выполнено неравенство $$f_{ii} = \mathbf{P}\left(\bigcup\limits_{k=1}^{\infty}A_k B_k|\xi_0=i\right) \le \mathbf{P}\left(\bigcap\limits_{q=1}^{\infty}\{ \xi_q \ne j\}|\xi_0=i\right),$$ то очевидно, что $$f_{ii} \le \mathbf{P}\left( \xi_n \ne j |\xi_0=i \right) = 1-\mathbf{P}\left( \xi_n = j |\xi_0=i \right) < 1.$$ Но переход к $B_{\infty}$ мне и не ясен. Возможно, поможет факт, что ${A_k}$ составляют полную систему непересекающихся событий, а ${B_k}$ является вложенной убывающей системой событий.

 Профиль  
                  
 
 Re: Несущественные и невозвратные состояния в цепях Маркова
Сообщение21.05.2015, 22:50 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Вы правы, конечно, по поводу первого неравенства. Пока, за отсутствием времени подумать и найти что-то более простое, могу предложить разве что доказательство исходного факта в книжке Чжун Кай-лай, "Однородные цепи Маркова", теорема 4.4.

 Профиль  
                  
 
 Re: Несущественные и невозвратные состояния в цепях Маркова
Сообщение21.05.2015, 22:55 
Заслуженный участник
Аватара пользователя


11/04/08
2736
Физтех
Спасибо, как будет свободное время, прочитаю!

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group