О неприводимости общей цепи Маркова

[Горьковчанин]

В теории общих цепей Маркова существует понятие $\varphi$-неприводимости: пусть имеется переходное ядро $K(x,A)$. Это ядро $\varphi$-неприводимо относительно вероятностной меры $\varphi$, если из $\varphi(A)>0$ следует $x\to A$ (множество $A$ достижимо из состояния $x$ за конечное число шагов). Далее доказывается, что существует максимальная определяющая неприводимость мера $\psi$. Доказательство конструктивно: рассматривают меру $\psi=\sum_{n=1}^\infty 2^{-(n+1)} \varphi K^n$ и утверждают, что она также определяет неприводимость. У меня не получается этого увидеть. Из $\psi(A)>0$ можно заключить, что некоторые интегралы $\int \varphi(dx)K^n(x,A)$ положительны. Но интегрируемую функцию $K^n(x,A)$ можно в некоторых точках поменять в общем случае, занулить и т.д. тогда множество $A$ окажется недостижимым из некоторых состояний... Почему все-таки делается заключение, что $A$ достижимо отовсюду?

[--mS--]

Давайте я Вам просто приведу доказательство: думаю, оно снимет вопросы. Это почти док-во из первоисточника, только пришлось один баг у Майна и Твиди поправить, ядро обозначить как у Вас, ну и размазать всё до мелочей.

Пусть $A$ таково, что $\psi(A)>0$. Пусть $Y=\Bigl\{y\in X~|~\sum\limits_{n\geq 1} K^n(y, A) > 0\Bigr\}$. Тогда

$$0<\psi(A):=\int\limits_X \varphi(dy) \sum\limits_{n\geq 1}K^n(y, A) \cdot 2^{-(n+1)}=\int\limits_Y \varphi(dy) \sum\limits_{n\geq 1}K^n(y, A) \cdot 2^{-(n+1)}$$

- просто выкинули множество, на котором подынтегральная функция нулевая. Положительность интеграла влечёт, что $\varphi(Y)>0$ (иначе... )

Пусть $A_k=\Bigl\{y~|~ \sum\limits_{n=1}^k K^n(y, A) > \frac1k\Bigr\}$. Последовательность множеств $A_1\subseteq A_2\subseteq \ldots$ возрастает и в объединении даёт $Y$. Соответственно, непрерывность меры (лемма о вложенных шарах, ...) даёт $\varphi(A_k)\to \varphi(Y)>0$, поэтому найдётся $k$, при котором $\varphi(A_k)>0$. Из $\varphi$-неприводимости это означает, что $A_k$ достижимо отовсюду. Следовательно, для всякой точки $x$ найдётся номер $m$ такой, что $K^m(x, A_k) >0$.

Тогда оценим снизу вероятность

$$\sum_{n=1}^k K^{m+n}(x, A) = \int\limits_X K^m(x,\, dy) \cdot \sum_{n=1}^k K^n(y, A) \geq \int\limits_{A_k} K^m(x,\, dy) \cdot \sum_{n=1}^k K^n(y, A) \geq $$

$$\geq\frac1k \int\limits_{A_k} K^m(x,\, dy) = \frac 1k K^m(x, A_k)>0. $$

Поэтому множество $A$ достижимо из любой точки $x$, что и т.д.

[Горьковчанин]

Спасибо. Меня тоже смущало утверждение Майна и Твиди, что $A_n\uparrow X$.

[Горьковчанин]

Теорема 5.1.1 у Твиди и Майна: определение атома не предполагает, что $P(\alpha,\alpha)>0$, так? Более корректная формулировка, что определяющая неприводимость мера есть $\nu(\cdot)=P^{n_0}(\alpha, \cdot)$, где $n_0$ определяется условием $P^{n_0}(\alpha,\alpha)>0$, думается.

[--mS--]

А зачем? Если множество $\alpha$ - атом, $\nu(A):=P(y, A)\equiv P(\alpha, A)$, где $y\in\alpha$, то в док-ве теоремы (у меня в электронном виде это предложение 5.1.1) показано, что

$$\sum_n P^{n+1}(x, A) \geq \nu(A) \sum_n P^n(x,\alpha).$$

Пусть теперь атом ещё и "достижим", т.е. $\sum_n P^n(x,\alpha)>0$ для всех $x\in X$. Если теперь $\nu(A)>0$, то вся правая часть положительна, тогда и левая часть тоже положительна, т.е. множество $A$ достижимо отовсюду. Всё, $\nu$-неприводимость показана.

Не вижу, зачем и где нужно, чтобы $P(\alpha,\alpha)>0$.

(Оффтоп)

На всякий случай, чтобы Вы шибко на меня не рассчитывали: я книгу Майна и Твиди за почти 20 лет так и не читала ни разу, увы, поэтому только не очень глубоко могу копнуть.

[Горьковчанин]

В определении достижимого атома (стр. 104) есть условие "... и если $\psi(\alpha)>0$..." (а не про $\sum_n P^n(x,\alpha)$). Здесь вместо $\psi $ подставляем меру $\nu$. Итак: если $\nu(\alpha)>0$ - то нет вопросов. А если $\nu(\alpha)=0$ - определение умалчивает. Однако из неравенства $\sum_n P^n(x,\alpha)>0$ не следует, что именно $P(x,\alpha)>0$. Но теорема категорично утверждает, что атом \alpha достижим... Видимо, я не так понял формулировку теоремы: там не утверждается, что достижимость именно относительно $\nu$, а $\nu$ только упоминается в контексте неприводимости... Но тогда в доказательстве отсутствует часть про достижимость атома, а только доказывается роль меры $\nu$. Надо будет дальше аккуратно читать: не вздумают ли товарищи утверждать, что достижимость именно относительно $\nu$.

[--mS--]

Горьковчанин в сообщении #627730 писал(а):

В определении достижимого атома (стр. 104) есть условие "... и если $\psi(\alpha)>0$..." (а не про $\sum_n P^n(x,\alpha)$).

Нет, не так. "Если цепь $\psi$-неприводима и $\psi(\alpha)>0$, то атом называется достижимым". По определению $\psi$-неприводимости (см. раздел 4.2 - пси тут не просто буква, это максимальная мера, о которой шла речь выше), из $\psi(\alpha)>0$ вытекает, что $\sum_n P^n(x,\alpha)>0$. Это и есть достижимость из любого состояния.

А дальше вообще не поняла, что именно не так. Никакой "достижимости атома относительно $\nu$" быть не может, пока $\nu$ не является максимальной мерой неприводимости. В теореме утверждается две вещи:
1) атом $\alpha$ достижим,
2) цепь $\nu$-неприводима.

Пункт (2) доказан. Пункт (1) означает, что существует максимальная мера $\psi$, относительно которой цепь неприводима, и $\psi(\alpha)>0$. Это сразу следует из п. (2) и теоремы, которую мы обсуждали выше. Мера $\nu$ уже обеспечивает неприводимость, значит максимальная мера существует, строится как выше, и сразу же из $\sum_n P^n(x,\alpha)>0$ следует $\psi(\alpha)>0$.

Ещё раз (думаю, не раз понадобится). Когда авторы пишут "$\varphi$-неприводимость", это означает то, что написано. Когда авторы пишут $\psi$-неприводимость, это неприводимость с максимальной мерой, как описано в рамочке в п.4.2.

[Горьковчанин]

Теперь хочется поговорить о равномерной невозвратности, как ее определяют Твиди и Майн: множество $A$ называется равномерно невозвратным, если существует константа $M<\infty$ такая, что $E_x[\eta_A]\leq M$ для всех $x\in A$. Хочется понять, почему ограничивают начальное положение множеством A. Предполагаю, что из такого определения следует $E_x[\eta_A]\leq M$ для всякого начального $x$, поскольку из разложения по моменту первого попадания в $A$, для произвольного натурального $N$
\begin{multline*} \sum_{n=1}^N P^n(x,A) = \sum_{n=1}^N \sum_{m=1}^n \int_A {}_A P^m(x,dy)P^{n-m}(y,A) \\ = \int_A \sum_{m=1}^N {}_A P^m(x,dy) \sum_{n=m}^N P^{n-m}(y,A)\leq \int_A \sum_{m=1}^N {}_A P^m(x,dy) M \\ = M \sum_{m=1}^N {}_A P(x,A) \leq M L(x,A) \end{multline*}
Отсюда, ${\mathsf P}_x(\Phi_n\in A)\to0$ с ростом $n$. И тут не важно, будет ли $\psi(A)>0$. Верно?

[--mS--]

Горьковчанин в сообщении #637605 писал(а):

Хочется понять, почему ограничивают начальное положение множеством A. Предполагаю, что из такого определения следует $E_x[\eta_A]\leq M$ для всякого начального $x$,

Следует, конечно. Но зачем требовать больше, если можно требовать меньше?