Цепи Маркова

[Gaary_P]

Задача.
Матрица переходных вероятностей $P=(p_{i,j})$ цепи Маркова $\xi_t$ с состояниями 1 и 2 определяется формулами $p_{11}=1- \alpha , p_{12}= \alpha , p_{21}= \beta , p_{22}=1- \beta $. Найти вероятности $p_{i,j}^{(t)}$ перехода за время $t$ и стационарные вероятности $\pi_i$.

Помогите понять, с чего хотя бы начать? Идей совсем никаких

[--mS--]

Начните с определений. Как связана матрица переходных вероятностей за $n$ шагов с матрицей переходных вероятностей за один шаг?

[Gaary_P]

Это я понимаю, матрица переходных вероятностей за $n$ шагов равна матрице переходных вероятностей за один шаг в степени $n$.
Просто, насколько я понимаю, у нас не шаги (т.е. дискретное время), а именно непрерывное. Как в таком случае?

[--mS--]

Gaary_P в сообщении #657703 писал(а):

Просто, насколько я понимаю, у нас не шаги (т.е. дискретное время), а именно непрерывное. Как в таком случае?

Если бы это было так, переходные вероятности ($p_{ij}(t_1, t_2)$ или, в однородном случае, $p_{ij}(t_2-t_1)$) должны были бы зависеть от времени. А здесь даны вероятности перехода за один шаг, стало быть, время дискретно. В непрерывном времени задают скорее интенсивности перехода из состояния в состояние.

[Gaary_P]

А, то есть $t$ - это количество шагов, так? Тогда мы находим матрицу переходных вероятностей за один шаг в степени $t$ это и будет решение

[--mS--]

Безусловно.

[Gaary_P]

Подскажите еще пожалуйста, вот я пишу, что
$P_t=(\begin{smallmatrix} 1-\alpha & \alpha\\ \beta & 1-\beta \end{smallmatrix})^t$. Мне необходимо написать это в явном виде, но если просто возводить матрицу в степень $t$, то нет никакой зависимости и я не могу написать каждый элемент матрицы.
Может есть какие-то формулы?

Есть конечно предположение, что можно воспользоваться равенством Маркова:
$P_{ij}(n)=\sum_{r=1}^{k}P_{ir}(m)P_{rj}(n-m)$.
Но я все равно не очень понимаю, как это можно применить.

[Slumber]

Там легко выводятся реккурентные формулы для всех четырех элементов матрицы.
Например для первого члена (левого верхнего)

$p_{00}^{(n)}=p_{00}^{(n-1)}(1-\alpha)+p_{01}^{(n-1)}\beta=p_{00}^{(n-1)}(1-\alpha)+(1-p_{00}^{(n-1)})\beta =$
$ \beta + (1-\alpha - \beta)p_{00}^{(n-1)}$

Ну продолжим
$\beta + (1-\alpha - \beta)p_{00}^{(n-1)} = \beta + (1-\alpha - \beta)\beta + (1-\alpha - \beta)^2 p_{00}^{(n-2)} = $
$ \beta + (1-\alpha - \beta)\beta + (1-\alpha - \beta)^2 \beta + (1-\alpha - \beta)^3 p_{00}^{(n-3)}$
Видна прогрессия. Если $\alpha+\beta <1$, она сойдется к $\beta/(\alpha+\beta)$, а степень уйдет к нулю.
В общем у вас будет два предельных состояния: одно-матрица с одинаковыми строками, а второе - две чередующиеся диагональные матрицы, это если $\alpha=\beta=1$

Посмотрите, например, Кельберт, Сухов Том2. И в Феллере, у меня стр.415.

[--mS--]

Ну а ещё в задачнике Прохорова и Ушаковых можно ответ посмотреть :) Номер задачи искать лень, но она там есть.

[Gaary_P]

Спасибо, буду разбираться)