Граничные вероятности для марковской цепи с двумя возвратным

[qiqvo]

Граничные вероятности для марковской цепи с двумя возвратными классами.
Например дана такая матрица переходных вероятностей:

$$\begin{bmatrix} 0& 1/3 & 2/3 & 0\\ 5/6 & 0 & 0 & 1/6 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \\ \end{bmatrix}$$

И вот такое начальное распределение:

$$\begin{pmatrix} 1 & 0 & 0 & 0 \\ \end{pmatrix}$$

Как в таком случае искать граничные вероятности?

Если, например, найти собственный вектор для 1 (а таких тут два), а потом пронормировать, то выходить совсем не то же, что выйдет, если возносить матрицу в большие степени и умножать на вектор.

[ewert]

qiqvo в сообщении #1206487 писал(а):

найти собственный вектор для 1 (а таких тут два), а потом пронормировать, то выходить совсем не то же

Боюсь, что пока что ничего не может выйти. Пока Вы не склеили этот вектор в один неопределёнными коэффициентами.

Но всё это потом. А сначала -- исправить вторую строчку в матрице.

[DeBill]

qiqvo
Что то матрица Ваша не шибко стохастическая... (вторая строка).
Под "граничными" Вы имеете в виду - предельные?

qiqvo в сообщении #1206487 писал(а):

Если, например, найти собственный вектор для 1 (а таких тут два), а потом пронормировать, то выходить совсем не то

Да, хотя и непонятно, об чем речь. Т.е., если делать непонятно что и непонятно зачем, то и получится фигня кака то...
А вот если найти все четыре собственных вектора (транспонированной матрицы), да разложить по ним вектор начальных вероятностей - вот тут и будет совсем тоже.....

[ewert]

DeBill в сообщении #1206491 писал(а):

А вот если найти все четыре собственных вектора

Зачем 4?

[qiqvo]

Извините, не заметил опечатку

-- 04.04.2017, 17:03 --

Цитата:

если найти все четыре собственных вектора (транспонированной матрицы), да разложить по ним вектор начальных вероятностей - вот тут и будет совсем тоже.....

Вот тут как раз и не очень понятно что и зачем делается. Если можете, киньте какую-то теорку по такому подходу.

Цитата:

Если, например, найти собственный вектор для 1 (а таких тут два), а потом пронормировать

Имеется ввиду стандартный способ поиска предельных вероятностей. P - матрица перехода, p - вектор пред. вер., тогда
p = p*P
p*(P-E) = 0
А вот тут и будет поиск собственного вектора для собственного значения 1.

[ewert]

qiqvo в сообщении #1206494 писал(а):

Вот тут как раз и не очень понятно что и зачем делается.

Дело в том, что когда Вы ищете собственный вектор, то общее решение получится двухпараметрическим. Каждый из коэффициентов -- это вероятность нахождения в соответствующем классе, т.е. сумма вероятностей по всем состояниям, из которых состоит класс.

Эта вероятность не меняется. Поэтому надо просто сложить суммы начальных вероятностей для каждого класса -- и получатся коэффициенты.

Хотя поскольку у Вас в каждом классе есть поглощающее состояние -- можно вообще ничего не считать (даже собственных векторов) и написать ответ сразу. Но это некоторое жульничество.

[DeBill]

qiqvo в сообщении #1206494 писал(а):

А вот тут и будет поиск собственного вектора для собственного значения 1.

Да. Да только их - два! (Да чё их искать - это ж стандартные базисные, $(0,0,1,0)$ да $(0,0,0,1)$). А также и все их линейные комбинации. И вся проблема - какой же из них - наш?
Теорийка: Пусть $e_1,e_2,e_3,e_4 -$ собственный базис (для $P^t$, или "левый" - для $P$, $e_j P_j = \lambda_je_j$) , причем первые два собственных значения по модулю меньше 1, а последние два в точности равны 1. Пусть вектор начальных вероятностей $p_0$ есть их линейная комбинация с к-тами $c_j, j=1,2,3,4.$ Тогда
$p_n = p_0 P^n = \sum\limits_{j=1}^{4}c_je_j \cdot P^n = \sum\limits_{j=1}^{4} c_j \lambda_j^n e_j \to c_3e_3 +c_4e_4 = (0,0,c_3,c_4)$

[ewert]

DeBill в сообщении #1206504 писал(а):

$p_n = p_0 P^n = \sum\limits_{j=1}^{4}c_je_j \cdot P^n = \sum\limits_{j=1}^{4} c_j \lambda_j^n e_j \to c_3e_3 +c_4e_4 = (0,0,c_3,c_4)$

Со всем этим имеет смысл возиться только тогда, когда есть невозвратные состояния. И морока эта для больших матриц ещё та. Но тут невозвратных нет.

[DeBill]

И - да, конечно, можно ответ найти - и много проще - "по ewert у":
Если $x=c_3$ - вероятность умереть в состоянии 3 при старте из состояния 1, а $y$ - вероятность умереть в состоянии 3 при старте из состояния 2, то $x=\frac{1}{3}y + \frac{2}{3}, y= \frac{5}{6} x$......
Но полезно понимать и другой подход, и связь со степенями матриц.

[qiqvo]

Появилось решение:
Понятно, что предельный вектор будет иметь вид:
$\begin{pmatrix} 0 &0 &p &1-p \end{pmatrix}$
Значит, определим вероятность попасть в состояние 3.
Будем обозначать $x_i$ вероятность оказаться в состоянии 3, если сейчас мы в состоянии $i$. Мы уже знаем, что $x_3 = 1, x_4 = 0$.
$x_1 = \frac{1}{3} x_2 + \frac{2}{3} x_3$
$x_2 = \frac{5}{6} x_1 + \frac{1}{6} x_4$

Решаем:
$x_1 = 12/13$
$x_2 = 10/13$

Так как мы начинаем в состоянии 1, то имеет место быть такой вектор:
$\begin{pmatrix} 0 &0 &12/13 &1/13 \end{pmatrix}$

Я к сожалению не дошел до этого, решение взято
https://www.quora.com/What-is-the-Marko ... er-Davis-2

[ewert]

qiqvo, какие у Вас классы -- из чего состоят?

[qiqvo]

Не понял вопрос. Какой смысл вложен в состояния в этой матрице?

[ewert]

У Вас два возвратных класса. Какие именно состояния (с какими номерами) входят в первый класс -- и какие во второй?

[qiqvo]

Тут два несущественных состояния -- 1,2.
Остальные два -- 3,4 -- это два возвратных состояния-класса.

[ewert]

qiqvo в сообщении #1206513 писал(а):

Остальные два -- 3,4 -- это два возвратных состояния-класса.

Да, я неправильно вопрос поставил, снимаю.