Привет всем , вопрос по цепям Маркова
Пусть

- марковская цепь с множеством состояний

и матрицей переходных вероятностей
Определим последовательность

так:
При каком условии

также будет марковской цепью?
Вот что я хотел сделать:
1) Сформулировать марковское свойство для первой последовательность, а потом использовать его для упрощения аналогичного для второй последовательности. НО я не знаю что делать когда, например,

, так как в этом случае

может быть равно 1 или 2, как это записать формулой ( пробовал через сумму вероятностей, тк это независимые события, но ничего конкретного не получалось)
2) Построить диаграмму переходов , но в таком случае у меня получалось, что сумма элементов строк матрицы переходов

не равняется 1 ( параметры сокращаются ).
Как лучше подступить?