Вопрос снимается. Кажется, примерами таких марковских цепей могут служить цепи

следующего вида: пусть

независимые экспоненциально распределенные случайные величины со средним

. Положим


,

до момента

, конечного с вероятностью 1. После этого момента мы можем присвоить процессу любое значение - например,

, и "запустить" цепь по новой. Видимо, все цепи

будут иметь инфинитеземальную матрицу, указанную в задаче.