Попробуйте использовать следующий ход рассуждений. Для простоты рекомендую использовать не произвольные индексы и количества переменных, а фиксированные.
1. Докажите, что из определения марковской цепи можно из условной части выкинуть некоторые промежуточные переменные. Пример:

. В общем виде:

.
2. Докажите, что в левой части можно добавить (без пропусков) произвольное число переменных. Пример:

При этом будет использован предыдущий пункт, так как в условной части есть пропуски.
3. Теперь можно применить формулу полной вероятности, чтобы доказать то, что нам надо. Пример: хотим получить, что

. Условную часть не трогаем, добавляем в качестве разбиения пространства все возможные значения, которые может принимать пропущенная пара

. Это будет выглядеть так:
Теперь осталось применить пункт 2 к каждому слагаемому, чтобы убрать лишние переменные из условной части, далее обратно собираем по формуле полной вероятности.
Добавлено спустя 7 минут 33 секунды:
Поправил заголовок темы, сделав его чуть более информативным