Пытаюсь разобраться с задачей из сборника Ширяева.
Дано:
Пусть

- однородная марковская цепь с множеством состояний Х и матрицей перехода

. Обозначим,

. Пусть неотрицательная функция

удовлетворяет уравнению

где

принадлежит

.
Доказать, что последовательность случайных величин

где

- разбиение относительно

c

образует мартингал.
Как я рассуждаю: нужно доказать, что последовательность мартингал, для этого нужно рассмотреть

показать, что

измерима относительно

и показать, что

. Марковость

должна пригодиться при доказательстве второго пункта про математическое ожидание. Начинаю со второго пункта.Как раскрутить дальше формулу ни как не пойму.

Подскажите с преобразованиями.