IvashenkoAV, в вашей модели 53 состояния (если колода из 52 карт): полная колода, колода без двойки треф, колода без тройки треф и т. д. Это марковская модель, потому что вероятности переходов зависят только от текущего состояния и не зависят от истории. Вероятность перехода равна

для перехода из полной колоды в любое состояние с вытащенной картой и равна

для перехода в состояние с полной колодой. В немарковской модели история играет роль. Например, добавим правило: если
прошлая (не текущая) вытащенная карта была туз, то мы не возвращаем карту, а тянем ещё одну. Всё, получили немарковскую модель. То есть отличие в том, надо ли нам знать что было раньше или только то что сейчас. В моей модели с лампочками надо знать, что было в момент

даже если он в прошлом и на часах уже

.
Спасибо за ответ, но Вы не ответили на вторую часть вопроса: если система переходит из состояния без одной карты в состояние полной колоды за час, а из состояния полной колоды в состояние без карты за секунду, то как это влияет на вероятность обнаружить колоду в каком-то состоянии?