Марковские цепи

[ozhigin]

Исследовать асимптотическую динамику поведения подопытного животного, которое должно приспособиться к действиям экспериментатора, размещающего случайным образом пищу в одной из кормушек: в правую пища кладется с вероятностью $P$ , а в левую - с вероятностью $Q$. Животное после очередного размещения пищи имеет возможность попасть только в одну из кормушек по своему выбору. Следует принять, что стратегия выбора животным кормушки может быть описана детерминированным конечным автоматом с тремя состояниями $\chi$: -1,1,2. При $\chi= -1$ животное бежит в правую кормушку, а при $\chi= 1,2$ - в левую. Смена состояний $\chi$ определяется тем, нашло животное пищу или нет.
Переходы при удаче и ниже Переходы при неудаче

Определить, при каких значениях $P$ вероятность получения животным пищи (при длительно повторяющихся экспериментах) окажется больше значения $0,8$
--------------------------------------------------------------------------------------------------------------------

построил граф с 6 вершинами типа $(i,b)$, где $i=-1,1,2$ ,а $b=N,\overline N$ (находит, не находит)

составил матрицу 6 на 6 , добавил условие нормировки, получил отрицательную $P$ (всё выражал через $P$), транспонировал матрицу снова попытался найти неподвижную точку получил вектор с компонентами из $\frac{1}{6}$
вот не знаю, правильно ли последнее, наверно должно зависеть от $P$ или я чего-то не понимаю? и можно ли сделать всё на графе с тремя вершинами?

-- Сб апр 30, 2011 23:10:17 --

извините за граф картинкой)

[ozhigin]

ewert выручай =)