Нет, определителем не обойдёшься - надо найти собственные направления и собственные числа, то есть к диагональному виду привести надо.
Получится

Собственные числа не могут оказаться одновременно меньше 1 по модулю. Поэтому и в самом деле любая точка, отличная от начала координат поползёт в бесконечность при многократном действии этой матрицы. Остаются тривиальные случаи

, в которых ограниченные инвариантные множества есть.