О ужас...
Так,
0. теорема и правда сильная.
Xoma - отвечая на Ваши вопросы
1.

- вектор-функция, как Вам уже написали

. норма

можете считать

2. Я не знаю зачем там поменяли местами

и

, но это совсем разные функции. А именно:

- закон по которому развивается система, чьим состоянием является точка (вектор)

, она задана Вам изначально.

- служебная функция, удовлетворяющая условиям теоремы - функция Ляпунова. Ее нужно найти чтобы показать что система диссипативна.
3. Данное условие обозначает, что есть такая функция

что для любого

функция

. А если при этом

при больших

, то это значит что

.
2'. Функция может быть невозрастающей на решениях - это значит, что

невозрастающая.
Ваше утверждение про размерность матрицы несколько неосторожно, посмотрите на пример нормы который я написал. То, что она стремится к бесконечности означает, что точка

удаляется от начала координат.