О ужас...
Так, 
0. теорема и правда сильная. 
Xoma - отвечая на Ваши вопросы
1. 

 - вектор-функция, как Вам уже написали 

. норма 

 можете считать

2. Я не знаю зачем там поменяли местами 

 и 

, но это совсем разные функции. А именно: 

 - закон по которому развивается система, чьим состоянием является точка (вектор) 

, она задана Вам изначально. 

 - служебная функция, удовлетворяющая условиям теоремы -  функция Ляпунова. Ее нужно найти чтобы показать что система диссипативна.
3. Данное условие обозначает, что есть такая функция 

 что для любого 

 функция 

. А если при этом 

 при больших 

, то это значит что 

.
2'. Функция может быть невозрастающей на решениях - это значит, что 

 невозрастающая.
Ваше утверждение про размерность матрицы несколько неосторожно, посмотрите на пример нормы который я написал. То, что она стремится к бесконечности означает, что точка 

 удаляется от начала координат.