так, а

- это матрица из исходных векторов?

- это матрица поворота в новом базисе. В новом базисе она должна осуществлять поворот в плоскости 1-го и 2-го базисных векторов на ваши

(кстати, ещё можно поразвлечься размышлением, в какую сторону), а 3-й и 4-й базисные вектора оставлять на месте.
Ну я умножу их, но мне же эту плоскость на угол надо повернуть по условию
Результат умножения и будет то, что вам надо.
-- 18.05.2014 20:06:50 --Причём, что смешно, он уже от вашего самодельного базиса будет не зависеть.
-- 18.05.2014 20:07:26 --Да и в базисе из единичных векторов. Чёрт, это всё заново делать?
Что заново? Просто отнормируйте векторы. Вы умеете делить все координаты на норму вектора?