Проверьте 

.
если умножить матрицу перехода на исходную матрицу в новом базисе и на транспонированную матрицу перехода, то должна получиться исходная, а у меня не получается. 
 Не очень понял. 
Я тоже)))
Иногда полезно перечитывать то, что пишешь 
 
  

 - матрица системы при 

, ранг матрицы равен 1(2 неизвестныx задаем произвольно), координаты соответствующего вектора 

=

 связаны уравнением 

Вот дальше мне не очень ясно. Мои вектора получены по аналогии с решенными заданиями на семинаре. Просто сначала одно неизвестное приравняли единице, а второе нулю, а затем наоборот. Вот и два вектора. Может я что-то совсем не так делаю?