А зачем, если не секрет, вам ортогонализация?
И что за странная формула для косинуса? По крайней мере, в трёхмерном пространстве угол между вектором и плоскостью есть угол между вектором и его проекцией. Вы, по-моему, синус посчитали. Каковой вполне закономерно что-то около единицы, раз уж косинус примерно нулевой.
Есть формула, которая работает только для ортогонального базиса, а не для любого, исходный был не ортогональный и я его ортогонализировал, а потом применил формулу:

, где {

} - это ортогональный базис пространства

Так я же ведь и искал угол между проекцией и вектором:
В общем я так понимаю, что в ответе опечатка или, что скорее всего, записан сам угол, а не косинус угла, хотя в задании спрашивается именно косинус.