Ну, кватернионы, вроде, самое лучшее, что есть на свете (и при желании их можно под конец переводить в матрицу поворота, хотя применять их к вектору можно весьма экономично с помощью чего-то, напоминающего формулу Родрига (или формул
ы, не знаю — кажется, его именем названо несколько аналогичных формул для разных формализмов — и вот тут тоже одна)).
Но тогда не получится их, скажем, усреднить в небольшой окрестности или дисперсию посчитать. И пронормировать тоже не выйдет, ну загоню я их на одну полусферу, всё равно проблемы будут на границе.
А какой смысл у дисперсии или усреднения? Нельзя усреднять и брать дисперсию у чего попало просто покоординатно, должен быть геометрический смысл. Вот его найдёте — и проблема обязательно решится. И вот кстати кватернионное представление позволяет легко линейно интерполировать поворот.
Вообще есть подозрение на проблему XY: для чего вы хотите использовать это усреднение ориентации/поворота? Может быть, есть другой способ.