На всякий случай спрошу, Вы же не думаете, что условия

достаточно, чтобы

была ортогональной?
Матрица Z есть матрица поворота, а такие матрицы всегда с детерминантом единица. Поэтому не понял Вашего вопроса.
-- Пт авг 25, 2017 14:51:12 --Это примерно как выбраться из города в близлежащий лес на расстояние двадцатиминутной пешей прогулки и удивляться, почему там малина вся уже оборвана.
Ну я по своей наивности кроме стандартной тензорной алгебры ничего не знаю и понятия не имел, что оказывается там ещё что-то есть важное для физики чего нет в стандартных курсах. Поэтому разочарован да.
-- Пт авг 25, 2017 15:21:42 --Хорошо. Прокомментируйте сейчас мой способ решения исходного уравнения.
Возводим его в квадрат. В силу ортогональности матрицы Z получим, что

Далее обозначим

Матрица B симметричная. Поэтому можно стандартным способом найти её главные значения из уравнения

и потом главные вектора из уравнения

.
После нахождения главных значений

и главных векторов

заметим, что главные вектора матрицы В являются главными векторами матрицы Y. Поэтому дальнейшее очевидно. Главными значениями матрицы Y являются значения

. Восстанавливаем матрицу Y. Она равна

Дальнейшее очевидно. Находим обратную матрицу к матрице Y и на последнем этапе находим матрицу Z.