Ох, чувствуется, на насколько разных языках мы говорим
Попробую тогда решить задачку. Задам вектор

и базис ортогональной ему плоскости

,

(тройка

правая, как и должно быть).
Группа

состоит из элементов

, где оси

есть медианы равностороннего треугольника, содержащие соответствующую вершину:
![$$
\begin{tikzpicture}
\coordinate (a) at (0, 0.5773);
\coordinate (b) at (0.5, -0.2886);
\coordinate (c) at (-0.5, -0.2886);
\draw (a) node [above] {$a$} --(b) node [below] {$b$} --(c) node [below] {$c$} --cycle;
\draw (0, 0)--(2, 0) node [below] {$x$};
\draw (0, 0)--(0, 2) node [left] {$y$};
\end{tikzpicture}
$$ $$
\begin{tikzpicture}
\coordinate (a) at (0, 0.5773);
\coordinate (b) at (0.5, -0.2886);
\coordinate (c) at (-0.5, -0.2886);
\draw (a) node [above] {$a$} --(b) node [below] {$b$} --(c) node [below] {$c$} --cycle;
\draw (0, 0)--(2, 0) node [below] {$x$};
\draw (0, 0)--(0, 2) node [left] {$y$};
\end{tikzpicture}
$$](https://dxdy-01.korotkov.co.uk/f/8/c/3/8c394f796517c83c348bc6583cfbcdd482.png)
Операция

есть вращение против часовой вокруг

, минус понятно. Здесь у нас в качестве направления

вектор

,

--

,

--

.
На этот базис натянем трёхмерное представление группы

вида

.
(здесь шесть матриц)
(Оффтоп)
Матрица перехода к нашему повёрнутому базису

то есть

. Следовательно, преобразовать матрицы к стандартному базису надо по правилу

.
Итак, получается (здесь матрицы даны в том порядке как выше: 1 -- единичная, 2 --

, 3 --

, 4 --

и т. д.)
Код:
--> l(1)
ans =
1. 0. 0.
0. 1. 0.
0. 0. 1.
--> l(2)
ans =
-0.25 -0.0669873 -0.9659258
0.9330127 0.25 -0.258819
0.258819 -0.9659258 0.
--> l(3)
ans =
-0.25 0.9330127 0.258819
-0.0669873 0.25 -0.9659258
-0.9659258 -0.258819 0.
--> l(4)
ans =
-0.6666667 -0.5773503 -0.4714045
-0.5773503 0. 0.8164966
-0.4714045 0.8164966 -0.3333333
--> l(5)
ans =
0.6606836 -0.6443376 0.3851315
-0.6443376 -0.75 -0.1494292
0.3851315 -0.1494292 -0.9106836
--> l(6)
ans =
-0.4940169 0.3556624 0.7933798
0.3556624 -0.75 0.5576775
0.7933798 0.5576775 0.2440169
С этими матрицами теперь будем работать, забыв о том, что мы знаем закон преобразования.
----------------------------
Рассмотрим представление

. Его характер -- вектор

(классы перечислены в порядке

). Проектор на это представление

имеет вид
Код:
--> P_E = 2/6*(2*l(1) - 1*l(2) - 1*l(3))
P_E =
0.8333333 -0.2886751 0.2357023
-0.2886751 0.5 0.4082483
0.2357023 0.4082483 0.6666667
Тут, видимо, проще всего сделать QR-разложение:

,
Код:
Q =
-0.9128709 0. -0.4082483
0.3162278 -0.6324555 -0.7071068
-0.2581989 -0.7745967 0.5773503
R =
-0.9128709 0.3162278 -0.2581989
0. -0.6324555 -0.7745967
0. 0. 0.
Введём в рассмотрение базис

. Оператор

в этом базисе примет вид

и равен
Код:
--> R*Q
ans =
1. 0. 0.
0. 1. 0.
0. 0. 0.
Выходит, что базис представления

имеет вид
Код:
--> f(1), f(2)
ans =
-0.9128709
0.3162278
-0.2581989
ans =
0.
-0.6324555
-0.7745967
(короче, первые два столбца матрицы

).
-----------------
Рассмотрим представление

. Его характер

, так что проектор на представление имеет вид
Код:
--> P_A = 1/6*(l(1)+l(2)+l(3)-l(4)-l(5)-l(6))
P_A =
0.1666667 0.2886751 -0.2357023
0.2886751 0.5 -0.4082483
-0.2357023 -0.4082483 0.3333333
разложение
Код:
Q =
-0.4082483 0.8726167 -0.2680921
-0.7071068 -0.1165436 0.6974364
0.5773503 0.474297 0.664612
R =
-0.4082483 -0.7071068 0.5773503
0. 0. 0.
0. 0. 0.
и в базисе из столбцов

проектор имеет вид
Код:
--> R*Q
ans =
1. 0. 0.
0. 0. 0.
0. 0. 0.
так что первый столбец является его базисом.
Матрицу базисных векторов обозначим

; она равна
Код:
F =
-0.9128709 0. -0.4082483
0.3162278 -0.6324555 -0.7071068
-0.2581989 -0.7745967 0.5773503
и её теперь применим к операторам представления

в виде

, получив
Код:
w =
w(1)
1. 0. 0.
0. 1. 0.
0. 0. 1.
w(2)
-0.5 -0.8660254 0.
0.8660254 -0.5 0.
0. 0. 1.
w(3)
-0.5 0.8660254 0.
-0.8660254 -0.5 0.
0. 0. 1.
w(4)
-0.6 -0.8 0.
-0.8 0.6 0.
0. 0. -1.
w(5)
0.9928203 -0.1196152 0.
-0.1196152 -0.9928203 0.
0. 0. -1.
w(6)
-0.3928203 0.9196152 0.
0.9196152 0.3928203 0.
0. 0. -1.
В последних трёх матрицах написана какая-то тарабарщина, которая говорит о том, что в идеале можно ещё повернуть векторы

вокруг

на какой-нибудь угол; матрицы

и

при этом не должны измениться. Угол поворота выберем из тех соображений, чтобы

стала диагональной. Получим

матрица преобразования

имеет вид

и применение её к матрице

в виде

даёт в первой строке

поэтому берём уравнение

откуда

. Получаем окончательный результат

Код:
z(1)
1. 0. 0.
0. 1. 0.
0. 0. 1.
z(2)
-0.5 -0.8660254 0.
0.8660254 -0.5 0.
0. 0. 1.
z(3)
-0.5 0.8660254 0.
-0.8660254 -0.5 0.
0. 0. 1.
z(4)
-1. 0. 0.
0. 1. 0.
0. 0. -1.
z(5)
0.5 -0.8660254 0.
-0.8660254 -0.5 0.
0. 0. -1.
z(6)
0.5 0.8660254 0.
0.8660254 -0.5 0.
0. 0. -1.
и матрица перехода

к итоговому базису

получается
Код:
H' =
-0.8164966 0. -0.5773503
0.4082483 -0.7071068 -0.5773503
-0.4082483 -0.7071068 0.5773503
S =
0.8164966 0. 0.5773503
-0.4082483 0.7071068 0.5773503
-0.4082483 -0.7071068 0.5773503
где штрих = траспонирование, приведено для удобства сравнения с исходной матрицей перехода к стандартному базису

Произведение

равно

Всё получилось с точностью до обращения направлений

.
--------------------------------------------------------------------------------------------
Загляните в Марию Ивановну Петрашень с Евгением Дмитриевичем Трифоновым ПРИМЕНЕНИЕ ТЕОРИИ ГРУПП В КВАНТОВОЙ МЕХАНИКЕ, глава 7. И вообще, если Вы эту книжку раньше не видели, то рекомендую.
Спасибо! Посмотрю. Пытаюсь пока вслепую что-то получить осммысленное.
-- 05.12.2020 в 23:31 --Например, взять элемент третьего порядка

, случайный вектор

, тогда

направлен вдоль этой оси.
Не выходит так (применял оператор

).