То есть, насколько я понимаю, это просто интеграл Римана по всем элементам положительно определенной
матрицы
.
Мера
инвариантна относительно преобразования
для унитарной
. Положительную матрицу так можно свести к диагональной с упорядоченными диагональными элементами. Т. е. надо проинтегрировать по диагональным матрицам с упорядоченными элементами, а потом по всем
. Мера Хаара --- это единственная инвариантная вероятностная мера на
. Мера
с точностью до нормировки совпадает с произведением стандартной меры на диагональных матрицах с упорядоченными элементами и меры Хаара на
. С нормировкой надо аккуратно --- например, Вы учитываете, что
?
Собственные вектора как раз и есть столбцы
.
Более подробно посмотрите книги по случайным матрицам. В любой из них есть глава про такие интегралы. Недавно какую-то из известных книг издали на русском.