
То есть, насколько я понимаю, это просто интеграл Римана по всем элементам положительно определенной

матрицы

.
Мера

инвариантна относительно преобразования

для унитарной

. Положительную матрицу так можно свести к диагональной с упорядоченными диагональными элементами. Т. е. надо проинтегрировать по диагональным матрицам с упорядоченными элементами, а потом по всем

. Мера Хаара --- это единственная инвариантная вероятностная мера на

. Мера

с точностью до нормировки совпадает с произведением стандартной меры на диагональных матрицах с упорядоченными элементами и меры Хаара на

. С нормировкой надо аккуратно --- например, Вы учитываете, что

?
Собственные вектора как раз и есть столбцы

.
Более подробно посмотрите книги по случайным матрицам. В любой из них есть глава про такие интегралы. Недавно какую-то из известных книг издали на русском.