Правильно ли я понимаю, что сферические гармоники

являются неприводимыми представлением группы вращений 3х мерного Эвклидова пространства (

)? И если да, на что можно сослаться?
В действительности, можно даже в третьем томе Ландау прочитать. Если понимать, что читаешь
Смысл такой. Операторы момента импульса являются инфинитезимальными операторами для группы

. В качестве пространства представления выбираются дифференцируемые функции трёх вещественных переменных, причём достаточно ограничиться теми, которые заданы на сфере (при любых вращениях сфера переходит сама в себя).
Базисные векторы представления удобно искать, отталкиваясь от оператора Казимира, который для группы

- это квадрат оператора момента импульса.

Записываете это уравнение в сферических координатах - получаете дифференциальное уравнение для сферических функций. У Ландау описывается и как прийти к этому уравнению, и как его решают техникой повышающих и понижающих операторов.
Размерность представления группы вращений определяется т.н. весом - как раз число

из уравнения (по совместительству максимальная проекция момента на выделенное направление - обычно ось аппликат) - и равна

. Это как раз число сферических функций с первым индексом

, потому что у сферической функции два индекса, и второй принимает значения от

до

через единицу. Так и получается, что из сферических функций можно построить базис в пространстве любого представления группы вращения
с целым весом. Больше деталей у Ландау или, например, у Хамермеша.
По поводу второго вопроса не уверен, но тоже попробуйте посмотреть у Хамермеша. Там может быть.