Я не знаю какое решение предполагал составитель задач, но я решал так.
Но это решение явно не правильное. По определению, оператор

коммутирует с любой матрицей, что у Вас не вполняется. Коммутатор нужно вычислять так.
![$$
[1/r,\omega]=r^{-1}\hat{\omega}-\hat{\omega}r^{-1}=-\omega\int\frac{4\pi e^{i\vec{p}\vec{r}}}{p^2}\frac{d^3p}{(2\pi)^3}
$$ $$
[1/r,\omega]=r^{-1}\hat{\omega}-\hat{\omega}r^{-1}=-\omega\int\frac{4\pi e^{i\vec{p}\vec{r}}}{p^2}\frac{d^3p}{(2\pi)^3}
$$](https://dxdy-02.korotkov.co.uk/f/1/0/4/104b8bafbe8a7ef996fe045e6710e48482.png)
Выражение с интегралом это фурье представление

. Действие

на плоскую волну очевидно
![$$
[1/r,\omega]=-\int\frac{4\pi e^{i\vec{p}\vec{r}}\sqrt{p^2+m^2} }{p^2}\frac{d^3p}{(2\pi)^3}
$$ $$
[1/r,\omega]=-\int\frac{4\pi e^{i\vec{p}\vec{r}}\sqrt{p^2+m^2} }{p^2}\frac{d^3p}{(2\pi)^3}
$$](https://dxdy-02.korotkov.co.uk/f/1/b/1/1b1651465d986d16f4c67cf10788477382.png)
Оставтся вычислить этот интеграл. Без спецфункций не обойтись.
-- 12.06.2013, 14:12 --Если не ошиблась, коммутатор равен интегралу

Вроде, это сводится к цилиндрическим функциям...
Аналогично для второго коммутатора
![$$
[1/r,1/\omega]=-\frac{2}{\pi}\int_0^\infty\frac{\sin x}{x\sqrt{x^2+m^2r^2}}\,dx
$$ $$
[1/r,1/\omega]=-\frac{2}{\pi}\int_0^\infty\frac{\sin x}{x\sqrt{x^2+m^2r^2}}\,dx
$$](https://dxdy-04.korotkov.co.uk/f/3/2/1/321d52b230f2ec06402e81c60b4d4ae582.png)