Я выбирал систему координат так:

Зелёным показана оптическая ось. Красным показаны радиусы. Чёрным показаны падающий и отражённый лучи.

— центр сферы и начало координат;

— источник (пересечение падающего луча и оси);

— пересечение отражённого луча и оси;

— пересечение сферы и оси;

— точка отражения.
Идея в том, чтобы координатная ось

была перпендикуляром к зеркалу в точке отражения. Тогда угловые коэффициенты падающего и отражённого лучей будут иметь противоположные знаки,

. Обозначим ещё угловой коэффициент оптической оси через

. Cчитая

известными, легко записать уравнения лучей и оптической оси и найти координаты

и

. Как я говорил, даже синусы-косинусы не понадобятся. На следующем этапе надо исключить

и

, и получится искомая зависимость.