Перенесём сдвигом начало координат в точку A. По смыслу задачи требуется найти площадь кусочка единичной сферы с центром в начале координат, такой что всякий луч, проведённый из центра пересечёт Вашу поверхность S тогда и только тогда, когда он пересечёт этот кусочек.
В частном случае, когда каждый луч протыкает поверхность не более чем в одной точке нужно просто проинтегрировать функцию

по поверхности S.
В общем случае надо удалить лишние протыкания.