Векторное произведение векторов

и

даст Вам вектор нормали к данной плоскости.
Скалярное произведение вектора нормали с вектором, соединяющим данные точки, поможет найти коэффициент, на который нужно нормировать вектор нормали, чтобы применив его к точке

, попасть на плоскость (т.е. фактически спроецировать эту точку на плоскость).
Далее нужно только применить эту проекцию два раза - и получите в точности симметричную точку.