А

- константа? Иначе какая-то поверхность, а не кривая получается.
Если все-таки кривая, я бы решал так:
Нашел точки пересечения кривой (наверное, приближенно, там трансцендентные уравнения будут) с прямыми, содержащими стороны треугольника, а затем для каждой такой точки выяснял бы, лежит ли она между соответствующими вершинами.
Задав прямые, содержащие вершины, параметрически, модно совместить "сначала" и "затем".