Модель гиперболическая верхней полуплоскости
Т.е., говоря как обычно, рассматривается модель Пуанкаре плоскости Лобачевского.
Полезно знать, что углы на плоскости Лобачевского в модели Пуанкаре --- те же самые, что евклидовы. То есть, если есть две пересекающиеся прямые Лобачевского, то угол между ними, в смысле геометрии Лобачевского, равен углу между изображающими их окружностями в обычном евклидовом смысле, т.е. углу между касательными в точке пересечения. Если это знать, то задача тривиальна. Надо сначала переформулировать ее как задачу обычной евклидовой геометрии, а потом решить. Это можно легко сделать и в школьном смысле, т.е. описать построение линейкой и циркулем, и в терминах аналитической геометрии, и, несомненно, так же легко запрограммировать.
и как бы находил близкую точку, которая на евклидовой биссектрисе, а потом по этой точке и точке в угле строил геодезическую, которая приблизительно равна биссектрисе.
Так и надо делать. Только точку на евклидовой биссектрисе надо брать не близкую, а бесконечно близкую. То есть строить не окружность через две точки, а окружность, касающуюся прямой в данной точке.
(Дальше тут объяснять нечего, это простая учебная задача.)