А почему ей не существовать, не понимаю?
Три точки не обязательно лежат на прямой или окружности. Они могут лежать на гиперцикле (эквидистанте) или орицикле. Вот если модель Пуанкаре в диске взять: Вот евклидовы прямые и окружности, которые пересекаются с нашим гиперболическим миром, ограниченным абсолютом (окружностью). Все прямые, содержащие диаметры абсолюта, и все окружности, пересекающие абсолют под прямым углом, дают все гиперболические прямые, все окружности, целиком лежащие внутри абсолюта, дают все гиперболические окружности, все окружности, пересекающие абсолют под углом, отличным от прямого, и все прямые, содержащие хорды абсолюта, отличные от диаметра, дают все гиперциклы, все окружности, внутренним образом касающиеся абсолюта, дают все орициклы.
Наверное надо как-то по-другому начинать решать, но идей у меня пока нет
Можно прежде всего попытаться понять, когда вообще три точки лежат на окружностию
-- Вс май 31, 2015 20:53:05 --Радиус описанной окружности на евклидовой плоскости равен

но я не знаю, останется он таким же в этом случае
Нет конечно. Я даже конечный ответ могу подсказать.
Вот так для евклидовой: пусть

,

,

,

а в неевклидовой сюда навешивают шинусы, а на радиус даже и гиперболический тангенс.