Sunny писал(а):
Я пробовала решать по формулам аналитической геометрии...
...но чувствую, что это не должно быть так сложно!
По формулам ан. геом. это не сложно, а громоздко, потому что система координат не подобрана под задачу. Расположив точку A в начале координат, прямые AD и AB --- симметрично относительно оси абсцисс, каждая под углом

, Вы получите простое описание всего
семейства окружностей, вписанных в угол:
Чисто подставив в уравнение семейства координаты

точки

, разумеется, тоже преобразованные, найдёте радиус из квадратного уравнения. Вся громоздкость уйдёт в пересчёт преобразований системы координат. Т.е.
не уйдёт, а перейдёт, т.е. останется...
Искомая величина (радиус) не зависит от системы координат, поэтому лучше испробовать методы типа предложенного
TOTALом.