Я не вижу как его честно решить.
А тем более понять, - есть ли вообще корни и каким должно быть соотношение радиусов данных окружностей, чтобы действительные корни были.
Мне иногда удавалось найти такие комбинации переменных, что выражения, коэффициенты, принимают приличный вид; либо уравнение поддаётся качественному анализу. Просто на такие вещи уходили иногда недели. Чего я сейчас позволить себе не могу. Надо слишком увлечься задачей.
Ну и нет сомнения, что в формулах должны править бал Коксетеровы инверсные расстояния меджу окружностями (точнее, некое их обобщение).
И решал бы я задачу совсем другими методами.
Но здесь бы я попробовал ещё и следующее. Убедиться бы, что эту 4-ку окружностей можно инвертировать в "ромбовидную" пару --- в частный случай, который я описал выше. Например, так (все утверждения --- гипотезы!):
1) Существует ГМТ центров инверсии, переводящих пару А,С в пару окружностей одинакового радиуса. Некая кривая.
2) Аналогичная кривая существует для пары B,D.
3) Точка пересечения этих кривых даст (условия существования?) даст искомый центр инверсии.
4) При инверсии если было попарное касание, то оно и сохранится. Если была общевписанная окружность, то она и сохранится (не превратится ли в общеописанную? или не важно?)
5) Тогда, исследовав вышеприведённое уравнение 4-степени, которое любезно распалось на два квадратных, не получим ли мы исчерпывающего качественного анализа исходного монстра и возможных решений?