boymaВы картинку нарисуйте с обозначениями в случае, когда центр большой окружности находится вне малой (случай красной окружности), а я вам по ней попытаюсь объяснить, что делать.
рассматриваем случай "красной окружности":
из центра большой окружности рисуете касательную к малой. получаете точку касания

.рассматриваете треугольник, вершинами являются центры наших двух окружностей и точка

. для него записываете теорему пифагора и лемму о секущей и касательной. у вас получится два уравнения с тремя неизвестными. последнее уравнение получим так: пусть

искомый радиус, тогда

, где

- одно из ваших неизвестных (оно будет учавствовать и в уравнении, полученном из теоремы Пифагора, и в уравнении, полученном из леммы). Ваши неизвестные:

,

и отрезок, соединяющий центр большой окружности и точку

. Уравнений тоже будет три.