Начнём с самого простого.
Dmytro Sheludchenko писал(а):
Первая задача: Найдите необходимое и достаточное условие того, что прямая A*x+B*y+C=0 не имеет общих точек с окружностью (x-a)^2+(y-b)^2=R^2.
Можно подойти алгебраически --- решить систему двух уравнений, что и есть поиск общих точек. Потом найти условия, при которых решения нет.
Геометрически --- нагляднее и, возможно, проще (по сути, готовенький результат, минуя решение этой системы). Центр окружности, точка

, удалён от прямой на расстояние, большее

.
Расстояние от точки до прямой знаем?