Самое очевидное решение - в лоб: нужно составить уравнение окружности и уравнения прямой. Чтобы найти точки их пересечения, нужно решить систему из этих двух уравнений. Например:
Пусть начало координат находится в левом нижнем углу квадрата, ось

направлена горизонтально вправо, ось

- вертикально вверх. Тогда:

- уравнение окружности;

- уравнение прямой, проходящей через точки 3 и 4.
Решая эти два уравнения как систему, находим пару решений

и

, соответствующих точкам 3 и 4.
Примечание.Такая система решается очень просто подстановкой из второго уравнения выражения для

в первое уравнение, в результате чего получается квадратное уравнение относительно

. Найденные корни этого уравнения нужно подставить во второе уравнение, чтобы получить соответствующие им значения

.