Приравнял первое и третье и получил, что

Это правильно. После чего получается два уравнения:

И приравнивал левые части.
Вы нехорошо поступили.

у нас считается известным. Неизвестны

. Приравняв левые части, Вы избавились от

. А надо стараться избавляться от неизвестных.
Смотрите, что получилось: допустим,

было равным 1.
Тогда у нас была система

Иными словами "найти два числа, сумма которых равна 1, и сумма квадратов которых равна 1". Таких чисел, замечу, если и есть, то немного.
Приравняв левые части, Вы получили

.
Иными словами "найти два числа, сумма которых равна сумме их квадратов". И всё. И уже как бы наплевать, единице оно равно, или сотне, или ещё чему-то там.
Совсем другая задача! И уж таких чисел, замечу, есть до хрена.
Мы здесь скатываемся из аналитической геометрии в почти школьную тему "решение систем уравнений" (нелинейных, к сожалению). Вы как-то ловко решали такие системы в предыдущей задачке. Мне кажется, Вы используете какую-то компьютерную прибамбасу. И здесь этот номер не прошёл, потому что Вы не сумели указать ей, что

--- неизвестные, а

--- известная. Ну, не важно, прав я или нет.
Повторяю: мы сошли на уровень школьных задач, и Вы с ними не справляетесь. Потому я Вам предлагаю решить систему (уже из двух уравнений из этого сообщения) конкретно для

,

и

. А потом для общего случая.
А ещё я Вам предлагал (сейчас найду):
-- 07 янв 2012, 21:22:47 --и Вы попробуйте это понять-представить, даже до того, как возьмётесь решать.
Нарисуйте всё это, представьте ситуацию без вычислений. По-прежнему, всё, кроме сферы, проектируется на плоскость. Увидьте и напишите что-то типа "Например, при R=1 заданная прямая лежит вне сферы, и среди той кучи плоскостей, которые через неё проходят, найдётся... (то-то и то-то)"
"А вот при большом радиусе сферы прямая её прокалывает, и ни одна из этого веера плоскостей не сможет... итп."