Тоже сначала подумал, что только численно, однако прикинул, и получается достаточно простое решение.
Я уж приведу алгоритм для топикстартера, не пропадать же добру.
1) Кратчайшее расстояние — это по прямой.
2) Если поверхности гладкие (к счастью, в нашем случае это так), то отрезок, соединяющий ближайшие друг к другу точки поверхностей, будет перпендикулярен касательным к обеим поверхностям в этих точках. То есть, этот отрезок одновременно будет нормалью как к плоскости, так и к касательной к эллипсоиду. Уравнение плоскости (как данной, так и касательной) легко записать так, чтобы этот нормальный вектор очень легко записывался (умеете?).
3) Нормаль к гладкой поверхности, записываемой неявным уравнением
в точке
, если
достаточно гладкая (тоже наш случай), есть вектор
где все производные берутся в точке
.
Этот вектор должен быть параллелен нормали к плоскости
, т.е.
,
,
, где
— некоторое число. Добавляя сюда уравнение принадлежности точки
эллипсоиду, находим
, а затем и саму точку касания
. Получилась задача на расстояние от точки до плоскости.
Нужно применить этот алгоритм к Вашему случаю (записать уравнения плоскости и эллипсоида, подставить их в уравнения и решить их). Это должно быть Вашим трудом, т.к. правила форума запрещают выкладывать полное решение учебной задачи.