Давайте начнём почти с начала. Преобразование

произвели правильно. Какие выводы следуют?
1. Вам не повезло с вариантом. (Я не случайно пытался несколько раз выяснить у вас, нет ли очепяток в задании). Тем интереснее обдумать решение.
2. У вас задание не двумерное, а трёхмерное. Замените

на

, м.б. тогда понятнее станет.
3. Поверхность функции

представляет собой некий колпак остриём вниз с координатами острия

, в осевом сечении которого некая замкнутая кривая без резких изгибов, похожая на овал.
4. На 1 странице вы правильно изобразили область ограничений.
5. Из рисунка понятно, что вас должно интересовать ограничение

.
6. НаходИте из этого ограничения

и подставляйте в функцию

.
7. НаходИте экстремум квадратичной функции.
8. ...
Надеюсь, заблудиться будет уже тяжело.
PS. Допускаю, что вам следует проконсультироваться по поводу своего задания с преподом.