При каких значениях параметра 
k точка (1,5) является решением задачи

Это я  неправильно написал условия задачи. Да, геометрически решать пытался, причем мне кажется, что точка при всех найденных мною k будет глобальным максимумом. Надо строгое доказательство. Какой заменой можно придти к виду, где все неизвестные неотрицательны?
Приведите её к виду, где есть ограничения 

. То есть если 

 свободная переменная, то заменой переменных 

, Вы приводите задачу к виду где 

. 
Этой заменой? Если да, то не совсем представляю, как решать дальше