muvasilenkoВы неправильно выписали общий вид вариации. Судя по предисловию, функции

,

и

независимы, поэтому надо выписывать вариации для них отдельно.
Вариация функционала получается очень просто. Запишу в общем виде. Пусть есть функция

и функционал

Вариация функционала по переменной

это его производная Гато по этой переменной. Чтобы её найти, выпишем

и найдём предел при

стремящемся к нулю. Если функция

достаточно "хорошая", то, воспользовавшись теоремой о дифференцировании под знаком интеграла, получим

Теперь осталось только проинтегрировать второе (либо первое) слагаемое по частям.
Всё что вам нужно можно найти в книге Иоффе, Тихомиров "Теория экстремальных задач".