muvasilenkoВы неправильно выписали общий вид вариации. Судя по предисловию, функции
,
и
независимы, поэтому надо выписывать вариации для них отдельно.
Вариация функционала получается очень просто. Запишу в общем виде. Пусть есть функция
и функционал
Вариация функционала по переменной
это его производная Гато по этой переменной. Чтобы её найти, выпишем
и найдём предел при
стремящемся к нулю. Если функция
достаточно "хорошая", то, воспользовавшись теоремой о дифференцировании под знаком интеграла, получим
Теперь осталось только проинтегрировать второе (либо первое) слагаемое по частям.
Всё что вам нужно можно найти в книге Иоффе, Тихомиров "Теория экстремальных задач".