Видимо, пора писать ответ как я его понимаю. Есть у нас вариационная задачка
найти экстремаль
Если к действию ничего не дописывать, то возможны такие варианты: задача с фиксированными концами - зафиксированы значения функции на концах промежутка интегрирования. Для рассматриваемой задачи это условия
И задача со свободными концами, когда значения искомой функции на концах промежутка вообще не фиксированы. В последнем случае у уравнения Эйлера-Лагранже возникают так называемые естественные граничные условия, которые в рассматриваемой задаче - условие на потенциал в бесконечности -
Условие
не относится ни к одному из этих стандартных условий, и що з ним робити сходу не понятно. Именно благодаря ему возникает внеинтегральный член, зависящий от значения потенциала в нуле. Мне, в свое время, помог рецепт, подсмотренный в учебнике Смирнова Курс высшей математики т.4 часть 1 глава II, вариационное исчисление, параграф 84, "функционалы более общего типа". Там сказано, что для того, что бы получить задачу с нестандартными условиями на границе можно добавить в функционал член, зависящий от значения функции на границе промежутка интегрирования. Например, функционал
при стандартной процедуре
выдаст после интегрирования по частям внеинтегральный член
что и даст нужное граничное условие.
Возвращаясь к исходной задаче, вышеописанное означает, что надо писать функционал как
внеинтегральный член на нормированных пробных функциях
загоняется под интеграл, и получается
т.е правильный ответ будет если положить потенциал в нуле нулем. Я это к тому, что изучение вариационного исчисления "по Ландау-Лифшицу" дает прекрасную возможность наступить даже на слабо замаскированные грабли.