Вы не приводите подробностей своих вычислений, поэтому сложно сказать в какой мере ваша ошибка техническая, а в какой - принципиальная.
Стандартная последовательность шагов такая:
1. Представляете функцию

в виде

, где

- (искомое) стационарное значение

, а

- его малая вариация.
При этом граничные условия

приводят к условиям на

и

:

2. Находим первую вариацию функционала

.
3. Выполняя интегрирования по частям (в данном случае - 2 раза) представляем

в виде суммы вкладов двух типов:
а) интегрального члена, с подынтегральным выражением линейным по

(и не содержащем его производных).
б) внеинтегральных членов, зависящих от

,

,

на границах области интегрирования.
В данном случае:

Учитывая граничные условия

,

получаем

4. Условие стационарности

с учетом произвольности

при

в интегральном члене дает на

дифференциальное уравнение четвертого порядка

а учет произвольности

и

во внеинтегральных членах дает
два (а не три, как вы пишете) дополнительных граничных условия

которые вместе с исходными граничными условиями

позволяют однозначно найти стационарное решение

.
Ваше уравнение

похоже на

, так, что тут, наверное, у вас (или у меня

) техническая ошибка.
А вот два других ваших граничных условия

,

это принципиально другое, чем одно мое

- тут у нас с вами идеологические расхождения.