то следует поглядеть - возвращает ли данный момент тело к положению равновесия или не возвращает
все правильно, а возвращает или нет это мы только из дифференциальных уравнений движения знаем.
я эту формулу там чуть выше тоже писал, роль ее в Ваших рассуждениях мне непонятна, точнее говоря, мне непонятно, что она доказывает
Если говорить о дифуре, то здесь это будет гидродинамика, и вопрос безнадёжен.
А я вот как раз не считаю, что вопрос так уж безнадежен. И дифуры уже даже писались. Давайте еще раз подробней.
Введем положительно ориентированную декартову систему координат

. Ось

смотрит на нас перпендикулярно плоскости рисунка, ось

вертикально вверх. Через

обозначим центр масс бруска,

. Через

обозначим угол наклона бруска к оси

.
Давление в жидкости распределено в соответствие с известной барометрической формулой

где

-- константа из стартового поста.
Со стороны жидкости на покоящийся брусок действует сила

, где

-- контур бруска;

-- внешняя единичная нормаль к контуру. И момент
![$\boldsymbol M_S(\phi,z)=-\int_L[\boldsymbol \rho,\boldsymbol n]pds.$ $\boldsymbol M_S(\phi,z)=-\int_L[\boldsymbol \rho,\boldsymbol n]pds.$](https://dxdy-03.korotkov.co.uk/f/2/e/0/2e0c35fc190561b1752f3085a4ed2a5682.png)
(

-- радиус вектор из центра бруска в точку на контуре)
Условия равновесия:

-- масса бруска. Из закона Архимеда известно, что

направлена вертикально. Поэтому уравнения (*) это два скалярных уравнения на

. Пусть

-- одно из решений этой системы.
Дальше можно предложить следующую наивную схему исследования устойчивости. Предположим, что силы сопротивления жикости пропорциональны квадратам скоростей соответствующих точек бруска,
во всяком случае при дввижении в окрестности равновесий. Tогда уравнения движения бруса приобретают вид:

функции

зависят от

и

линеризуя эту систему в окрестности положения равновесия

получаем
следующую систему линейного приближения

Если спектр матрицы этой системы содержит числа с положительными действительными частями, то положение равновесия

неустойчиво, и это вполне строгий результат в рамках данной модели.
Если линейная система устойчива, то тоже есть некоторые соображения , но это уже следующий этап.