может это плохо, но я просто не перевариваю математическую нестрогость.
Ну, "плохо" -- это сильно сказано, но вот именно что не всегда уместно. В физике при прочих равных условиях физическая интуиция важнее формально математических выкладок (если, конечно, эти выкладки не являются безусловно необходимыми).
Хорошо, вот абсолютно строгое оформление тех соображений, которые я приводил раньше. Очевидно, что при любом соотношении между зарядами и массой существует ровно одно положение равновесия, и это положение устойчиво. Это очевидно не только физически, но и вполне математически: с увеличением угла отклонения нити сила отталкивания становится меньше и, соответственно, вектор суммарной силы (кулона плюс тяжести) поворачивается в направлении, противоположном повороту нити. Поэтому есть ровно одно значения угла, при котором эти силы уравновешиваются натяжением нити. После погружения в жидкость сила Кулона уменьшается в большее количество раз, чем сила тяжести, поэтому прежнее положение перестаёт быть положением равновесия: сумма всех сил трёх будет направлена в сторону, отвечающую уменьшению угла. Значит, шарики опустятся.