Про прямой угол зря упомянули, от этого задачка сильно теряет. Предлагаю немного изменить условие (если ТС не возражает): массы грузов

; найти минимальную угловую скорость, при которой возможна стабилизация системы; найти максимально возможный угол между нитями; найти минимальную полную энергию системы, при которой возможна стабилизация; найти угловую скорость необходимую для стабилизации системы с углом между нитями

(Оффтоп)
Расстояния от грузов до оси вращения отличаются в два раза,
Да.
Это неверно. Длины нитей отличаются в 2 раза, но не расстояния до оси.