Ладно, внутри схема решения, позволяющая старшекласснику легко получить такой некрасивый ответ.
(Схема решения)
1. Мы ранее выяснили, что в положении равновесия отношение тангенсов углов тяг должно быть равно 3. Этот вывод можно легко повторить. Пусть

. Тогда

, где

и

- углы наклона нижнего и верхнего стержня относительно горизонтали.
2. Из геометрических соображений записываем

.
3. Чтобы найти максимальное

. при котором ещё возможно искомое равновесие, ищем

. Найдя его, затем элементарно находим искомое критическое расстояние

. Для этого решаем уравнение

.
4. Но предварительно избавляемся от тригонометрических функций, воспользовавшись тождеством

, которое есть элементарное следствие теоремы Пифагора. В результате дифференцировать нужно только сложную функцию с радикалами, а получаемое уравнение легко разрешимо при помощи только элементарных алгебраических преобразований. Насколько я помню среднюю школу, старшеклассники должны это уметь.
5. Упрощаем результат, приводя его к максимально красивому и внушающему уважение виду.
-- 26.02.2017, 16:52 --Является ли тройка в вашем ответе отношением тангенсов углов?
То есть можно ли там массы варьировать?
Тройка там появляется из двух различных мест, в одном месте она именно следствие выбранных масс. Да, массы можно варьировать.