Вообще-то такие задачи следует решать тупо. Имеем:

 -- закон сохранения импульса;

 -- закон сохранения энергии;

 -- указанное в условии соотношение энергий.
Формально тут у нас вроде бы 3 уравнения для 5 неизвестных, что вроде как нехорошо. Но нужно учитывать, что уравнения эти -- 
однородны как по массам, так и по скоростям. Поэтому, разделив все уравнения на 

  (или 

) и на 

, получим систему для всего лишь 
трёх уравнений -- для 

, 

 и для 

. Причём нужно нам найти значение именно первой из этих переменных, а третья фактически дана по условию; остаётся только исключить вторую. Всё тупо.
Единственный нюанс: нельзя забывать об условии 

 (это важно при извлечении корня в последнем уравнении).