Я привёл уравнения к такому виду:
![$\[\left\{ \begin{gathered} \frac{m_1}{m_2}=\frac{v_2'-v_2}{v_1-v_1'} \hfill \\ \frac{m_1}{m_2}=\frac{v^2_2'-v^2_2}{v^2_1-v^2_1'} \hfill \\ \end{gathered} \right.\]$ $\[\left\{ \begin{gathered} \frac{m_1}{m_2}=\frac{v_2'-v_2}{v_1-v_1'} \hfill \\ \frac{m_1}{m_2}=\frac{v^2_2'-v^2_2}{v^2_1-v^2_1'} \hfill \\ \end{gathered} \right.\]$](https://dxdy-01.korotkov.co.uk/f/8/0/d/80dcc79a79ad8a50375eef9b4f12eeab82.png)
Можно и к такому. Если нижнее уравнение поделить на верхнее, то получаем:

Теперь делим. Учитываем, что

С учетом вышеуказанного, получаем

Или просто

Ошибка в одном из трех знаков слагаемых в числителе.
Забавно... Вам не кажется, что в силу симметричности (по индексам 1 и 2) задачи и решение должно быть таким же симметричным?
Даю подсказку.
1. Выражаете какую-нибудь штрихованную скорость через другую штрихованную из (1).
2. Подставляете выразившуюся скорость в закон сохранения импульса.
3. Находите другую штрихованную скорость через нештрихованные и массы.
6... PROFIT!
Уравнение (1) интересно для запоминания само по себе:
"При абсолютно упругом лобовом ударе двух тел сумма скоростей до и после удара одного тела равна сумме скоростей до и после удара другого тела".