Проще всего такую задачу решать в системе центра масс.
Если удар абсолютно неупругий, относительная скорость шаров после удара равна нулю.
Если удар абсолютно упругий, то относительная скорость та же, что до удара, но с обратным знаком. Тогда у вас к-т

может быть просто показателем, какая часть относительной скорости осталась после удара.