Ваша задача очень сложна, так как шары могут вылеталь из плоскости. Если же Вы занимаетесь только имитационной задачей, то тогда лучше рассмотреть задачу о движении плоских хоккейных шайб. Общеизвестно, что пуля выпущенная из нарезного оружия летит дальше чем из гладкоствольного. Также и шайба с угловой скоростью движется дальше чем шайба без угловой скорости. Условие для момента и силы трения имеет вид очень схожее с теорией пластичности:
a - некоторый радиус меньший чем радиус шайбы. Сила трения направлена против направления движения.
При солкновении со стенкой или другим шаром нужно вводить упругую силу, вычислять силу сжатия. Моменты трения будут пропорциональны силе сжатия. А их величины попробуйте определить самостоятельно. Не забудте добавить в уравнение движения силу трения в перпендикулярном направлении к линии между центрами.