Я исходил из того, что зеркальной поверхности передаётся больший импульс

Ну типа давит на ней сильнее. Ежели из полностью зеркальной полусферы выглянет чёрный краюшек, то с той стороны среднее давление ослабнет, и шарик повернётся ещё дальше. А с чёрной половинкой наоборот.
Я предположил, что "лучи света" параллельны.