Матричным. Пространственный поворот шара описывается матрицей поворота (например, через углы Эйлера) 3x3, которая в общем виде для трёхмерного пространства выглядит как
где
- некоторые постоянные матрицы (если ось вращения постоянна в пространстве). В принципе, это можно записать и через векторы, но если вы знаете матрицы, векторы просто неудобней, а матрицы естественней. Если нужно учесть движение шара как целого, то он просто сдвигается, добавляя к радиус-вектору точки некоторое независимое слагаемое.
Если вопрос включает в себя изучение механического качения шара по плоскости под действием сил, то это намного сложнее.