В случае прямоугольной - есть сравнительно простое и красивое решение. Значит, всякий раз, когда точка ударяется о какую-нибудь боковую сторону, её горизонтальная скорость испытывает зеркальное отражение.
Тем же способом можно решать и для треугольной ямы.
Но для многоугольной ямы уже будет некая классификация траекторий в зависимости от положения ударов: с одной грани шарик может прыгать на разные грани в зависимости от текущей скорости и места на текущей грани.
Окружность -- это бесконечногранная яма.
Я приводил выше идею классификации траекторий по числу и положению ударов -- это то же самое.
Для каждого места удара и скорости будет некий сектор допустимых предыдущих мест удара и предыдущих скоростей.
Пересекая эти секторы, можно классифицировать траектории.
Физически нет смысла рассматривать большое количество ударов: при ударе погрешность скорости накапливается; 1% в начальной -- это уже не более десяти ударов нам светит только, а сто уже никак не светит.
Осталось лишь придумать способ визуализации этой классификации, понятный инженерам, и задача решена полностью.
Математически можно рассматривать всё разнообразие траекторий, но тогда и теории, способной описать это не будет: современная математика хила ещё для таких задач.
Например, даже для движения на плоскости в заданном потенциальном поле не существует пока теории, способной предсказать характер движения по начальным данным: слишком разнообразны возможные движения в различных полях.
Вот статистически (динамический хаос) -- другое дело.
Только, вопрос: а что такое тут будет вероятность перелететь через яму?
Физически есть только частотное определение: берём некое распределение (читай: гауссово) вероятности истинного значения начальной скорости, строим такую случайную величину, генерим её значения, пускаем шарик с такими скоростями и смотрим, перелетит ли он; а потом подсчитываем частоту перелётов.
На данный момент есть заранее не очевидный мне результат: при малых скоростях вероятность перелететь на ту сторону и вероятность вернуться назад весьма близки друг к другу.