Давайте от качественного анализа перейдем к количественному.
Пусть у нас столкновение с шариком происходит в верхней точке в фазе с шариком.
Амплитуда колебаний, период и круговая частота пусть:

Плоскость двигается вертикально по закону:

Тогда скорость будет меняться по формуле

Соотношения для высоты подпрыгивания шарика находим по формуле

; здесь

- количество полных колебаний плоскости стола.
Тогда скорость шарика перед ударом будет

Теперь слегка возмутим наше решение. Исследуем так сказать на предмет устойчивости. Пусть у нас шарик ударяется с плоскостью с той же скоростью, но с опозданием на малый временной параметр

Теперь в момент удара скорость плоскости будет

Относительная скорость шарика будет

, А после удара абсолютная скорость будет

Мы везде в расчетах пренебрегаем смещением плоскости, так как это величина второго порядка малости по параметру

.
Теперь, зная начальную скорость шарика, можно вычислить время его полета до следующего столкновения.
Это будет

То есть последующее соударение произойдет с запаздыванием

.
Очевидно, что нас в первую очередь интересует величина к-та перед

, Если он меньше единицы, то шарик будет приближаться к равновесному подпрыгиванию со стороны запаздывания. Если к-т больше единицы и меньше двойки, шарик будет приближаться к равновесному подпрыгиванию попеременно с о стороны опаздывания и опережения. А если к-т больше двойки, то система неустойчива.
На самом деле задачка даже в этом простейшем случае решена не до конца. Нужно просчитать, что будет со скоростью после последующих соударений. Если шарик приближается с одной стороны, то скорость после каждого соударения будет падать. Так что в результате к-т нужен не абы какой меньше единицы, но больше какой-то ненулевой величины.
(Оффтоп)
Просто мне влом еще и это сейчас считать. Да и вообще пора собираться на очередную "пьянку" русской комьюнити.