Нужно решать через сохранение энергии.
Имхо, странная модель получится, этакий "концентратор энергии", при этом -- волн нет. Или может имелось, что сохранение энергии той части, которая ещё ненамотана на катушку, а всё, что уже ударилось о тумбу энергию теряет?
Я бы начал с кинематики. Можно записать параметрическое уравнение траектории конца каната (в приближении, что он всегда прямой). Параметром выбрать угол намотки на барабан. А что там сохраняется и сохраняется ли -- так сразу не видно.