У вас же механическая задача, вот и подходите к ней механически. Первая производная -- скорость, вторая -- ускорение. Ваше уравнение, фактически, второй закон Ньютона. Все формулы для численного решения из средней школы.
Вот у вас даны начальную условия (при 

): координата 

 (начальная амплитуда), скорость 

 (мы никуда не толкаем шарик изначально). 
Найдём ускорение в этот момент: 

. За малое время 

, это ускорение увеличит скорость на 

. Эта скорость изменит координату на 

. А изменение координаты влечёт изменение ускорения, ведь 

 -- т. е. возвращаемся к началу абзаца. Получается такой цикл, и если вы будете на каждом шаге рисовать шарик в текущей координате 

, то увидите, как он будет гармонически колебаться. (Для полного счастья надо ещё некоторую задержку ввести в цикл, иначе шарик будет колебаться очень часто.)
Всё будет полностью аналогично, если задать другие начальные условия: например оттянуть шарик подальше или пинуть его вначале в какую-то сторону. Для реальности можно ввести трение (например, сила трения о воздух, насколько я помню, пропорциональна второй степени скорости, т. е. 

, где 

 -- некоторая константа, зависящая от формы шарика и др.), тогда колебания будут затухать (по экспоненте, но это вам знать не нужно, если вы решается уравнение численно).