Добрый день! Добрые люди, спасибо вам, что потратили свое время, постараюсь ответить на вопросы (возможно не в хронологическом порядке)
А какими были реальные использованные величины? И массы, и начальные координаты и скорости?
А то по описанию возникают нехорошие подозрения, что вы попросту решаете не ту задачу (и "кошмар" во втором случае больше похож на правильное решение, чем "ожидаемое" поведение - в первом).
Центральное тело имеет массу Солнца. "планета" - тело 30км в радиусе, плотностью

. Что-то вроде кометного вещества.
Уточню на счет ожидаемого результата: пробовали просто "подбрасывать" некую частицу с поверхности (считая методом Эйлера) семитрично с разных полусфер направляя "планету" по прамой на центральное тело ("планета" сферическое тело). И считая указанным методом мы получаем семметричные траектории подброшенных частиц. Что ожидаемо, и косвенно указывает на правильность расчетов. Более того такой же симметричный результат, получам и методом более высокого порядка, но только если начальную скорость планеты положить за ноль.
Я бы посоветовал Эйлера-Кромера (координаты изменяем, используя начальные скорости; затем изменяем скорости, используя ускорения, рассчитанные по измененным координатам). Метод хорош тем, что точно сохраняет момент импульса.
Если хочется метода повышенной точности, можно взять Верле в скоростной форме. Он имеет второй порядок, но требует вычисления силы только один раз за шаг.
Спасибо за ваши рекомндации! Обязательно реализуем.
Для контроля шага хорошо бы следить за интегралами движения: суммарной энергией и суммарным моментом импульса. Они должны сохраняться с точностью, скажем,

.
Вот это важный момент! Вопросом озадачились буквально на днях "А на сколько то, что мы получаем похоже на реальность". На хабре нашли пост, где этот момент затрагивают, но еще не разобрались. На данный момент и после прочтения вашего комента это видится даже более важной задачей, чем описанное в начальном посте.
Я понял ее так, что ТС получает результат в виде отображения траектории на мониторе. Если монитор высокого разрешения, размер траектории по вертикали можно принять за 1000 писелей.
Вообще с графикой не заморачиваемся пока. Результат получаем в текстовый файл, который потом визуализируем (сначала был Excel, теперь Grapher)
стоило бы начать с проговаривания цели такого моделирования. Если интересует как работают методы - это одно, а если как работает солнечная система - совсем другое.
Да всё просто - увлечены астрономией, а что-то сделать и(или) разобраться это на пользу подрастающему поколению.
я тут вообще инкогнито :) Конечно, если идеи и советы полученные от вас помогут нам продвитуться, я скажу что это благодаря вам! Давным давно еще в студенчестве я и кодил и матан изучал, потом конечно ничем этим почти не пользовался. И вот до определенного уровня моих знаний пока нам хватало.
а по-подробнее формулы, по которым вы считаете, можете изложить?
Это конечно можно. Но здесь, если не ошибаюсь, в Латехе они должны быть. Тут нужно отдельно поработать, поэтому я могу пошагово описать алгоритм словами, если так можно :)
Так что коэффициенты

из метода Рунге-Кутта так же являются столбцами и содержат скорости и ускорения.
Если я правильно понял и вас и метод, то коэффициенты

мы потом интегрируем по времени и получем столбец координат и скоростей.
Еще раз, спасибо за отзывы!