Две точечные массы

и

, находящиеся на расстоянии

друг от друга, согласно закону всемирного тяготения, притягиваются с силой

. Нам нужно иметь эту формулу в векторном виде. Обозначим

вектор, идущий от массы

к массе

. Тогда

,

- единичный вектор, направленный от

к

, и силу, действующую на массу

, можно записать в виде

.
Рассмотрим сферически симметричную массу

радиуса

, центр которой совпадает с началом декартовой системы координат

, и точечную массу

, расположенную в точке

, где

. Далее обозначим

,

, и пусть

- плотность распределения массы

(в силу сферической симметрии плотность зависит только от

). Область (шар)

, занятая массой

, задаётся условием

.
Масса

и плотность

связаны соотношением

Нам это соотношение понадобится, поэтому мы его преобразуем, перейдя к сферическим координатам

Здесь

- угол между осью

и вектором

, отсчитываемый в плоскости

от оси

в направлении кратчайшего поворота от

к

(

),

- угол между осью

и вектором

(

). В сферических координатах формула (1) принимает вид

(последнее выражение получается после вычисления интегралов по

и

).
Вычисление силы взаимодействия протяжённой и точечной массы осуществляется так, как Вы это пытались делать: протяжённая масса разбивается на части такой величины, чтобы их можно было считать практически точечными, сила притяжения массы

каждой из этих частей (в векторном виде!) вычисляется по ньютоновской формуле, и все силы складываются. В данном случае пусть область

разбита на части

, объёмы которых обозначим

, (средние) плотности -

, а

- какая-нибудь точка внутри

; тогда

- вектор, идущий от массы

к массе

,

.
Для силы притяжения получаем (приближённую) формулу

Эта формула тем точнее, чем мельче области

. Переходя к пределу, когда

, а наибольший из размеров областей

,

, стремится к нулю, вместо суммы получаем интеграл:

Как и в случае формулы (1), перейдём в формуле (3) к сферическим координатам:

Учитывая, что

и

, последнее выражение превращается в

Вычисляем внутренний интеграл:

Подставляя этот результат в (4) и сравнивая полученное выражение с (2), получим

то есть, сферически симметричное тело притягивает точечную массу так, будто вся масса этого тела сосредоточена в его центре (так как у нас

, знак "

" в этом выражении означает, что сила, действующая на массу

, направлена к началу координат).
Теперь рассмотрим два сферически симметричных тела. Как и раньше, разобьём одно из тел на мелкие кусочки, размеры которых пренебрежимо малы по сравнению с расстоянием между телами. Вычисляя силу притяжения этих кусочков к другому телу, мы, согласно полученному результату, можем заменить это тело точечной массой, расположенной в центре этого тела. Тогда для силы притяжения между телами мы получим такую же формулу (3), и, после вычисления интегралов, тот же результат (5), где теперь

- расстояние между центрами тел.
Здесь можно получить ещё один замечательный результат. Предположим, что масса

имеет вид сферически симметричной оболочки

, а точечная масса

расположена внутри этой оболочки, то есть,

. Как и выше, для силы притяжения получаем выражения (3) и (4). Однако, из-за того, что теперь

, вычисление внутреннего интеграла в (4) даёт

, так как

, а

. Поэтому вместо (5) получается

. Далее такими же рассуждениями, как в предыдущем случае, этот результат переносится на тело любой формы, находящееся внутри сферически симметричной полости: внутри сферически симметричной оболочки полная гравитационная сила, действующая на любое тело, равна

.
Это не означает, однако, что гравитационное взаимодействие между телом и оболочкой отсутствует: сила притяжения между телом и различными частями оболочки не равна

.
Это утверждение верно не только для сферических оболочек, но и для оболочек в форме эллипсоидов, но я не помню точной формулировки, и вычисления там намного сложнее.
Замечание. Исправил опечатку в формуле (5). 8/II-2016.