Две точечные массы 

 и 

, находящиеся на расстоянии 

 друг от друга, согласно закону всемирного тяготения, притягиваются с силой 

. Нам нужно иметь эту формулу в векторном виде. Обозначим 

 вектор, идущий от массы 

 к массе 

. Тогда 

, 

 - единичный вектор, направленный от 

 к 

, и силу, действующую на массу 

, можно записать в виде 

.
Рассмотрим сферически симметричную массу 

 радиуса 

, центр которой совпадает с началом декартовой системы координат 

, и точечную массу 

, расположенную в точке 

, где 

. Далее обозначим 

, 

, и пусть 

 - плотность распределения массы 

 (в силу сферической симметрии плотность зависит только от 

). Область (шар) 

, занятая массой 

, задаётся условием 

.
Масса 

 и плотность 

 связаны соотношением

Нам это соотношение понадобится, поэтому мы его преобразуем, перейдя к сферическим координатам

Здесь 

 - угол между осью 

 и вектором 

, отсчитываемый в плоскости 

 от оси 

 в направлении кратчайшего поворота от 

 к 

 (

), 

 - угол между осью 

 и вектором 

 (

). В сферических координатах формула (1) принимает вид

(последнее выражение получается после вычисления интегралов по 

 и 

).
Вычисление силы взаимодействия протяжённой и точечной массы осуществляется так, как Вы это пытались делать: протяжённая масса разбивается на части такой величины, чтобы их можно было считать практически точечными, сила притяжения массы 

 каждой из этих частей (в векторном виде!) вычисляется по ньютоновской формуле, и все силы складываются. В данном случае пусть область 

 разбита на части 

, объёмы которых обозначим 

, (средние) плотности - 

, а 

 - какая-нибудь точка внутри 

; тогда 

 - вектор, идущий от массы 

 к массе 

, 

.
Для силы притяжения получаем (приближённую) формулу

Эта формула тем точнее, чем мельче области 

. Переходя к пределу, когда 

, а наибольший из размеров областей 

, 

, стремится к нулю, вместо суммы получаем интеграл:

Как и в случае формулы (1), перейдём в формуле (3) к сферическим координатам:

Учитывая, что 

 и 

, последнее выражение превращается в

Вычисляем внутренний интеграл:

Подставляя этот результат в (4) и сравнивая полученное выражение с (2), получим

то есть, сферически симметричное тело притягивает точечную массу так, будто вся масса этого тела сосредоточена в его центре (так как у нас 

, знак "

" в этом выражении означает, что сила, действующая на массу 

, направлена к началу координат).
Теперь рассмотрим два сферически симметричных тела. Как и раньше, разобьём одно из тел на мелкие кусочки, размеры которых пренебрежимо малы по сравнению с расстоянием между телами. Вычисляя силу притяжения этих кусочков к другому телу, мы, согласно полученному результату, можем заменить это тело точечной массой, расположенной в центре этого тела. Тогда для силы притяжения между телами мы получим такую же формулу (3), и, после вычисления интегралов, тот же результат (5), где теперь 

 - расстояние между центрами тел.
Здесь можно получить ещё один замечательный результат. Предположим, что масса 

 имеет вид сферически симметричной оболочки 

, а точечная масса 

 расположена внутри этой оболочки, то есть, 

. Как и выше, для силы притяжения получаем выражения (3) и (4). Однако, из-за того, что теперь 

, вычисление внутреннего интеграла в (4) даёт 

, так как 

, а 

. Поэтому вместо (5) получается 

. Далее такими же рассуждениями, как в предыдущем случае, этот результат переносится на тело любой формы, находящееся внутри сферически симметричной полости: внутри сферически симметричной оболочки полная гравитационная сила, действующая на любое тело, равна 

.
Это не означает, однако, что гравитационное взаимодействие между телом и оболочкой отсутствует: сила притяжения между телом и различными частями оболочки не равна 

.
Это утверждение верно не только для сферических оболочек, но и для оболочек в форме эллипсоидов, но я не помню точной формулировки, и вычисления там намного сложнее.
Замечание. Исправил опечатку в формуле (5). 8/II-2016.