А если лезть в тонкости - то вообще окажется, что не будет одной такой точки, к которой направлено притяжение со всех сторон Земли. То есть, "центры" будут разные, скажем, для человека на Северном и на Южном полюсе. Но повторяю, разницей этих "центров" на практике можно пренебречь.
Как у Земли может быть несколько центров? Возможно, что с течением времени центр масс Земли меняется. Но в определенный момент времени он ведь один.
Всё очень просто. Сила притяжения Земли в данной точке не направлена к её центру масс. И нет такой единой точки где-то в середине Земли, к которой направлено притяжение и в Париже, и в Токио, и в Рио-де-Жанейро. Линии, проведённые из этих мест в направлении силы тяжести, не пересекутся в одной точке (и вообще не пересекутся), хотя пройдут близко друг от друга.