При постоянном расширении вселенной человек же тоже равномерно расширяется
Нет, остаётся того же размера.
И атомы остаются того же размера. И молекулы. И планеты. И Солнечная система. И даже галактики остаются того же размера.
Меняются только расстояния между галактиками и более крупные расстояния.
Вот так вот устроено.