Но без человека ничего бы этого не было.
Реальный мир - это мир, в котором мы живём. В силу антропного принципа, мы может что-то знать только про утверждения, обусловленные нашим собственным существованием. Про миры, в которых нас нет, конечно, можно фантазировать, но проверить экспериментально утверждения про них всё равно не получится.
А значит, до того, как идея о, например, числе пи появилась в первый раз в мозгу первого человека - в мире не существовало числа пи.
К числу пи понятие времени не применимо. Оно существует в нашем реальном мире. Просто существует. И вы подразумеваете наше прошлое, которое привело к нашему существованию сейчас. Это прошлое - часть нашей реальной вселенной, а время - параметр в ней.