Тогда как на счет вакуума ЭМ поля? В таком состоянии нету фотонов: какова его температура?
Понятие вакуума - это идеализация. Точно так же, как понятие материальной точки - это идеализация. Где вы видели точечную Землю? Или точечный грузик на верёвочке?
Впрочем, и понятие температуры - это идеализация.
Так вот. Вакуум можно рассматривать в двух разных ступенях идеализации.
1. Точный вакуум КТП. Для него верно утверждение, что в нём нету фотонов. Но это идеализация: такая же, как рассмотрение движения мячика в механике, с пренебрежением тепловыми движениями молекул в этом мячике. Эта идеализация подразумевает

что в реальности недостижимо.
2. Вакуум в КТП при конечной температуре. Такой вакуум имеет какую-то ненулевую температуру. Но при этом уже неверно, что в этом состоянии нет фотонов. Как раз планковское излучение, соответствующее заданной температуре - это и есть такой вакуум.