С какого-то момента он становится изолированной системой.
Атом никогда не становится изолированной системой, если модель учитывает взаимодействие с излучением.
На мой взгляд там рассматриваются обычные системы квантовой механики, которые время от времени являются замкнутыми.
Нет, там рассматриваются именно открытые, никогда не замкнутые системы.
Там подразумевается переход к равновесному состоянию чего?
В главе про релаксацию -- любой системы, находящейся в контакте с термостатом и имеющей ряд "хороших" свойств.
Вообще, стационарные состояния системы и являются равновесными, это просто другое название, разве нет?
Нет, это вообще понятия из разных областей физики. Стационарное состояние -- это
чистое состояние замкнутой механической системы. Равновесное же состояние -- это макросостояние, огрублённое описание микросостояния системы, рассматриваемой квантовостатистически. Оно описывается матрицей плотности и в случае системы в контакте с термостатом близко к
смешанному состоянию соответствующей механической системы, но вообще-то это даже и не смешанное состояние (одно из отличий в том, что в этой книге называется "крупнозернистым усреднением").