Т.е., получается, расширение Вселенной отбирает энергию у фотонов, но оставляет, например, барионам.
Нет. Этот вывод ошибочный.
Различие связано с тем, что фотоны - безмассовые частицы, а материя (речь в основном про атомы водорода и гелия) - массивные. На ранних стадиях Большого Взрыва, когда нуклоны и электроны двигались с околосветовыми скоростями, расширение Вселенной сказывалось на них так же, как и на фотонах. И так же оно сегодня сказывается на реликтовых нейтрино.
Но последние, будучи волнами, тоже должны уметь "растягиваться", по крайней мере временно.
Если вы запишете уравнение дисперсии для массивных нерелятивистских частиц, то увидите, что увеличение длины волны почти не приводит к потерям энергии.
Дайте пожалуйста несколько ссылок по теме, не слишком сложных для чтения, если это возможно.
ЛЛ-2 § 114, самый конец параграфа. (Это параграф "Красное смещение", по 8-му изданию. В ранних изданиях нумерация другая, или его вообще нет.)