...но в Википедии например пишут что...
В википедии много чего пишут, так что надо быть аккуратным. Насколько я знаю, ротоны не имеют отношения к макроскопическому вихревому движению в сверхтекучей жидкости. Название же является историческим рудиментом - Ландау как раз считал то, что написано на википедии.
Ротоны и фононы - это одно и то же коллективное возбуждение, которое просто имеет такой нетривиальный спектр. За наличие ротонной части спектра отвечают "сильные корреляции" в бозе-газе. Грубо говоря, чем плотнее газ/жидкость, тем ниже будет располагаться локальный минимум. В какой-то момент (например, при существенно высоких давлениях
существенно высоких плотностях) этот минимум достигнет нуля, что сигнализирует то, что возбуждение становится нестабильным, - в этот момент начинает происходить процесс кристаллизации жидкости.
Какой-то единой теории ротонов, насколько мне известно, не существует: есть всякие разные модели, в большей или меньшей степени феноменологические. Классикой и отправной точкой считается статья Фейнмана 1954 года: R. P. Feynman, Phys. Rev. 94, 262 (впрочем, там Фейнман вроде как тоже связывает ротоны с вихревым движением, что, правда, из формул особо не видно - может быть, сказалось влияние Ландау). Однако специалистом в этой области я не являюсь, так что, может, появились какие-то фундаментальные результаты уже.