Ну все же если предположить что не было ускорений, не было разворота. Не важно как. Пусть он влетит в некий портал и вылетит с другой стороны от точки вылета.
Всё равно неравноправны. Один брат пролетел через какой-то "портал" с неопределёнными свойствами, а другой - нет.
А если поставить задачу так. Один брат проходит в портал связывающий его с далекой звездной системой движущейся относительно земли с околосветовой скоростью, а через 5 лет по земному времени в этот же портал заходит другой его брат. Кто будет моложе? Оба в портал заходили и находились друг относительно друга в инерциальных системах отсчета.