Правильно ли я понимаю , что дело в ускорении, которое испытывает брат-космонавт относительно брата-землянина?
Нет, в траектории. Представьте что

это не "отдельно время" а еще одна такая же координатная ось как

. Если сложно представить 4-мерное, ну удалите

и замените ее на

. Все что происходило, происходит и будет происходить с близнецом в таком пространстве-времени изображается линией, называемой "мировой". Две таких линии двух близнецов разной формы и длины дважды пересекаются.
Так вот, утверждение теории заключается в том, что часы близнеца измеряют не координату

а длину этой самой линии, как такой своеобразный курвиметр. Правда несколько необычно, не по эвклидовски расчитываемую, но длину. И коли эти две линии между двумя точками пересечения имеют разную длину то часы и отсчитывают разные значения
А наличие и отсутствие ускорения лишь косвенный признак того имеет ли эта линия изгибы. Является ли причиной того что путь из петербурга в москву по прямой короче чем через магадан то, что в магадане вам пришлось поворачивать? Нет, сам поворот причиной не является, удлиннение пути происходит не во время поворота, но признаком того что путь выйдет длиннее чем без поворотов - является