У вас тут переводы строки воспринимаются как переходы на следующую строку таблицы (в самом деле, как тех отличит
\\ для «полного» перехода и
\\ для частичного?). Надо формулы одной ячейки окружить каким-то многострочным окружением — например,
aligned:
(Наведите указатель, чтобы посмотреть код.) Только я не очень разбираюсь в многострочных окружениях — может, в вашей ситуации есть что-то правильнее
aligned.