Разобрался я в своей проблеме.
Вся проблема в том, что excel не в состоянии переварить длинную строку формул
Поэтому пришлось распилить на две, т.е. параметром во вторую шёл рез-тат первой.
Мой

будет выглядеть так.
![$\left[(((((((((a^2\ mod\ n)\cdot a\ mod\ n)^2\ mod\ n)\cdot a\ mod\ n)^2\ mod\ n)\cdot a)\ mod\ n)^2\ mod\ n)^2\ mod\ n)\cdot a\right]\ mod\ n$ $\left[(((((((((a^2\ mod\ n)\cdot a\ mod\ n)^2\ mod\ n)\cdot a\ mod\ n)^2\ mod\ n)\cdot a)\ mod\ n)^2\ mod\ n)^2\ mod\ n)\cdot a\right]\ mod\ n$](https://dxdy-01.korotkov.co.uk/f/4/5/a/45a9f63e7b63f120a6e38b531fedd30982.png)
А в excel'е это приобретает вот такой вид.
Код:
остат(остат(степень(остат(степень(остат(остат(степень(остат(остат(степень(остат(остат(степень(A1;2);A2)*A1;A2);2);A2)*A1;A2);2);A2)*A1;A2);2);A2);2);A2)*A1;A2)
И, как выяснилось, excel не может это за один раз переварить.