Или он зарезервирован вообще в языке, а не только для формул?
Да, зарезервирован вообще в языке.
#1 означает первый параметр макроопределения (см.
Кнут. Всё про TeX).
## позволяет вставить символ
# в результат подстановки макроопределения (но не в выводимый на экран текст!).
Всего зарезервировано в языке десять символов:
{ } $ & # % _ ^ ~ \