Нет конфигурационного файла с преамбулой для всех формул.
Документацию читать не пробовали? Погуглите на тему опции LATEX_HEADER. Ну или просто очень внимательно прочитайте
документацию. И да, я бы рекомендовал пользоваться исключительно utf8. По дороге через doxygen с любой другой могут произойти чудеса.