В объявлении новой команды вроде вот такого
\newcommand{\tfirst}[3]{%
Найти дифференциал функции: %
$f(x)= \arctan(\frac{{#2}x^2-1}{{#3}x}).$ %
}
необязательный аргумент в квадратных скобках - это не абстрактное число, а количество параметров команды. Если вы объявляете команду с тремя параметрами, а вызываете - с двумя, то в качестве третьего аргумента будет подставлено то, что находится сразу после вызова (поскольку аргументы, вообще говоря, не обязательно должны быть заключены в фигурные скобки. В данном случае третьим аргументом оказывается
\taskitem.
P.S. А вообще это хтонический ужас какой-то, а не документ...