Критерий проще некуда: любая не элементарная функция является специальной.
Я бы возразил. Скажем, в известном справочнике Абрамовица и Стигана по специальным функциям к ним отнесены и ортогональные многочлены, у Янке, Эмден, Лёш включены тригонометрические и гиперболические функции, и также полиномы. Это всё "элементарные". С другой стороны, существует бесконечно много неэлементарных функций, которых никто не зовёт "специальными" по той причине, что они никому не нужны.
Дать строгое определение для специальных функций не могу (для элементарных определение есть, скажем, в книге Харди по ссылке выше). Это просто "полезные функции", которые появились в процессе решений каких-то задач, как правило, как решения дифуравнений, и оказались достаточно широко востребованы, чтобы их изучали особо. Большинство из них действительно неэлементарно, но есть и элементарные.