Функция

особенна тем, что её производная равна самой себе. Если основание степени какое-нибудь другое, то производная дополнительный коэффициент не равный единице получает (нат. логарифм от основания), немножко некрасиво. Разумеется, если и сам показатель степени не просто

, то и производная снова усложнится, но с

в основании всё равно проще.
А конкретные её применения имеют конкретные объяснения в конкретных дисциплинах - их и изучайте. Статистическую физику там, или что вам надо. Хотите понять, откуда там экспоненты в распределении Максвелла-Больцмана, разберитесь как выводятся статсуммы для канонических ансамблей.