Много можно придумать колокольчиков и на основе

и, например,

и тд и тп. Поэтому ключевой вопрос тут не в числах

и

. Прежде всего не следует хвататься за

, помятуя о том, что экспонента - это всего лишь частный случай показательной функции, и легко, вообще говоря, можно перейти и к другому основанию
Зря вы так, вся соль в "е" заключается, ибо таит оно в себе бесконечный фрактал и является его числовым представлением.
Познав

, вы познаете бесконечное кол-во ненулевых данных, а инвариантность относительно дифференцирования делает ее особой точкой в соотв. пространстве. Причем с асимптотной стабильностью. Таким образом система, применяя свою операцию (в данном случае взятие производной) просто эволюционирует к оптимуму, коим является экспонетная ф-ия.
То же самое с окружностью, инвариантность с минусом относительно двойного дифференцирования - дает оптимум некой меры / либо асимптотный предел в пространстве с этой операцией.
С ф-ей гаусса и норм.расп. посложнее, но надо смотреть в ту же сторону - инвариантность некой существенной операции. В данном случае возможно преобразования фурье, но не факт. Значение имеет исконная роль - "функции ошибки". В общем, эта функция лучше всего показывает распределение собственной ошибки.
Возможно, наглядное объяснение лучше всего видно из формы дифф. уравнения нормального распределения. А может даже и самой простой формы ф-ии гаусса. Но нет, не уверена, но кажется, нормировка там имеет значение для инвариантности.
И тогда ответ на вопрос "почему именно экспонента и минус и квадрат", с одной стороны будет следовать из показания инвариантности, с другой - будет равнозначен вопросу "почему е равно именно столько, а не сколько-то еще?"