Можно без проблем заниматься математикой самому и в свое удовольствие. Никто не парит мозги, никто ничего не требует, никаких сроков, пересдач, контрольных и прочей такой ерунды.
Вы много знаете непрофессиональных математиков? Я лично не одного.
Да, можно сказать -- им это не интересно, но это всё отговорки -- они просто не знают математики на том же уровне, что выпускники вузов.
Говоря про уверенность:
Я сильно сомневаюсь, что это осмысленный вопрос. Любой человек, идущий в вуз, делает огромное предположение, что ему будет там нравится.
Мне даже, в некоторым смысле, повезло: мой интерес к математике возник, из-за лекций на teach in, так что я либо ничего знаю и тогда не буду разочарован, либо имею, пусть и небольшое, но представление.