Я интересуюсь такими вещами, например, как математические алгоритмы роя частиц, искусственным интеллектом, теория хаоса.
Естественно, для работы с этими вещами Вам потребуется определенное знание математики, так что поступать куда-то надо. Решать олимпиадные задачи не советую (с целью образования; а так для души - пожалуйста). Я не думаю, что это поможет. Более правильно тогда уж скачать древние номера "Кванта" и читать оттуда статьи, которые приглянутся. Это уже максимально приближено к реальной высшей математике, но при этом доступно школьникам и рассказано с примерами конкретных задач и применений.
Вам хорошо бы задуматься о том, что такое "работа математиком", к которой Вы стремитесь. Есть два принципиальных направления: либо научно-исследовательская деятельность, либо работа в какой-либо индустрии. Первое связано с институтами, университетами, научно-исследовательскими центрами или чистыми research-отделами каких-либо крупных компаний (неважно сейчас, здесь или за границей). Результатом работы здесь являются статьи, доклады на конференциях и т.д. Иногда удается участвовать в решении и реальных задач, но чаще это все-таки чисто исследовательская деятельность, изучение "сферического коня в вакууме". Преимущество - Вы обычно сами ставите себе задачи, придумываете и исследуете новые методы. Но на практике это зачастую применимо слабо. При втором направлении Вы работаете с реальными задачами, но будет много рутинной деятельности и чаще придется применять то, что придумали другие, причем возможно давно.
В любом случае Вы можете сейчас для себя поискать и внимательно ознакомиться с обзорными материалами по выбранной области - что это вообще такое, где и как применяется, какие задачи решает, какие там актуальные проблемы. Лучше ориентироваться на англоязычные материалы. Очень полезно было бы найти какую-нибудь книжку и попробовать начать читать. Только нужно внимательно посмотреть, чтобы она была реально содержательной, а не бла-бла-бла, много слов, а смысла и конкретики мало. Нужно, чтобы были задачи, утверждения, формулы. Начнете читать - начнете спотыкаться о вещи, которых не знаете. Будет реальный стимул изучить это, причем не просто так, а имея конкретную цель - понять содержание книги, которую читаете. Также поймете, какие области более нужны, а какие менее.
Еще крайне полезно поискать текущие конференции, посвященные выбранной тематике. Найти доклады, почитать. Опять-таки англоязычные. Значительная часть работы любого исследователя должна заключаться не столько в разработке своих результатов, сколько в анализе и изучении того, что и как делают другие. К этому полезно привыкать. Попробуйте понять сначала постановки задач, потом - как примерно они решаются. Нужно также смотреть еще и на авторов. У иностранных авторов обычно неплохие личные сайты, где можно найти разную дополнительную информацию. У наших сайты обычно не так развиты и заполнены, зато можно узнать, кто работает в этой области, узнать места их работы. Вполне можно попробовать им написать и завязать контакт. Например, попросить посоветовать материалы для начального ознакомления. А вполне может быть и так, что кто-то предложит какую-нибудь несложную, но при этом реальную и актуальную задачку. В современных областях, близких к Computer Science есть много возможных задач, которые вполне доступны и при отсутствии фундаментально-тяжеловесного математического аппарата.
