Но я не знаю, что делать - книг куча, разделов куча: я не знаю, за что взяться мне было бы наиболее рационально.
Начните с того, что разберитесь, как разные разделы математики между собой связаны, какие нужны для изучения каких, и какие - используются для каких практических задач. Составьте для себя "карту местности", хотя бы и грубую (на хорошую на вашем этапе нельзя рассчитывать). На этой карте отметьте учебники, которые вам рекомендовали, отметьте пределы программы мехмата, отметьте ваши личные цели и предпочтения, и тогда решайте, как по ней дальше двигаться. По мере получения новых знаний карта будет постоянно уточняться, и ваши решения - тоже.
Например, матан: изучает непрерывные функции, операции дифференцирования и интегрирования. Опирается на школьные курсы алгебры и тригонометрии, сам служит основанием для таких разделов, как теория функций комплексной переменной, дифференциальные уравнения, общая топология, функциональный анализ, дифференциальная геометрия. Один из самых широко используемых в физике и технике разделов математики, поскольку непрерывными функциями описываются почти все явления и закономерности: изменение величины во времени, в пространстве, зависимость одних величин от других.