На мой взгляд, идти учиться с первого курса не стоит. Во-первых, это большая потеря времени. Во-вторых, многое в этой программе будет для Вас лишним, ненужным. Если и стоило бы отучиться на физика, то только вечерне-заочно.
Я пошел в математическую аспирантуру имея диплом химика, так что все возможно. Как Вам правильно указали, нужен руководитель, который в Вас заинтересован. Как его найти? Нужно определиться с научной школой, которая Вам близка, переехать в тот город, где она базируется, и ходить на учебные и научные семинары. Во-первых, это существенно повысит Вашу культуру в этой области. Во-вторых, там ставятся задачи, которые для Вас -- шансы, что Вас заметит руководитель и пригласит в аспирантуру. У меня было именно так. Потом Вы и работать сможете как физик, первоначальное образование уже не будет иметь большого значения.
На счет потери времени, сказали что можна будет работать по индивидуальному плану: некоторые предметы перезащитать, некоторые досрочно сдать, и получиться окончить на 1 семестр раньше (может 2 и больше, но сказали трудно будет). А по програме смотрел, то что совпадает (хоть немного) - математический анализ, лин алгебра, тфкп, история, физкультура, английский, философия, психология, педагогика.
Так то понимаю, что если найти руководителя и закончить аспирантуру, то особого значения диплом уже иметь не будет. Но смущает то, что не будет базовой подготовки. Тоесть, я могу разобраться в какой то одной узкой специализации, но быть профаном в чем то элементарном, что знает даже последний троешник с 3-4 курса.
Учиться на вечернем-заочном, насколько знаю, таких возможностей нету.
В какой области математики вы работаете, если не секрет?