Когда физико-математические факультеты в крупных университетах СССР делились на физические и математические (это начало 30-х годов XX века), удельный вес астрофизики в составе астрономии был еще не настолько велик, как сейчас, и основными разделами астрономии были астрометрия (занимающаяся задачами точного определения координат и времени) и небесная механика. Соответственно, кафедры (или отделения из нескольких кафедр) астрономии, там где они были, попали на матмехи или мехматы. Конкретно в ЛГУ образование отдельных матмеха и физфака произошло в 1932 году, а кафедра астрофизики (первая, кстати, специализированная кафедра астрофизики в мире) была основана в 1934 году.
Далее, уже начиная с 50-х годов, в результате бурного развития астрофизики и превращения ее в основной по количеству работ и людей раздел астрономии, в разных университетах астрономические кафедры начали постепенно перемещаться с математических факультетов на физические. В ЛГУ подобный перевод в те времена тоже обсуждался, но реализован не был. Сначала это было связано с тем, что в состав отделения входили достаточно сильные неастрофизические кафедры, а на самой кафедре астрофизики в силу вкусов ее основателя В.А.Амбарцумяна и его ученика и приемника В.В.Соболева теоретическая астрофизика развивалась активнее, чем наблюдательная. Потом, к началу 70-х, вторая причина пропала, на кафедре выросли и сильные наблюдательные направления, однако к тому моменту особенности руководства факультетов привели к тому, что желающие сменить вполне адекватный и комфортный матмех на несколько, скажем так, странный физфак
полностью вывелись. В последние два десятилетия к этому обстоятельству прибавился еще и существенно больший, чем в среднем, упадок физфака (в том числе и по сравнению с матмехом), так что, по-видимому, такой переход в обозримом будущем и не состоится. С другой стороны, на матмехе Астрономическое отделение представляет собой своеобразный "факультет в факультете", обладающий достаточно широкой автономией, поэтому и причин сбегать к соседям нет.
Это, так сказать, формально-исторический ответ. Однако есть и еще некоторые обстоятельства. Астрономия - все-таки отдельная от физики наука со своей спецификой. Заниматься некоторыми астрономическими областями, имея "общефизическое" образование и не потратив довольно большое время на самостоятельную переквалификацию, можно, но в целом результаты нередко оказываются, скажем так, не лучшими. Поэтому даже в том случае, когда кафедра/отделение астрономии находится на физфаке, ее студенты выделяются в отдельный поток с отдельной же учебной программой. Например, в МГУ астрономическое отделение находится на физфаке, однако физика и астрономия - все равно две отдельных специальности с отдельным приемом, так что и студентам-физикам для попадания на астрономические кафедры, и студентам-астрономам - на физические требуется формально сменить специальность (а также сдать разницу учебных планов и т.п.).