, из-за того, что фазовая скорость
Дело не в фазовых скоростях, а просто-напросто в том, что слишком большой угол преломления (если понимать этот термин стандартно) в оптически более плотной среде невозможен. Соответственно,в задачке явно имелся в виду предельный случай, когда падающий на стекло луч становится всё более и более этому стеклу параллелен. Если, конечно, предположить, что задачка вообще имеет хоть какой-то смысл.
Угол преломлённого луча определяется именно соотношением фазовой скорости вдоль границы и скоростью света в среде. Известная простая формула выведена именно из этого соотношения.
На самом деле в условии есть некая неопределённость, возможно и приведшая к недопониманию, хотя я полагаю, что Вы, как и я, за нулевой угол посчитали угол между лучом и границей раздела сред, а не нормалью.
Так вот, при переходе в более плотную среду (как в задаче) уменьшается угол между лучом и нормалью, и никаких ограничений на входящий угол нет.
А вот при переходе в менее плотную среду угол между лучом и нормалью увеличивается, и если угол входящего луча (к нормали) больше некоторой величины, то вышеупомянутое соотношение скоростей для выходящего луча невыполнимо, соответственно - полное отражение.
Но, повторюсь, это происходит только при переходе в менее плотную среду, в случае воздух->стекло никаких ограничений нет.