Возможно, имелось ввиду, что изменение траектории должно быть дифференцируемой функцией какого-то аргумента (параметра)...
Да, именно так, от параметра на траектории. Идём вдоль траектории, и "прибавка" к траектории плавно меняется, не менее плавно, чем сама искомая траектория. Впрочем, в каком классе гладкости функций рассматриваются прибавки (и сами траектории) зависит от задачи. В конце концов, от попыток рассмотрения траекторий с неопределённой длиной (неинтегрируемых) нас никто не спасёт, кроме нас самих.
Только не путайте параметр вдоль траектории с параметром малости. Прибавка умножается на малый параметр, чтобы получить функцию стоимости в зависимости от малого параметра, и дальше требовать её минимум в нуле средствами матана. Таким образом, для каждой формы прибавки получаем условие на минимум целевой функции для неё на искомой траектории при нуле параметра малости, и дальше просто распространяем это условие на вариации произвольной формы в рассматриваемом классе.
-- 25.08.2018, 00:26 --О, там даже можно будет получить, что входной и выходной лучи будут параллельны.
Там, даже, можно получить условие полного внутреннего отражения...