курсом ММФ (краевые задачи, метод разделения переменных, функция Грина, уравнения теплопроводности и колебаний, задачи для уравнения Гельмгольца и тд.).
С краевой задачей кроме оптоволокна что-то ничего в голову не приходит. Длина волны у света маленькая, редко тут краевые задачи встречаются... Впрочем, нынче всякое "нано" модно, вот там будут сплошь краевые задачи. На вскидку можно представить себе оптический диэлектрический резонатор. Ну и волноводы не только круглые. В общем, все что есть в технике СВЧ, вот все то же самое будет и в оптике при уменьшении размеров. Правда, почти ничем это не будет отличаться от классических СВЧ-задач, ну разве что дисперсия (в.т. ч пространственная) иной раз окажется существенной.