Формула не точная (вспомнил по памяти)
Формула не то чтобы неточная, но довольно невнятно выписанная: последнее слагаемое на самом деле должно выглядеть как
. Она получается из стандартной формулы метода вариации произвольных постоянных:
где
-- вронскиан двух независимых решений однородного уравнения. И если теперь выразить второе решение через первое из условия, например,
, т.е. взять
, то после подстановки там появятся два двойных интеграла, причём в третьем слагаемом интеграл будет браться по треугольнику, а в четвёртом -- по квадрату. Интегралы по общему треугольнику сократятся, и останется то, что нужно.
Это если по существу; а ссылку на литературу дать, к сожалению, не могу.