
Формула не точная (вспомнил по памяти)
Формула не то чтобы неточная, но довольно невнятно выписанная: последнее слагаемое на самом деле должно выглядеть как

. Она получается из стандартной формулы метода вариации произвольных постоянных:

где

-- вронскиан двух независимых решений однородного уравнения. И если теперь выразить второе решение через первое из условия, например,

, т.е. взять

, то после подстановки там появятся два двойных интеграла, причём в третьем слагаемом интеграл будет браться по треугольнику, а в четвёртом -- по квадрату. Интегралы по общему треугольнику сократятся, и останется то, что нужно.
Это если по существу; а ссылку на литературу дать, к сожалению, не могу.