Что вообще понимают под областью определения оператора?
Множество, на котором оператор определён.
То есть это набор условий, которые мы накладываем на оператор сами? Или есть ограничения на существование результата функции?
Накладываем, естественно, сами, но в пределах существующих ограничений, разумеется. Например, мы не имеем права определять оператор дифференцирования на разрывных функциях, оставаясь в рамках классического анализа.
Ведь эллиптический оператор может действовать и на функцию которая не удовлетворяет его краевым условиям, но имеет вторую производную.
Может, но это будет уже формально другой оператор. И оператор с другими граничными условиями -- тоже другой, причём принципиально: например, у него будет другой спектр. Не говоря уж о том, что граничные условия обычно имеют вполне определённый физический смысл. В общем, говорить об операторе безотносительно к его области определения невозможно (если, конечно, этот оператор неограничен).