Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа, глава IV, параграф 5, раздел 6 определение 4 (стр. 249):
Цитата:
"Ограниченный линейный оператор

, действующий в евклидовом пространстве

, называется самосопряжённым, если

, т.е. если

, где

"
А Вы обратили внимание на самое первое слово в определении -- "
ограниченный"? Для неограниченных операторов определение самосопряжённости другое. Операторы же дифференцирования -- принципиально неограниченны.
Книжка Колмогорова и Фомина, конечно, замечательна, но не напрасно всё-таки названа "элементами". Неограниченные операторы там, кажется, вообще не рассматриваются.
в чем разница между самосопряженностью в широком смысле и самосопряженностью аналогичной данном случаю, или посоветовать учебник где про это можно почитать?
В двух словах: оператор самосопряжён, если совпадает со своим сопряжённым. Оператор в существенном самосопряжён, если его замыкание совпадает с его сопряжённым (а замыкание в данном случае -- это результат двукратного сопряжения).
Ваш оператор, заданный на
![$C^2([a;b])$ $C^2([a;b])$](https://dxdy-01.korotkov.co.uk/f/4/f/a/4faaa5294b6fc62f3255b2d622d53f5982.png)
, не самосопряжён потому, что сопряжённый к нему (действуя, естественно, по тому же правилу) определён на более широкой области -- на соболевском пространстве
![$W_2^2([a;b])$ $W_2^2([a;b])$](https://dxdy-01.korotkov.co.uk/f/4/e/0/4e03aed84bc085dd3524cfc63029c47a82.png)
, состоящем из квадратично интегрируемых функций, имеющих квадратично интегрируемую (но вовсе не обязательно непрерывную) вторую обобщённую производную. Однако в существенном он самосопряжён, поскольку
![$C^2([a;b])$ $C^2([a;b])$](https://dxdy-01.korotkov.co.uk/f/4/f/a/4faaa5294b6fc62f3255b2d622d53f5982.png)
плотно в
![$W_2^2([a;b])$ $W_2^2([a;b])$](https://dxdy-01.korotkov.co.uk/f/4/e/0/4e03aed84bc085dd3524cfc63029c47a82.png)
.
Почитать -- навскидку:
Рисс, Надь, Лекции по функциональному анализу, глава 8, п.115 (сопряжённые операторы) и п.119 (симметричные и самосопряжённые операторы).
Рид, Саймон, Методы современной математической физики, т.1 (функциональный анализ), глава 8 (неограниченные операторы).
Да много где. На мой взгляд, наиболее компактно:
Бирман, Соломяк, Спектральная теория самосопряжённых операторов в гильбертовом пространстве, глава 3, параграф 3 (сопряжённый оператор, стр.76) и глава 4, параграф 1 (симметричные и самосопряжённые операторы, стр.94).