ewert писал(а):
Меня что удивляет: ведь есть же уже давно (всяко ранее 67-го) установившееся, вполне общепринятое и естественное определение. Звучит оно примерно так.
Допустим, есть у нас банахово пространство (как частный случай -- гильбертово). И есть некий оператор

, действующий в некое другое банахово (а как частный случай -- в то же или другое гильбертово). Этот оператор может быть ограничен или нет, не суть, но что важно -- что он должен быть плотно определён.
Теперь берём выражение вида

, под которым может пониматься или значение линейного функционала

, т.е. некоего элемента сопряжённого пространства, или в гильбертовом случае попросту скалярное произведение. Этот функционал может оказаться или ограниченным, или нет.
Если он неограничен, то отправляем

фтопку.
Если оператор

неограничен то и функционал не обязан быть ограниченным.
ewert писал(а):
В противном случае объявляем его элементом области определения сопряженного оператора, а значением сопряжённого оператора на нём объявляем элемент сопряжённого пространства (соотв., эл-т гильбертова пространства)

, который задаёт тот функционал по формальному правилу

.
а этого самого

может и не существовать (это будет соответствовать тому, что

не принадлежит обл. определения), функционал-то неограничен вообще говоря и теорема Рисса не проходит.
Это касательно общих конструкций.
Однако, я снимаю свои возражения, т.к. для элемента

у нас функционал ограничен по условию задачи, и его можно продолжить по непрерывности на
, и поэтому по теореме Рисса существует

и Вы доказали, что

.
Хорошо теперь у меня два вопроса, 1) по поводу формулы

. Это откуда?
и главное:
2) Если эта формула верна, то далее Вы используете тождество

Но это тождество справедливо тогда и только тогда когда оператор

замкнут. См. цитированный учебник. Почему соответствующий оператор у Вас замкнут?