производная в гильбертовом пространстве

[Spook]

Не совсем понимаю, как берется. Нужно для метода Ньютона. Например, если $J(u)=||u||^4$, то $J'(u)=4||u||^2u$. Соответственно, со второй производной тоже непонятно. Квадрат вектора там что ли получается?

[MaximVD]

Пространство у вас, наверное, вещественное?
Попробуйте сначала по определению найти производную от $\| u \|^2 = \langle u, u \rangle$. Затем, функционал $J(u)$ можно представить в виде $J(u) = (\langle u, u \rangle )^2$ и чтобы найти его производную можно воспользоваться формулой для производной сложной функции.

Вторая производная тоже без особых проблем считается по определению, попробуйте! (Для её вычисления, кстати, пригодится производная от $\| u \|^2$).

[ewert]

Spook в сообщении #524025 писал(а):

Соответственно, со второй производной тоже непонятно. Квадрат вектора там что ли получается?

Нет, конечно. И первая производная -- это вовсе не вектор, а функционал; просто в гильбертовом пространстве (особенно вещественном) есть естественный изоморфизм между множеством функционалов и самим пространством. Вторая же производная -- это, соответственно, некая билинейная форма.

[Spook]

MaximVD писал(а):

Пространство у вас, наверное, вещественное?

Да, вещественное.

MaximVD писал(а):

Попробуйте сначала по определению найти производную от $\| u \|^2 = \langle u, u \rangle$.

$2u$. Дальше пока никак. Можно ли больше не применять определение?

MaximVD писал(а):

Вторая производная тоже без особых проблем считается по определению, попробуйте! (Для её вычисления, кстати, пригодится производная от $\| u \|^2$).

А разве нельзя производную от производной?

ewert писал(а):

И первая производная -- это вовсе не вектор, а функционал

А разве не градиент? Вторая производная - это оператор, насколько я понял. Вот на что он действует в методе Ньютона?

Я думал, сначала можно все через сложные функции (по заданию), без определений:
$(||u||^4)'=((||u||^2)^2)'=2||u||^2(||u||^2)'=4||u||^2u$
$(4||u||^2u)'=4(2u^2+||u||^2)=12||u||^2$
Как этим оператором на что-то подействовать - непонятно:) Это неправильно, скорее всего. В идеале хотелось бы получить вторую производную через сложные функции, без определения.

[мат-ламер]

Spook в сообщении #524352 писал(а):

Как этим оператором на что-то подействовать - непонятно:)

Куда-то единичная матрица подевалась. Первая производная правильно.

[MaximVD]

Пусть есть функционал $I(u) = \langle u, u \rangle$. Считаем его производную

$$ I(u + h) - I(u) = \langle u + h, u + h \rangle - \langle u, u \rangle = 2 \langle h, u \rangle + \| h \|^2, $$

откуда получаем, что $I'(u)[h] = 2\langle h, u \rangle$, здесь $u$ - это "точка" в которой вычисляется производная. То есть $I'[u]$ - это линейный функционал, но как написал ewert

ewert в сообщении #524176 писал(а):

просто в гильбертовом пространстве (особенно вещественном) есть естественный изоморфизм между множеством функционалов и самим пространством.

Поэтому удобно отождествлять $I'(u)$ с тем элементом, который "определяет" этот функционал, т.е. с $2u$.

Вторая производная для вашей функции считается точно также

$$ J'(u + h) - J'(u) = 4 \| u + h\|^2 (u + h) - 4 \| u \|^2 u = \text{какие-то преобразования} = A(u)[h] + o( \| h \| ), $$

где $A(u)$ - это линейный непрерывный оператор ($u$ фиксировано, он линеен по $h$). Тогда, поскольку

ewert в сообщении #524176 писал(а):

Вторая же производная -- это, соответственно, некая билинейная форма.

то вторая производная от вашего функционала (если я не ошибаюсь) будет выглядеть так $J''(u)[h_1, h_2] = \langle A(u) [h_1] , h_2 \rangle$.
К сожалению (или к счастью), так просто, как вы написали, производные функционалов определённых на гильбертовом пространстве обычно не считаются, поэтому приходится по определению считать. К тому же по определению порой полезно посчитать.

[мат-ламер]

мат-ламер в сообщении #524369 писал(а):

Куда-то единичная матрица подевалась.

Извиняюсь, тождественный оператор.

-- Вс янв 08, 2012 01:35:14 --

Любопытно получается. Вторая производная - скалярный оператор, и метод Ньютона совпадает с градиентным методом с специальным выбором шага.

[Spook]

мат-ламер писал(а):

Куда-то единичная матрица подевалась. Первая производная правильно.

MaximVD писал(а):

Вторая производная для вашей функции считается точно также $J'(u + h) - J'(u) = 4 \| u + h\|^2 (u + h) - 4 \| u \|^2 u = \text{какие-то преобразования} = A(u)[h] + o( \| h \| )$

У меня получается так: $4u(||u+h||^2-||u||^2)+4||u+h||^2h$
$J''(u)=4u(2u,h)+4(u,u+h)h$
$J''(u)=(8||u||^2,h)+4||u||^2h$
$J''(u)=12||u||^2$, домножив на $I$: $J''(u)=12||u||^2I$. Так?

-- Вс янв 08, 2012 01:10:13 --

мат-ламер писал(а):

Любопытно получается. Вторая производная - скалярный оператор, и метод Ньютона совпадает с градиентным методом с специальным выбором шага.

Может, я глупость скажу, но так должно быть не для квадратичных функций?

[мат-ламер]

Ерунду написал в предыдущем посту. В первом члене второй производной действительно пропал тождественный оператор. И он выглядит так - $4I||u||^2$. А во втором члене u перемножаются в другом порядке. И он выглядит так - $8uu^T$.

[MaximVD]

мат-ламер
Что такое $u^T$, если $u$ - это элемент гильбертова пространства?

Spook
Давайте проверим ваши вычисления в простом случае, когда функционал определён на $R^n$. Тогда $J(u) = (u_1^2 + \ldots + u_n^2)^2$, здесь $u = (u_1, \ldots, u_n)$. Всё-таки матрица вторых производных в этом случае не равна $12 \| u \|^2 I$.

Вы правильно начали

Spook в сообщении #524407 писал(а):

У меня получается так: $4u(\| u + h \| ^2 - \| u \|^2)+4\|u+h\|^2 h$

И правильно выписали первое слагаемое во второй производной
$J''(u)[h] = 4(2u, h)u + 4(u, u + h) h$,
но второе слагаемое выписано неверно, потому что оно не линейно по $h$. Второе слагаемое в приращении преобразовывается так

$$ 4\| u + h \|^2 h = 4\|u\|^2 h + 8 \langle u, h \rangle h + 4\| h \|^2 h = 4\| u \|^2 h + o(\| h \|). $$

И самая главная ошибка: $4\langle 2u, h \rangle u \ne \langle 8 \| u \|^2, h \rangle$. В левой части стоит вектор из гильбертова пространства, а в правой непонятно что, потому что скалярно умножать можно только векторы гильбертова пространства, но никак не число на вектор. Выражение $\langle 2u, h\rangle u$ уже никак не упростить.

[мат-ламер]

MaximVD в сообщении #524484 писал(а):

мат-ламер
Что такое $u^T$, если $u$ - это элемент гильбертова пространства?

Извиняюсь, когда писал думал думал про конечномерное пространство. В конечномерном случае ответ такой $J''(u)=4I||u||^2+8uu^T$. Как выглядит вторая производная в гильбертовом пространстве мне сказать трудно. Второй (квадратичный) член ряда Тейлора выглядит так - $(4||u||^2h+8(u,h)u,h)/2$. Можно (и надо ли) представлять это в виде $(A,h)h/2$ (где $A$ линейный оператор) - я не знаю. Пойду почитаю определение второй производной у Алексеева (ОУ) или у Зорича.

-- Вс янв 08, 2012 13:50:57 --

Любопытно, а как записывается метод Ньютона в гильбертовом пространстве?

[мат-ламер]

У меня такое мнение, что в бесконечном гильбертовом пространстве применять метод Ньютона не стоит. Лучше бесконечномерную задачу аппроксимировать конечномерной.