Метод наименьших квадратов и ОДУ

[robot80]

Здравствуйте, всем!
Вначале немного предыдстории к теме. В рамках своего предмета "Численные методы оптимизации" я решил перейти от стандартного изложения (методы поиска минимума абстрактной тестовой функции) к изложению в ключе "прямая - обратная задача". Например, есть функция $y= f(x)$. Если $x=x_0$ известно, а надо найти $y = f(x_0)$, то это прямая задача, а если наоборот, то это обратная задача. Получим некое уравнение. Чтобы его решить, можно попробовать применить аналитические либо численные методы, но так как предмет у нас методы оптимизации, то будем применять МНК и искать минимум полученной целевой функции. Вот такой подход. В общем, я перебрал обычные уравнения, системы уравнений и интегральные уравнеия. Дошёл до ОДУ и споткнулся.
Теперь собственно тема. Пусть имеется начальная заадча Коши: $y^{(1)} =f(x,y), y(x_0) = y_0$. По логике, если решать прямо в лоб, то целевая функция будет иметь вид $F = \int _{x_0}^{x_1} \left( y^{(1)} -f(x,y) \right)^2 dx$. Но как здесь учесть начальное условие?
В книжке по ЧМ Березина, Жидкова от 1959 года говорится, что такой же будет целевая функция, если решать краевую задачу $y^{(1)} =f(x,y), y(x_0) = y_0, y(x_1) = y_1$. Но как здесь учитываются краевые условия, мне тоже непонятно.
Конечно, можно перейти от ОДУ к ИУ Вольтерра 2-го рода или применить методы Рица, Галеркина, но как-то не хочется, если найдутся другие методы решения задачи. Хочется остаться, так сказать, в рамках единого подхода МНК.
Что-нибудь можете посоветовать?

[Red_Herring]

robot80 в сообщении #1406324 писал(а):

По логике, если решать прямо в лоб,

Прежде всего вам следует выучить вариационное исчисление.

При целевой функции $F:= \int_{a}^b (y' -f(x,y))^2\,dx$ ОДУ будет $(y'-f(x,y))'=0, \text{ т.е. } y'-f(x,y)=C$ и будут два краевых условия. Если вы наложите дополнительное условие $y(a)=y_1$ в вариационной задаче, то эти уравнения будут сопровождаться краевыми условиями $y(a)=y_1$, $(y'-f(x,y))|_{x=b}=0\implies C=0$.

Подчеркиваю: если хотите заниматься подобными задачами--выучите вариационное исчисление, причем не по книгам, посвященным численным методам.

[alcoholist]

Red_Herring, кажется, экстремали функционала $F[y]$ будут решениями уравнения

$$y''=\frac{\partial f}{\partial x}+f\frac{\partial f}{\partial y},$$

разве нет?

-- Вс июл 21, 2019 22:39:22 --

robot80 в сообщении #1406324 писал(а):

начальная заадча Коши

Задача Коши и есть начальная задача. То есть нужно просто "задача Коши".

[Red_Herring]

alcoholist в сообщении #1406341 писал(а):

разве нет?

Вы правы. Но правая часть будет $(f(x,y))' -(y'-f) \frac{\partial f}{\partial y}$ т.ч. уравнение переписывается как

$$ (y'-f)' = -(y'-f) \frac{\partial f}{\partial y} $$

и с учетом условия на правом конце мы снова приходим к $y'-f(x,y)=0$,

[alcoholist]

Впрочем решения задачи Коши $y(x_0)=y_0$, $y'(x_0)=f(x_0,y_0)$ для уравнений $y''=\frac{\partial f}{\partial x}+f\frac{\partial f}{\partial y}$ и $\left(y'-f(x,y)\right)'=0$ одинаковые. Являются решениями ЗК $y'=f(x,y)$, $y(x_0)=x_0$, кто бы мог подумать.

[Red_Herring]

alcoholist в сообщении #1406348 писал(а):

Впрочем решения задачи Коши

Нас же интересует вариационная задача, и там будет не задача Коши а двухточечная. Но как бы то ни было, вариационная задача с указанной целевой функцией и с условием $y(a)=y_0$ и свободным правым краем эквивалентна двухточечной задаче $y'' =f_x + ff_y$, $y(a)=y_0$, $(y'-f)|_{x=b}=0$, которая в свою очередь эквивалентна задаче Коши $y'=f$, $y(a)=y_0$.

[robot80]

Здравствуйте, Red_Herring, alcoholist !
Спасибо за совет изучить вариационное исчиление более детально. Но боюсь, что если даже я это и сделаю, то моим студентам, которые НЕ математики и НЕ физики, а обычные студенты-технари среднего технического ВУЗа это не по зубам...
Кроме того, насколько я понимаю, целью вариационного исчисления является поиск минимума интегрального функционала. Для чего в простом варианте переходят к УЧП Эйлера, которое решают. У меня же всё наоборот: ОДУ (с задачей Коши) уже есть. И надо составить и на его основе интегральный либо какой-нибудь другой функционал (который бы учитывал задачу Коши), минимум которого и совпадёт с решением исходного ОДУ (с задачей Коши).
Насколько я понял из последнего сообщения Red_Herring,

Цитата:

вариационная задача с указанной целевой функцией и с условием $y(a)=y_0$ и свободным правым краем эквивалентна задаче Коши $y'=f$, $y(a)=y_0$.

. То есть функционал составлен правильно....
Проблема в том, что если перейти к сеточной задаче и искать минимум функции многих переменных (значений функции $y(x_k)$ в узлах), то минимум ищется хорошо, но не тот, что надо. Он соотвествует другому начальному условию. Минимум я ищу методом адаптивного случайного поиска (см. книгу по ЧМ Пантелеева, Летовой) без производных.

P.S. Теперь отвечу на замечания...
Red_Herring, я попробовал получить экстремаль заданного функционала, у меня получилось вот что:
(2) $(y' -f)_x+(y' - f) \cdot f_y =0 $.
Напоминает то, что записал alcoholist, но всё же не то... Видно, что решение исходного ДУ будет решением уравнения (2) независимо от начальных условий. А вот будет ли у уравнения (2) с заданным начальным условием ещё какие-нибудь решения - я не знаю. Видимо, поэтому нужный минимум у меня и не ищется...
alcoholist,

Цитата:

Задача Коши и есть начальная задача. То есть нужно просто "задача Коши".

Да конечно. Это уточнение у меня от преподавания осталось : если есть краевая задача Дирихле, то почему бы не быть начальной задаче Коши?

[Red_Herring]

robot80 в сообщении #1406384 писал(а):

а обычные студенты-технари среднего технического ВУЗа это не по зубам...

Прежде всего, это не сложно, недаром есть не слишком сложные учебники "ОДУ и Вариационное Исчисление".

Много десятилетий назад я учил в провинциальном техническом вузе и там специалистов с теплотехнических кафедр интересовали задачи оптимального контроля системами описываемыми ОДУ и УЧП (а первое на порядок сложнее простого вариационного исчисления, а второе еще на пару порядков), а с кафедры ОМД интересовали вариационные методы в задачах упругости и пластичности (что на несколько порядков сложнее вариационного исчисления).

robot80 в сообщении #1406384 писал(а):

Кроме того, насколько я понимаю, целью вариационного исчисления является поиск минимума интегрального функционала. Для чего в простом варианте переходят к УЧП Эйлера, которое решают. У меня же всё наоборот: ОДУ (с задачей Коши) уже есть. И надо составить и на его основе интегральный либо какой-нибудь другой функционал (который бы учитывал задачу Коши), минимум которого и совпадёт с решением исходного ОДУ (с задачей Коши). . То есть функционал составлен правильно....

Задачей вариационного исчисления я бы сказал является установления связи между вариационными задачами (а там не только функционал, но и множество, на котором ищется минимум, следует указать) и задачами для ОДУ.

Да, вы составили функционал правильно--и ни слова не сказали о множестве.

[robot80]

Цитата:

Да, вы составили функционал правильно--и ни слова не сказали о множестве

Множестве чего? Рассматриваемых функций? Или множестве, на котором эти функции определены?

[Red_Herring]

robot80 в сообщении #1406392 писал(а):

Множестве чего? Рассматриваемых функций? Или множестве, на котором эти функции определены?

Red_Herring в сообщении #1406391 писал(а):

но и множество, на котором ищется минимум

[robot80]

Ну, раз ищется функция, значит указанное множество - это множество функций.
Причём таких, что определены, нерерывны и дифференцируемы на отрезке решения ДУ $[x_0; x_1]$. Да, и ещё выполняется условие $y(x_0) = y_0$. Так?

[Red_Herring]

robot80 в сообщении #1406400 писал(а):

Причём таких, что определены, нерерывны и дифференцируемы на отрезке решения ДУ $[x_0; x_1]$. Да, и ещё выполняется условие $y(x_0) = y_0$. Так?

Именно последнее условие у вас не упоминалось.

Его, кстати можно и опустить, но тогда выбрать функционал (а не "целевую функцию")

$$ F= \int_{x_0}^{x_1}\bigl(y'-f(x,y)\bigr)\,dy + N \bigl(y(x_0)- y_0\bigr)^2 $$

где последний член--наказание за нарушение начального условия и $N$ вес .

[robot80]

Попробовал с таким функционалом (там квадрат ещё должен быть). Действительно, всё заработало!
Red_Herring, спасибо за беседу и подсказку .

Но вот любопытно, почему предыдущие попытки не сработывали? Ведь условие $y(x_0) = y_0$ у меня выполнялось автоматически: первый элемент массива значений определяемой функции был всегда равен $y_0$. А в процессе поиска менялись элементы этого массива, начиная со второго.

[Red_Herring]

robot80 в сообщении #1406420 писал(а):

Но вот любопытно, почему предыдущие попытки не сработывали?

ну я по численным методам не специалист, да и имплементацию вы не показали.

[robot80]

Ну а как её покажешь? Код программы выложить?