Параметрическая идентификация, численный поиск параметров

[serebro]

Здравствуйте уважаемые присутствующие. Столкнулся с небольшой проблемой при понимании алгоритма “действия” нелинейного метода наименьших квадратов. У меня есть модель, мне необходимо ее параметрически идентифицировать . Модель нелинейная по отношению к параметрам. Соответвенно необходимо решить не линейную систему уравнений для поиска коэффициентов модели.

Вопрос вот в чем, я не могу разобраться с методом доверительных областей (Trust Region), а именно для каких целей применяется данный алгоритм (на равнее с методом Ньютона-Гаусса и Левенберга-Марквардта) в общей цепочке отыскания коэффициентов модели?
Как я понимаю, суть задачи нелинейного метода наименьших квадратов – это отыскание таких значений нелинейной системы уравнений –чтобы данная система имела либо (при найденных коэффициентов) тождественные нулю правые части либо максимально близкие к нулю.
1. Подскажите, метод Зейделя, метод Ньютона-Рафсона это разные/модифицированные методы: Ньютона-Гаусса и Левенберга-Марквардта?
2.В каком случае будет достигнут критерий сходимости алгоритма поиска параметров модели?

[serebro]

Возможно тогда подскажите. Если с методом Ньютона (касательных) понятно - это линеаризация с помощью разложения в ряд Тейлора. Как дейсвует метод доверительных областей? Не могу понять.

[мат-ламер]

Сталкивался с методом доверительных областей, но не в связи с методом наименьших квадратов. В оптимизации (без ограничений) есть итеративные методы, в которых на каждом шаге функция минимизируется не на всём пространстве, а только в некоторой окрестности текущей точки. Например, можно рассматривать (на каждом шаге) задачу минимизации квадратичного приближения исходной функции на шаре, что сводится к нахождению собственных векторов.

Добавлено спустя 3 минуты 10 секунд:

Метод Зейделя - это метод циклического покоординатного спуска.

Добавлено спустя 7 минут 17 секунд:

Посмотрите также в Википедии статью "Метод Ньютона".

[serebro]

>>Сталкивался с методом доверительных областей, но не в связи с методом наименьших >>квадратов. В оптимизации (без ограничений) есть итеративные методы, в которых на >>каждом шаге функция минимизируется не на всём пространстве, а только в некоторой >>окрестности текущей точки. Например, можно рассматривать (на каждом шаге) задачу >>минимизации квадратичного приближения исходной функции на шаре, что сводится к >>нахождению собственных векторов.

Спасибо за ответ.
1. Как я понимаю, на каждой итерации (для алгоритма Trust Region) оценивается направление спуска - т.е. уточняются начальные значения. Если для метода Ньютона к вектору начального приближения прибавляется вектор приращений, то для алгорима TR к вектору начального приближения может не только прибавляться приращение, но и вычитаться из него?
2. Иначе говоря - алгоритм TR служит для минимизации целефой функции, точнее моей функции которая описывает модель?
3. Подскажите, у меня на ряд коэффициентов модели стоят ограничения, т.е. конкретные значения коэффициентов не могут выходить за эти рамки... как расценивать задачу в данном случае - как задача с боксовыми ограничениями ?

[мат-ламер]

1. Смысл метода Trust Region я сам не понимаю. Обычно метод Ньютона хорошо работает вблизи минимума. Вдали минимума квадратичная аппроксимация не очень и подходит. Пытаются как-то метод Ньютона подправить, чтобы он работал и вдали от минимума. Для этого ограничивают область поиска на каждом шаге. Почитайте http://matlab.exponenta.ru/optimiz/book_1/14.php
2. Да.
3. Да.

[serebro]

2 мат-ламер
http://matlab.exponenta.ru/optimiz/book_1/14.php - я это все изучил и + справку MATLAB . При этом ссылки на иностранные публикации в журналах описываемых метод TR (для задачи без ограничений) в основном платные. Если задача услажняется (накладываются ограничения) то описание действия этих самых ограничений дается в сложных (для меня) математических выкладках.

Дело в том, что метод Ньютона не всегда сходится, особенно когда речь идет о задании стартовой точки далекой от точки решения.
Скорей всего придеться менять используемый метод на метод Ньютона-Гаусса, он более доступно описан. При этом мало где явно сказано что, метод Ньютона-Гаусса...это модификация метода Ньютона. Второе, не совсем понятно, можно ли применять данный метод к задачи с боксовыми ограничениями.

[мат-ламер]

Чем отличается метод Ньютона-Рафсона от метода Ньютона см. статью в Википедии. Для боксовых ограничений применять его можно. Попробуйте скачать вот это
http://lib.org.by/info/M_Mathematics/MN ... 24,%202000)(T)(369s).djvu

[serebro]

>>метода Ньютона-Рафсона от метода Ньютона

ДЕло в том что тут метод Ньютона-Гаусса, это не одно и тоже что метод Ньютона-Рафсона, и если честно то википедии я не особо доверяю...ее пишут сами пользователи

Спасибо за ссылку...не могли бы вы дать название книги...потому что видно сервер либ.орг переполнен и скачка не идет.

Как я понял, продвижение к новой точке осуществляется в случаях:
Если точка "хорошая" - то передвигаются в нее, если точка "плохая" то усиливает роль в градиентного спуска. Веть в методе TR на каждой итерации оценивается направление спуска.

И, я не могу понять, нелинейный метод наименьших квадратов. Выходит тут две вложенные итерационные процедуры - первая это итерация по МНК целевой функции, а вторая это подбор самих коэффициетов этой целевой функции. Как интересно происходит переход от первой итерации ко второй?

[мат-ламер]

Насчёт Рафсона я ошибся. Метод Ньютона-Гаусса это модификация метода Ньютона для задачи наименьших квадратов. Насчёт двух вложенных итерационных процедур, то тут я не понимаю, откуда они взялись. Насчёт книги. Наберите в Google - Numerical Analysis 2000 Vol.4 Optimization and Nonlinear Equations. Первые три статьи там по Вашим вопросам.

[serebro]

>>Насчет двух вложенных итерационных процедур...

У меня идет оценка параметров модели, параметры модели не известны. Задача параметрической идентификации - это подбор коэффициентов модели так, чтобы модель с данными параметрами максимально точно описывала экспериментальные данные. Соответсвенно МНК используется для получения : Критерия SSE, критерия DFE (число степеней свободы)...ну и так далее. Выходит для минимизации целевой функции используется метод Ньютона-Гаусса (скажем), а затем идет оценивания приближения по методу МНК.

Спасибо за ссылки.

[newby20]

2 мат-ламер
Я тут пробегом .
1. Вот в чем ошибка, дело в том что алгоритм доверительных областей не служит для минимизации функции которая описывает модель и данный алгоритм не может найти коэффициенты модели. Алгоритм доверительных областей используется для ришение НЕ линейной системы уравненений. И целевая функция здесь не функция модели, а функция(ции) системы не линейных уравнений.

2. Метод Ньютона-Рафсона это и есть метод Ньютона.

3. Разъесните мне, что такое боксовые ограничения?

[мат-ламер]

newby20 Боксовые ограничения - это минимизация функции на паралелепипеде.

[serebro]

Тогда мне не понятно...как в нелинейном методе наименьших квадратов формируется нелинейная система уравнений? Так же как и в метода МНК Гаусcа? Если для метода МНК Гаусса необходимо найти частные производные по всем искомым коэффициентам уравнения, взять сумму невязок и решить систему уравнений. То задачи на нелинейный МНК решается так же?

[mserg]

По сути Вам нужно решить задачу глобальной оптимизации. В этой задаче "параметры" по сути есть переменные, которые нужно найти. Решение в общем виде подобных задач предполагает наличие сложных и дорогих пакетов оптимизации, которых, конечно у Вас нет.

Если Вы представите саму функцию и данные и/или их объемы, тогда можно подсказать более конкретно. Ну, а так, ищите "Глобальная оптимизация" или Global Optimization.

[serebro]

2 mserg

Дело в том, что параметрическую идентификацию модели я уже провел. Данные хорошо согласуются с экспериментом, например R-square в ряде случаев был равен 0.98
Если вы знакомы с пакетом MATLAB - то наберите в справке слово fit.
Мне просто нужно разобраться как происходит приближение. Трудность понимания самого алгорима приближения.
Я повторюсь, решается задача на нелинейный метод наименьших квадратов, как я понимаю эта задача минимизации целевой функции. Т.е. формируется система нелинейных уравнений (по аналогии с МНК Гаусса), которая затем решается методом доверительных областей. Как я понимаю, решение нелинейной системы сводится к отысканию таких коэффициентов уравнений системы, чтобы добиться тождества левой и правой части.
Второе что мне непонятно, это слово минимизация целевой функции. В данном случае целевой функцией, как я понял, выступает либо все уравнения системы, либо одно из уравнений системы. Минимизация функции необходима для поиска минимума поверхности, которая в данном случае образована системой уравнений?.

>>Если Вы представите саму функцию и данные и/или их объемы.
К сожелению функцию представить не могу, она достаточно грамоздка, могу только сказать что количество параметров модели которые требуется отыскать не превышает 10-ти.