Параметрическая идентификация, численный поиск параметров

[mserg]

Производные равны нулю - это основа МНК для линейной функции. Для нелинейной функции это не работает. Поэтому никакой системы нелинейных ограничений не возникает. А если и возникает, это гарантирует геморрой, а не минимум. МНК - это способ постановки задачи, а не метод решения.

Если мне не изменяет память, доверительные области используются при оптимизации функций-"черных ящиков". В доверительной области не происходит "обломов", поэтому для поиска локального минимума можно использовать первые и вторые "псевдопроизводные".

Не исключено, что мы говорим про разные вещи....

[serebro]

>>Производные равны нулю.
Да, первая производная равна нулю,а вторая больше нуля. В этом случае достигается минимум значения разброса.

>> Поэтому никакой системы нелинейных ограничений не возникает
О каких ограничения идет речь?

>> МНК - это спорою постановки задачи, а не метод решения.
Хорошо, а модификации МНК - нелинейный МНК и взвешеный МНК, как здесь звучит задача?

>> Метод доверительной области
Ну это же та же самая итерационная процедура, как и метода Ньютона-Гаусса и Лавенберга.
Не могу понять, что означает функция "черный ящик". Если говорить о моделях - то модель по типу черного ящика - это модель поведение которой нельзя выразить в аналитической форме или модель - математическое описание которой неизвестно. Есть также грей бокс модели...это модели созданные пользователем самостоятельно.

Для поиска минимума целевой функции в методе доверительных областей на каждой итерации оценивается направление спуска.
http://matlab.exponenta.ru/optimiz/book_1/17.php#1

Добавлено спустя 9 минут 1 секунду:

Если честно, тогда для чего минимизировать целевую функцию и что в данном случае считается целевой функцией?

[mserg]

При подборе параметров нужно решить вопрос о том, как будет измеряться расстояние между данными и подбираемой функцией, т.е. критерий того, насколько хорошо функция аппроксимирует данные. Одна из таких мер - это сумма квадратов невязок по всем данным. Вы стремитесь минимизировать эту сумму. По сути возникает задача глобальной оптимизации, где целевая функция - это та самая сумма квадратов невязок.

Если функция невыпуклая (не нужно меня спрашивать, что это такое), то методы локальной оптимизации не гарантируют минимума целевой функции, т.е. не гарантируют, что полученные параметры обеспечивают наилучшее приближение данных в смысле суммы квадратов невязок. Беда может случится еще и при вырожденных функциях и т.д. Поэтому "Оценивание направления спуска" и т.п. - это для "бедных".

Кроме этого, если подобранная функция - длинная и содержит много параметров - это явный признак ее низкой надежности. Это так, к слову.

P.S. Если функция нелинейна относительно подбираемых параметров, то условия экстремума - это нелинейные ограничения. Это к вопросу, откуда берутся нелинейные ограничения.

[serebro]

Вы писали:
>>Производные равны нулю - это основа МНК для линейной >>функции. Для нелинейной функции это не работает. Поэтому никакой системы нелинейных ограничений не возникает.
И
>>где целевая функция - это та самая сумма квадратов невязок.

Мне непонятно, сумма квадратов невязок - это сумма квадрата разности экспериментально определенного и рассчитанного по математической модели. Функция содержит несколько определяемых параметров, и изменение одного из них или всех сразу приводит к разному значению квадрату невязок. Я же не могу при последовательной фиксации, параметров функции найти последовательно для каждого значения минимума квадрата невязок?

Если моя целевая функция - это сумма квадратов невязок, то выходит, что при поиске коэффициентов модели - происходит две итерации. При фиксированном наборе коэффициентов функции осуществляеться оценка невязок, если она не минимальна то происходит изменение коэффициентов функции и опять происходит оценка невязок? Но в таком случае по какому принципу происходит изменение коэффициентов функции?

>> длинная и содержит много параметров - это явный признак ее >>низкой надежности.
Мне не важна надежность функции, мне важен результат - коэффициенты, которые будут найдены.

>>Почему не нужно у Вас спрашивать про выпуклость функции?

[mserg]

Боюсь, что Вам нужен педагог... Я тут бессилен.

[serebro]

2 mserg
Всмысле я задаю банальные вопросы? .

[serebro]

Подведем итоги:

1. В задачах на нелинейный метод наименьших квадратов подлежащая минимизации функция – это функция суммы квадратов невязок.
2. Происходит решение задачи глобальной оптимизации по всем точкам.
3. Для минимизации ЦФ используются ряд перечисленных алгоритмов (Ньютона, Лавенберга, доверительных областей)
4. Для метода доверительных областей на каждой итерации оценивается направление спуска. Соответственно здесь необходимо знание о градиенте. При этом:
Если эта новая точка оказалась хорошей, передвинемся в нее и усилим роль нашей модели в выборе очередных точек; если же точка оказалась плохой, не будем в нее перемещаться и увеличим роль метода градиентного спуска при выборе очередной точки (а также уменьшим шаг)
(взято с http://www.scorcher.ru/neuro/science/pe ... /mem31.htm).
Т.е. если f(x+s)>f(x) – уменьшим шаг и оставим текущую точку без изменений;
если f(x+s)<f(x) – увеличим шаг и передвинемся в данную точку (x+s);
где функция f(x) - это целевая функция.
Градиент вычисляется в конкретной точке на каждой итерации и происходит отталкивание именно от него.

Сама процедура приближения повторяется до тех пор, пока не будет достигнут критерий сходимости. При этом Мы действительно имеем две итерационные процедуры.
1. Итерация – это не посредственно приближение с найденными коэффициентами.
2. Вторая итерация - это задача минимизации суммы квадратов невязок.

Спасибо за подсказки с вашей стороны