Аппроксимация экспериментальных данных

[Александрович]

Впрочем, даже если удастся преобразовать функцию и приблизить преобразованную по МНК, то полученные коэффициенты не дадут минимума суммы квадратов для исходной функции. Всё равно это грубое нахождение.

[mserg]

2 ТС. Для подбора констант для «любых» функций можно поискать по «Глобальная оптимизация». Если объем экспериментальных данных невелик, можно воспользоваться программой Easy NP.

[Александрович]

Вот чуть лучшее приближение:
$y(x)=370.1\exp(x^{0.0635}-x^{0.237})+64.0$
Средняя относительная ошибка - 0.9%, максимальное относительное отклонение - 2.7%.

[vitalmago]

Александрович в сообщении #675982 писал(а):

Вот чуть лучшее приближение:
$y(x)=370.1\exp(x^{0.0635}-x^{0.237})+64.0$
Средняя относительная ошибка - 0.9%, максимальное относительное отклонение - 2.7%.

Прекрасная формула,большое спасибо,пытаюсь посчитать коэффициенты вручную...пока не особо удается,как получится обязательно напишу по шагам. Знание должно быть свободно!

[Евгений Машеров]

vitalmago в сообщении #675703 писал(а):

Могли бы вы подсказать, где можно изучить матчасть программы подбора аппроксимирующей функции. Мне бы очень хотелось выполнять это самостоятельно,то есть нужен алгоритм вычислений неизвестных коэффициентов. Неужели берется голая функция,преобразуется и применяется МНК???

Примерно так. Сначала выясняем "что мы знаем о лисе", в смысле о функции, которой приближаем.
Самый богатый в практическом и научном смысле случай - самый скверный с точки зрения поиска приближения. В смысле, если мы зависимость уже знаем, с точностью до коэффициентов. Она, скорее всего, нелинеаризуема. Максимум - можно "привести подобные", в смысле разные коэффициенты при одинаковых членах или заменить $a\sin (\omega t + \varphi)$ на $A\sin(\omega t)+B\cos(\omega t)$. Существенные нелинейности останутся. Тогда только общими методами оптимизации. Где самое неприятное - что оптимум они гарантируют локальный, и мы можем на нём застрять вдали от глобального. Есть критерии нахождения глобального оптимума (Липшица и пр.), но их применение сложно. Работающий, но эмпирический приём - повторить несколько раз оптимизацию, с разными начальными приближениями.
Самый приятный в смысле вычислений случай - когда мы ничего о нашей функции не знаем, и довольствуемся любой хорошо приближающей. В этом случае берём линейную (по параметрам, отдельные регрессоры могут быть по-всякому нелинейны) и считаем МНК. Но это опасный путь, даже если нам нужна лишь интерполяция. Если взять слишком много регрессоров (например, слишком высокую степень полинома) - получим прекрасную подгонку к точкам и очень скверное поведение меж ними. Тут можно вспомнить пример Рунге, с функцией $y=\frac 1 {1+25x^2}$, которую приближают полиномами всё более высокой степени, беря всё больше точек интерполяции (через которые полином проходит точно, это немного иной случай, чем с МНК, но сходство есть), и между этими точками полином всё более отдаляется от приближаемой функции, начиная "гулять". Для экстраполяции это и вовсе скверно, за пределами точек, на которых построена модель, наша приближающая функция поведёт себя, скорее всего, совершенно отлично от реальности.

(Оффтоп)

"За сто семьдесят шесть лет Нижняя Миссисипи укоротилась на двести сорок две мили, то есть в среднем примерно на милю и одну треть в год. Отсюда всякий спокойно рассуждающий человек, если только он не слепой и не совсем идиот, сможет усмотреть, что в древнюю силурийскую эпоху, - а ей в ноябре будущего года минет ровно миллион лет, - Нижняя Миссисипи имела свыше миллиона трехсот тысяч миль в длину и висела над Мексиканским заливом наподобие удочки. Исходя из тех же данных, каждый легко поймет, что через семьсот сорок два года Нижняя Миссисипи будет иметь только одну и три четверти мили в длину, а улицы Каира и Нового Орлеана сольются, и будут эти два города жить да поживать, управляемые одним мэром и выбирая общий
городской совет. Все-таки в науке есть что-то захватывающее. Вложишь какое-то пустяковое количество фактов, а берешь колоссальный дивиденд в виде умозаключений. Да еще с процентами."
М. Твен

Средний случай, самый весёлый - когда мы что-то о поведении нашей функции f(x,y,z...) знаем, но не точное её выражение. Можем, например, требовать, чтобы f(0,y,z...)=0. Или полагать, что при изменении каких-то параметров она будет к чему-то асимптотически приближаться. Или ожидать, что изменение функции при росте одного из параметров будет пропорционально значению функции. Тогда можно поискать функцию, удовлетворяющую этим условиям, но при этом линеаризуемую. Например, для f(0,y,z...)=0 подойдёт полином с нулевым свободным членом, или произведение (пример из матэкономики - производственная функция Кобба-Дугласа, объём производства в зависимости от труда и капитала, если чего-то одного нет - и производства нет, так что KL, но два завода имеют вдвое капитала K и вдвое больше труда L, но не вчетверо больше продукции, надо притормозить, скажем, корень извлечь, но тут задумываемся, что влияют-то они неодинаково, поэтому одно возведём в степень $\alpha$, а другое $1-\alpha$). Нарастающее пропорционально значению функции возрастание изменения функции в зависимости от изменения аргумента (или - "постоянное относительное изменение") выводит на экспоненту, $y'=ky, y=\exp(kx+c)$, а если одинаковому относительному изменению функции соответствует одинаковое изменение аргумента, то можно взглянуть на степенную $y=ax^b$. И та, и та легко линеаризуются логарифмированием. Нулевая асимптота - похоже на обратную величину. Ненулевая - $y=\frac K {1+f(x)}$. И т.п.
Если нам удалось найти подходящую функцию и линеаризовать её - наши трудности не кончились. У нас есть "ошибки". Которые редко ошибки в собственном смысле (измерения, а уж вычислительные сейчас и вовсе казуистика), а скорее совместное влияние неучтённых факторов. Обычно их задают в виде $y=f(x)+\varepsilon$, и эпсилоны у нас рассматриваются, как нормально распределённые случайные величины с нулевым матожиданием и постоянной дисперсией. Но после линеаризации, после подбора g(x) такой, что $g(f(x))=L(x)$ утрачивается и нормальность, и одинаковость распределения. Если они велики - может утратиться даже пригодность к линеаризации, скажем, простейшая степенная модель $y=ax^b$, превращаемая логарифмированием в $\log y = \log a+b\log x$, после добавления ошибки с большой дисперсией может получить и отрицательные y, что путь логарифмирования закроет. При малых "ошибках", и если g(x) у нас довольно гладкая, можем надеяться сохранить (приближённую) нормальность, а для дисперсий получить оценку их относительной величины. Заменяя $g(x+\varepsilon)=g(x)+g'(x)\varepsilon+o(\varepsilon^2)$, видим, что среднеквадратичные отклонения стали пропорциональны производным линеаризующей функции, и можно использовать взвешенный МНК, с весами при наблюдениях, обратным значением этих производных. Возникает вопрос, а зачем тогда линеаризация, не проще ли сразу использовать общие нелинейные методы оптимизации? Если их, возможно, придётся употребить для уточнения решения?

(Оффтоп)

"Фугуй, сыной, фугуй! Дядя придёт - топориком подровняет!"
(Дядя Паша, школьный плотник и учитель труда)
Фуганок - очень длинный рубанок для особо ровных поверхностей

Однако тут есть преимущество у линеаризации - линейная задача МНК решение имеет единственное (строго говоря, может быть семейство решений с одинаковым значением критерия, мультиколлинеарность, но это продукт неверного построения модели, включения избыточных параметров, и с этим можно и нужно бороться). И решение линеаризованной задачи будет в большинстве случаев хорошим начальным приближением, лежащим вблизи глобального оптимума и этим снижающим риск "застревания" общего метода в локальном оптимуме.

-- 25 янв 2013, 11:09 --

Да, и ещё бывают "почти линеаризуемые". Когда линеаризация получилась бы, если бы знать один или несколько параметров.
$y=a+bx^c$
Всё прекрасно, если бы не a.
Тут хорошо бы либо получить значение этого параметра из "общих соображений" (в данном случае, например, что a - это минимально возможное значение y, и что-то о нём мы скажем, исходя из знания процесса), или делать перебор возможных значений. Несмотря на грубую эмпиричность - подходит весьма часто. "Полуручной" способ - задаёмся значением a, переходим к $\log y = b'+c\log(x-a)$ и строим график преобразованных переменных. Меняем a, и смотрим, насколько получившаяся линия прямая. В Excele хотя бы, извините за грубое слово. И вообще бывает полезно взглянуть на график. Не только y от x, но и y' от y или y'/y от x. Можно догадаться о виде функции.
Часто из "общих соображений" получаются значения асимптот, а они не столь редко и оказываются этими самыми "мешающими параметрами". Вот, скажем, оцениваем логистическую функцию $y=\frac K {1+e^{ax+b}}$ Если понятно, что есть К (максимальный объём знаний, который усвоит ученик, потратив х часов, или максимальный размер животного при корме х), то можно в качестве К взять полный объём знаний курса или биологический предел размера, и тогда $\log(\frac y k -1)=ax+b$
Иногда есть "теоретическая модель". Которая реальность приближает грубо (но, возможно, в асимптотике работает изрядно). Можно искать не саму зависимость, а поправки к теории, в виде отклонений или поправочных коэффициентов, для которых уже линеаризация работает (кстати, так таблицы стрельбы орудий считают - находят после "отстрела" на полигоне поправки к рассчитанной баллистиками таблице).
Ну, и ещё "99 и 7 способов спеть Песню Племени - и каждый по своему хорош".

[vitalmago]

Евгений Машеров в сообщении #675998 писал(а):

vitalmago в сообщении #675703 писал(а):

Могли бы вы подсказать, где можно изучить матчасть программы подбора аппроксимирующей функции. Мне бы очень хотелось выполнять это самостоятельно,то есть нужен алгоритм вычислений неизвестных коэффициентов. Неужели берется голая функция,преобразуется и применяется МНК???

Примерно так. Сначала выясняем "что мы знаем о лисе", в смысле о функции, которой приближаем.
Самый богатый в практическом и научном смысле случай - самый скверный с точки зрения поиска приближения. В смысле, если мы зависимость уже знаем, с точностью до коэффициентов. Она, скорее всего, нелинеаризуема. Максимум - можно "привести подобные", в смысле разные коэффициенты при одинаковых членах или заменить $a\sin (\omega t + \varphi)$ на $A\sin(\omega t)+B\cos(\omega t)$. Существенные нелинейности останутся. Тогда только общими методами оптимизации. Где самое неприятное - что оптимум они гарантируют локальный, и мы можем на нём застрять вдали от глобального. Есть критерии нахождения глобального оптимума (Липшица и пр.), но их применение сложно. Работающий, но эмпирический приём - повторить несколько раз оптимизацию, с разными начальными приближениями.
Самый приятный в смысле вычислений случай - когда мы ничего о нашей функции не знаем, и довольствуемся любой хорошо приближающей. В этом случае берём линейную (по параметрам, отдельные регрессоры могут быть по-всякому нелинейны) и считаем МНК. Но это опасный путь, даже если нам нужна лишь интерполяция. Если взять слишком много регрессоров (например, слишком высокую степень полинома) - получим прекрасную подгонку к точкам и очень скверное поведение меж ними. Тут можно вспомнить пример Рунге, с функцией $y=\frac 1 {1+25x^2}$, которую приближают полиномами всё более высокой степени, беря всё больше точек интерполяции (через которые полином проходит точно, это немного иной случай, чем с МНК, но сходство есть), и между этими точками полином всё более отдаляется от приближаемой функции, начиная "гулять". Для экстраполяции это и вовсе скверно, за пределами точек, на которых построена модель, наша приближающая функция поведёт себя, скорее всего, совершенно отлично от реальности.

(Оффтоп)

"За сто семьдесят шесть лет Нижняя Миссисипи укоротилась на двести сорок две мили, то есть в среднем примерно на милю и одну треть в год. Отсюда всякий спокойно рассуждающий человек, если только он не слепой и не совсем идиот, сможет усмотреть, что в древнюю силурийскую эпоху, - а ей в ноябре будущего года минет ровно миллион лет, - Нижняя Миссисипи имела свыше миллиона трехсот тысяч миль в длину и висела над Мексиканским заливом наподобие удочки. Исходя из тех же данных, каждый легко поймет, что через семьсот сорок два года Нижняя Миссисипи будет иметь только одну и три четверти мили в длину, а улицы Каира и Нового Орлеана сольются, и будут эти два города жить да поживать, управляемые одним мэром и выбирая общий
городской совет. Все-таки в науке есть что-то захватывающее. Вложишь какое-то пустяковое количество фактов, а берешь колоссальный дивиденд в виде умозаключений. Да еще с процентами."
М. Твен

Средний случай, самый весёлый - когда мы что-то о поведении нашей функции f(x,y,z...) знаем, но не точное её выражение. Можем, например, требовать, чтобы f(0,y,z...)=0. Или полагать, что при изменении каких-то параметров она будет к чему-то асимптотически приближаться. Или ожидать, что изменение функции при росте одного из параметров будет пропорционально значению функции. Тогда можно поискать функцию, удовлетворяющую этим условиям, но при этом линеаризуемую. Например, для f(0,y,z...)=0 подойдёт полином с нулевым свободным членом, или произведение (пример из матэкономики - производственная функция Кобба-Дугласа, объём производства в зависимости от труда и капитала, если чего-то одного нет - и производства нет, так что KL, но два завода имеют вдвое капитала K и вдвое больше труда L, но не вчетверо больше продукции, надо притормозить, скажем, корень извлечь, но тут задумываемся, что влияют-то они неодинаково, поэтому одно возведём в степень $\alpha$, а другое $1-\alpha$). Нарастающее пропорционально значению функции возрастание изменения функции в зависимости от изменения аргумента (или - "постоянное относительное изменение") выводит на экспоненту, $y'=ky y=\exp(kx+c)$, а если одинаковому относительному изменению функции соответствует одинаковое изменение аргумента, то можно взглянуть на степенную $y=ax^b$. И та, и та легко линеаризуются логарифмированием. Нулевая асимптота - похоже на обратную величину. Ненулевая - $y=\frac K {1+f(x)}$. И т.п.
Если нам удалось найти подходящую функцию и линеаризовать её - наши трудности не кончились. У нас есть "ошибки". Которые редко ошибки в собственном смысле (измерения, а уж вычислительные сейчас и вовсе казуистика), а скорее совместное влияние неучтённых факторов. Обычно их задают в виде $y=f(x)+\eps$, и эпсилоны у нас рассматриваются, как нормально распределённые случайные величины с нулевым матожиданием и постоянной дисперсией. Но после линеаризации, после подбора g(x) такой, что $g(f(x))=L(x)$ утрачивается и нормальность, и одинаковость распределения. Если они велики - может утратиться даже пригодность к линеаризации, скажем, простейшая степенная модель $y=ax^b$, превращаемая логарифмированием в $\log y = \log a+b\log x$, после добавления ошибки с большой дисперсией может получить и отрицательные y, что путь логарифмирования закроет. При малых "ошибках", и если g(x) у нас довольно гладкая, можем надеяться сохранить (приближённую) нормальность, а для дисперсий получить оценку их относительной величины. Заменяя $g(x+\eps)=g(x)+g'(x)\eps+o(\eps^2)$, видим, что среднеквадратичные отклонения стали пропорциональны производным линеаризующей функции, и можно использовать взвешенный МНК, с весами при наблюдениях, обратным значением этих производных. Возникает вопрос, а зачем тогда линеаризация, не проще ли сразу использовать общие нелинейные методы оптимизации? Если их, возможно, придётся употребить для уточнения решения?

(Оффтоп)

"Фугуй, сыной, фугуй! Дядя придёт - топориком подровняет!"
(Дядя Паша, школьный плотник и учитель труда)
Фуганок - очень длинный рубанок для особо ровных поверхностей

Однако тут есть преимущество у линеаризации - линейная задача МНК решение имеет единственное (строго говоря, может быть семейство решений с одинаковым значением критерия, мультиколлинеарность, но это продукт неверного построения модели, включения избыточных параметров, и с этим можно и нужно бороться). И решение линеаризованной задачи будет в большинстве случаев хорошим начальным приближением, лежащим вблизи глобального оптимума и этим снижающим риск "застревания" общего метода в локальном оптимуме.

-- 25 янв 2013, 11:09 --

Да, и ещё бывают "почти линеаризуемые". Когда линеаризация получилась бы, если бы знать один или несколько параметров.
$y=a+bx^c$
Всё прекрасно, если бы не a.
Тут хорошо бы либо получить значение этого параметра из "общих соображений" (в данном случае, например, что a - это минимально возможное значение y, и что-то о нём мы скажем, исходя из знания процесса), или делать перебор возможных значений. Несмотря на грубую эмпиричность - подходит весьма часто. "Полуручной" способ - задаёмся значением a, переходим к $\log y = b'+c\log(x-a)$ и строим график преобразованных переменных. Меняем a, и смотрим, насколько получившаяся линия прямая. В Excele хотя бы, извините за грубое слово. И вообще бывает полезно взглянуть на график. Не только y от x, но и y' от y или y'/y от x. Можно догадаться о виде функции.
Часто из "общих соображений" получаются значения асимптот, а они не столь редко и оказываются этими самыми "мешающими параметрами". Вот, скажем, оцениваем логистическую функцию $y=\frac K {1+e^{ax+b}}$ Если понятно, что есть К (максимальный объём знаний, который усвоит ученик, потратив х часов, или максимальный размер животного при корме х), то можно в качестве К взять полный объём знаний курса или биологический предел размера, и тогда $\log(\frac y k -1)=ax+b$
Иногда есть "теоретическая модель". Которая реальность приближает грубо (но, возможно, в асимптотике работает изрядно). Можно искать не саму зависимость, а поправки к теории, в виде отклонений или поправочных коэффициентов, для которых уже линеаризация работает (кстати, так таблицы стрельбы орудий считают - находят после "отстрела" на полигоне поправки к рассчитанной баллистиками таблице).
Ну, и ещё "99 и 7 способов спеть Песню Племени - и каждый по своему хорош".

Большое спасибо, понятно и с юмором Почитав все ответы, чувствуется что пассивная часть готова,осталась активная - действие
Но все равно пока пугает матрица Якоби или якобы матрица

[Евгений Машеров]

Исправил мелкие очепятки

[Александрович]

Самое лучшее - приближать функцию в соответствии с физическим законом, моделью которого она является. Иногда удается при исследовании приближении функции открыть какой-то новый эффект, или по меньшей мере обратить внимание на характерное отличие ряда отличающихся точек. Преобразование же к виду функций, позволяющих посчитать по МНК коэффициенты не актуально сегодня, так как это не точно для исходной функции, а для неё компьютер точнее и сам найдёт. И приближать исходную функцию поэтому следует не по МНК а по МНМ, поскольку найденные коэффициенты в этом случае менее чувствительны к негауссовским помехам, а работа по нахождению коэффициентов такая же.

[_Ivana]

Евгений Машеров, спасибо за интересный развернутый ответ. Скорее всего эта тема давно езжена-переезжена, но мне сейчас пришла в голову идея каким-то образом задать критерий "хорошести" приближения не только отклонением функции от исходных точек, но и поведением её производных (для начала, первой) относительно тех же точек. Чтобы не было

Евгений Машеров в сообщении #675998 писал(а):

Если взять слишком много регрессоров (например, слишком высокую степень полинома) - получим прекрасную подгонку к точкам и очень скверное поведение меж ними. Тут можно вспомнить пример функции Рунге, которую приближают полиномами всё более высокой степени, беря всё больше точек интерполяции (через которые полином проходит точно, это немного иной случай, чем с МНК, но сходство есть), и между этими точками полином всё более отдаляется от приближаемой функции, начиная "гулять". Для экстраполяции это и вовсе скверно, за пределами точек, на которых построена модель, наша приближающая функция поведёт себя, скорее всего, совершенно отлично от реальности.

Хотя, вполне вероятно, что уже есть методы реализующую эту идею.

Пример удачного попадания

[Евгений Машеров]

Тут некоторая трудность - если значения функции нам даны, то производные - нет. Можно оценивать, приближая локально полиномом или чем подходящим, а потом дифференцируя его. Но будет ли выигрыш по сравнению с подгонкой только точек - неясно, производные вычисляются по тем же точкам, разве что за счёт локальности лучше.

[_Ivana]

Но можно же подойти творчески - например, не задавать значение производных в каждой точке а ограничить её максимальное и минимальное значение, или то же самое но на отдельных участках, или ещё как. Или действительно, приближая локально кривой без точек перегиба несколько точек по МНК и оценивая производную на участке. Выигрыш возможен в том смысле, что мы за счет возможной потери точности аппроксимации точек можем существенно увеличить красивость кривой и минимизировать скачки/всплески.

[mserg]

Классика жанра получения гладкой аппроксимации – это добавление дополнительных слагаемых в критерий. Выбирается некоторое количество точек (необязательно совпадающие с точками данных), и в них делается аппроксимация первой и/или второй производной с помощью аппроксимируемой функции. Квадраты первой и/или второй производной добавляются с некоторыми весами к критерию. Таким образом, достигается некоторый компромисс между точностью аппроксимации и ее гладкостью.

Общая идея называется «регуляризация».

[Александрович]

Евгений Машеров в сообщении #676353 писал(а):

Тут некоторая трудность - если значения функции нам даны, то производные - нет.

Численно продифференцировать.

[Chifu]

Дифференцировать чистые эмпирические данные это практически пустое дело, погрешность так ваши производные разбросает, что мало не покажется.

[Александрович]

Почему?