Оценка точности аппроксимации

[Mad_Sanek]

Есть набор данных: x и y. Нужно оценить, по какому законы распределены данные: по степенному или по экспоненциальному.
С помощью метода наименьших квадратов я построил функцию аппроксимации в степенном и в экспоненциальном виде, осталось оценить точность этих аппроксимаций (в числовом виде, чтобы можно было сравнить).
Есть две идеи: средняя ошибка аппроксимации и коэффициент детерминации. Помучившись довольно долгое время с коэффициентом детерминации я решил от него отказаться, так как не смог получить такой же коэффициент, как у excel'я (вычислять нужно ручками, потом запрограммирую). Еще не уверен, можно ли пользоваться этим коэффициентом для оценки нелинейной регрессии.

Средняя ошибка аппроксимации не дала желаемого результата, так как есть еще "коэффициент эффективности" модели, нужно найти зависимость точности соответствия модели степенному распределению от этого "коэффициента эффективности". По идее, зависимость должна быть прямая (чем ближе модель к степенному распределению, тем более эффективна модель), как утверждает мой научный руководитель, но описанными методами определения точности аппроксимации, зависимость не была получена.

Прошу помочь с выбором метода оценки аппроксимации, либо советами по использованию описанных. Заранее спасибо всем)

[Евгений Машеров]

Всё-таки, наверно, не закон распределения, а вид нелинейной регрессии?

[Mad_Sanek]

Евгений Машеров в сообщении #981225 писал(а):

Всё-таки, наверно, не закон распределения, а вид нелинейной регрессии?

Да, конечно же, никакой вероятности здесь нет, нужен вид нелинейной регрессии.

[Mad_Sanek]

Решил задачу следующим образом: представил нелинейную регрессию в виде линейной. Достаточно было взять логарфим, то есть
$ f(x)=ae^{xm}$
$\ln{f(x)}=\ln{a} + xm$
$\Phi(x) = A +bx $

Дальше можно исследовать как линейную регрессию и находить коэффициент детерминации
Соответственно, от фактических значений $y$ нужно тоже брать логарифм

P.S. Пока разбирался с этим, натыкался на высказывания и даже какие-то статьи, что коэффициент детерминации нельзя применять к нелинейной регрессии, он будет неверным, нужно искать другие способы исследовать точность аппроксимации. Подскажите, верно ли говорят?

[Александрович]

Mad_Sanek в сообщении #981191 писал(а):

Есть набор данных: x и y. Нужно оценить, по какому законы распределены данные: по степенному или по экспоненциальному.
С помощью метода наименьших квадратов я построил функцию аппроксимации в степенном и в экспоненциальном виде, осталось оценить точность этих аппроксимаций (в числовом виде, чтобы можно было сравнить).

Коэффициент детерминации это: $1-\frac{\sum\limits_{1}^{n}(y_i-y\tilde{}_i)^2}{\sum\limits_{1}^{n}(y_i-y\tilde{})^2}$.
Он применим для любых зависимостей. По нему и судите.

-- Пн фев 23, 2015 12:11:35 --

Mad_Sanek в сообщении #981438 писал(а):

Решил задачу следующим образом: представил нелинейную регрессию в виде линейной.

При таком решении вы не получите минимум суммы квадратов невязок для исходной функции.

[Евгений Машеров]

Проблема в том, что нелинейное преобразование меняет спецификацию ошибки. Даже если в исходной модели наблюдения отягощены ошибкой с равной дисперсией, после преобразования невязки полученной линеаризованной модели получают разную дисперсию (гетероскедастичность). Если изначально ошибки малы, эффект незначителен, но чем они больше, тем сильнее это сказывается. При больших надо либо использовать нелинейные методы оценивания, либо доказать, что именно после преобразования дисперсии выровнялись.
А сравнивать - коэффициент детерминации для сравнения моделей пригоден, если в них равное число параметров. Поскольку добавление даже несвязанных регрессоров коэффициент детерминации увеличивает (строго говоря, не уменьшает, но чтобы не изменился, нужно, чтобы добавляемый регрессор был бы ортогонален к вектору остатков модели, построенной без него). В этом случае лучше что-то, учитывающее число регрессоров и вводящее поправку - F-отношение, adjusted $R^2$. $C_p$ и т.п.
Ну, или проверить на независимой выборке.