2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Погрешность экспер. данных влияет на коэф. детерминации
Сообщение14.09.2017, 10:49 
Аватара пользователя


14/02/12

841
Лорд Амбера
Коллеги, если аппроксимируются экспериментальные данные теоретической зависимостью, и известна точность, с какой производились замеры (в первом приближении распределение ошибок нормальное), следует ли или допустимо ли поправить коэффицент корреляции (коэффициент детерминации) в большую сторону, вплоть до 1, с учетом отклонения измеренных значений от неизвестных фактических?

 Профиль  
                  
 
 Re: Погрешность экспер. данных влияет на коэф. детерминации
Сообщение29.09.2017, 23:20 


07/10/15

2400
Ни в коем случае нельзя этого делать, и вот почему:
эмпирический коэффициент детерминации может быть представлен в следующем виде
$R^2=1-\frac{\sigma^2_e}{\sigma^2}$,
где $\sigma^2_e$ - дисперсия остатков модели (в которой, как Вы справедливо предполагаете, содержится дисперсия ошибок факторов), $\sigma^2$ - общая дисперсия.

Казалось бы - вычесть дисперсию ошибок (если у Вас множественная регрессия, то её всё равно несложно оценить) и $R^2$ - увеличится. Создаётся впечатление, что модель на самом деле лучше, чем показывают расчёты, и всё из за ошибок.
Но всё не так то просто. Дело в том, что ошибки факторов Вышей модели коррелируют с остатками. Хуже всего, то что выборочные оценки этих корреляций всегда будут равны нулю, из за специфики МНК, и обнаружить их не так то просто.
В связи с этим $\sigma^2_e$ не равна сумме дисперсии остатков модели, построенной на факторах без погрешности, и дисперсии ошибок. В любом случае она будет меньше этой суммы. И если Вы вычтете дисперсию ошибок - то получите оптимистически завышенную оценку $R^2$. Более того, в таких условиях и исходная $R^2$ может быть оптимистически завышенной, так как если убрать погрешности факторов - $\sigma^2_e$, как ни странно, может не то что уменьшиться, а наоборот - возрасти.

Вот по этом причинам, ошибки факторов обычно постулируются несущественными, и не учитываются. Если же Вы решите всё же углубиться в эту область, то посмотрите метод инструментальных переменных. Он в теории позволяет получать состоятельные оценки при наличии ошибок в факторах. Но на практике применить его сложно и за проблемы выбора инструментов.
В любом случае $R^2$ усовершенствованной модели у Вас получится меньше чем сейчас. Этот результат будет хотя и более корректным, но гораздо менее привлекательным. Это ещё один повод отказаться от учёта погрешности измерений, тем более,что это распространённая практика, и по этому поводу Вам мало кто сможет сделать конструктивные замечания.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 2 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group