2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Погрешность экспер. данных влияет на коэф. детерминации
Сообщение14.09.2017, 10:49 
Аватара пользователя


14/02/12

841
Лорд Амбера
Коллеги, если аппроксимируются экспериментальные данные теоретической зависимостью, и известна точность, с какой производились замеры (в первом приближении распределение ошибок нормальное), следует ли или допустимо ли поправить коэффицент корреляции (коэффициент детерминации) в большую сторону, вплоть до 1, с учетом отклонения измеренных значений от неизвестных фактических?

 Профиль  
                  
 
 Re: Погрешность экспер. данных влияет на коэф. детерминации
Сообщение29.09.2017, 23:20 


07/10/15

2400
Ни в коем случае нельзя этого делать, и вот почему:
эмпирический коэффициент детерминации может быть представлен в следующем виде
$R^2=1-\frac{\sigma^2_e}{\sigma^2}$,
где $\sigma^2_e$ - дисперсия остатков модели (в которой, как Вы справедливо предполагаете, содержится дисперсия ошибок факторов), $\sigma^2$ - общая дисперсия.

Казалось бы - вычесть дисперсию ошибок (если у Вас множественная регрессия, то её всё равно несложно оценить) и $R^2$ - увеличится. Создаётся впечатление, что модель на самом деле лучше, чем показывают расчёты, и всё из за ошибок.
Но всё не так то просто. Дело в том, что ошибки факторов Вышей модели коррелируют с остатками. Хуже всего, то что выборочные оценки этих корреляций всегда будут равны нулю, из за специфики МНК, и обнаружить их не так то просто.
В связи с этим $\sigma^2_e$ не равна сумме дисперсии остатков модели, построенной на факторах без погрешности, и дисперсии ошибок. В любом случае она будет меньше этой суммы. И если Вы вычтете дисперсию ошибок - то получите оптимистически завышенную оценку $R^2$. Более того, в таких условиях и исходная $R^2$ может быть оптимистически завышенной, так как если убрать погрешности факторов - $\sigma^2_e$, как ни странно, может не то что уменьшиться, а наоборот - возрасти.

Вот по этом причинам, ошибки факторов обычно постулируются несущественными, и не учитываются. Если же Вы решите всё же углубиться в эту область, то посмотрите метод инструментальных переменных. Он в теории позволяет получать состоятельные оценки при наличии ошибок в факторах. Но на практике применить его сложно и за проблемы выбора инструментов.
В любом случае $R^2$ усовершенствованной модели у Вас получится меньше чем сейчас. Этот результат будет хотя и более корректным, но гораздо менее привлекательным. Это ещё один повод отказаться от учёта погрешности измерений, тем более,что это распространённая практика, и по этому поводу Вам мало кто сможет сделать конструктивные замечания.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 2 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Alex Krylov, B@R5uk


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group