Погрешность параметра линии регрессии

[Learner]

Здравствуйте! Подскажите пожалуйста! Нахожу с помощью метода наименьших квадратов (МНК) параметры линейной регрессионной зависимости.Один из параметров (свободный член линии регрессии) и есть искомая (косвенно измеряемая) величина. И МНК дает формулу для вычисления погрешности параметра модели. Но МНК не дает возможности учесть систематическую погрешность. Зато я знаю, какая погрешность приписана ординатам экспериментальных точек, она учитывает систематическую погрешность измерений. Вопрос-как записать общую погрешность определения параметра? Я рад бы воспользоваться ГОСТом или МУ, но не нашел. Есть стандарты для прямых, для косвенных измерений, на там ведь другой случай. Спасибо заранее!

[Andrey_Kireew]

К большому сожалению Learner одной из предпосылок МНК регрессии является независимость факторных переменных. Не вдаваясь в подробности, это требование автоматически предполагает детерминированность факторов, и полное отсутствие ошибок в них. При наличии ошибок в факторных переменных МНК - оценки несостоятельны, т.е. с увеличением объёма выборки дисперсия оценок регрессионных параметров уже не стремиться к нулю, а ограничивается некоторым остаточным значением, которое можно даже попробовать оценить.
Эта проблема известна как проблема эндогенных факторов, пожалуй - самая серьёзная проблема регрессионного анализа. Есть разные пути её преодоления, и не один из них не гарантирует успеха. Самый популярный - инструментальные переменные. Поищите по ключевым словам, в сети есть информация об этом. Но там всё достаточно сложно, быстро разобраться видимо не получиться.

[Learner]

Andrey_Kireew, спасибо за ответ! Формулы для оценки погрешностей параметров линии регрессии содержат как множитель оценку погрешность, полученную методом МНК. А если вместо этого множителя просто поставить известную инструментальную погрешность, насколько состоятельна будет такая оценка? Это и будет взвешенный МНК как я понимаю?

[Andrey_Kireew]

Нет, взвешенный МНК это немного другое. В этом направлении Вам лучше не смотреть.
Вообще, идея у Вас верная, можно так:
$cov(\b b)_0=\b C_X^{-1}\cdot \b \Sigma^2 \cdot \b b $, (1)
здесь $ \b b $ - оценки параметров, $ \b C_X=\frac{1}{n}\b X^T\b X$ - ковариационная матрица факторов, $ \b \Sigma^2$ - диагональная матрица, содержащая на главной диагонали дисперсии ошибок факторных переменных (эти дисперсии Вы легко сможете найти из величин инструментальных погрешностей и доверительной вероятности, для которой они заданы).

Формула (1) даёт оценки не уменьшаемой дисперсии параметров, связанной с ошибками в факторах. В идеале, вместо оценок $ \b b $ нужно использовать их истинные значения, но они неизвестны, поэтому оценки дисперсий получаются лишь приближенными. Но если стандартные отклонения малы, по сравнению с абсолютными значениями оцененных параметров, то (1) можно с успехом использовать.

Разумеется, выборочную дисперсию никто не отменял, она определяется как:
$cov(\b b)=\frac{\sigma^2_e}{n-1}\b C_X^{-1} $, (2)
где $\sigma^2_e$ - несмещённая выборочная дисперсия остатков модели.

Общая дисперсия определяется как сумма (1) и (2).

Если $cov(\b b)_0 << cov(\b b)$ то ошибки факторов можно не учитывать, если $cov(\b b)_0 \approx cov(\b b)$, то можно просто скорректировать доверительные интервалы, с учётом (1), если же $cov(\b b)_0 > cov(\b b)$, то оценки МНК будут плохие.

В общем нужно посмотреть на конкретных данных. Если выборка небольшая, то и несостоятельные оценки могут оказаться вполне приемлемыми. Потом главное помнить, что они содержат дополнительную погрешность.