Доверительные интервалы для параметров линейной регрессии

[Yuri Gendelman]

delui2007 писал(а):

Yuri Gendelman
я не могу понять почему параметры регрессии - это случайные величины? Это ведь просто константы.. Тем более не понимаю почему они нормально распределены

Общее замечание: математическую статистику, как и любой другой раздел математики или другой науки, невозможно изучить по постам на форуме. На форуме можно только понять, куда копать.

Линейную регрессию и МНК можно рассматривать как эмпирический, инженерный подход к получению зависимостей по экспериментальным данным. В этом случае нет никаких дисперсий и прочих доверительных интервалов. Решил систему уравнений из справочника, получил 2 числа и свободен.

Рассмотрение линейной регрессии в рамках мат.статистики не только дает более глубокое обоснование МНК, но и позволяет из тех же исходных данных получить больше информации. Потому что в мат.статистике все оцениваемые величины случайные, а значит имеют свой закон распределения. В данном случае определяются не только оценки параметров регрессии (точнее мат.ожидания), но и оценки их точности (точнее дисперсии).

А нормальный закон применяется всегда, когда точный вид закона распределения не известен. Согласно теореме Чебышева сумма бесконечного числа независимых случайных величин асимптотически нормальна. Эмпирически это толкуется так: если некоторый фактор зависит от множества случайных причин, то он скорее всего распределен по нормальному закону.

[delui2007]

Yuri Gendelman
спасибо большое!

то есть те оценки параметров, которые дает МНК - это мат ожидания параметра (если рассматривать реальный параметр как случайную величину)?

может посоветуете книгу, где наиболее понятно расписана линейная регрессия? и заодно про распределение Стьюдента почитать бы...

[--mS--]

Yuri Gendelman писал(а):

Параметры регрессии - это нормально .распредеделенные случайные величины, характеризуемые мат.ожиданием и дисперсией.

Прошу прощения: Вы точно не путаете параметры регрессии (т.е. неизвестные постоянные) и оценки для них (т.е. нормально распределённые случайные величины)?

delui2007 писал(а):

то есть те оценки параметров, которые дает МНК - это мат ожидания параметра (если рассматривать реальный параметр как случайную величину)?

Ровно наоборот. Оценки по МНК для параметров как раз и есть случайные величины. А сами числовые неизвестные коэффициенты (параметры регрессии) - их матожидания.

[delui2007]

--mS--
так, кому мне верить?)))

мне кажется я уже перестаю тогда понимать что такое случайная величина..)

[Mikhail Sokolov]

Истинные параметры регрессии неслучайны, это просто неизвестные (ненаблюдаемые) нами числа.
Оценки МНК этих параметров - это случайные величины (при ваших предположениях - нормально распределенные), ибо являются функциями от выборки (реализаций случайных величин). Причем оценки несмещенные, ибо их матожидание совпадает с истинными значениями параметров.
Доверительный интервал - это одна из возможных мер точности полученных оценок.
Нормальная книжка на эту тему: Айвазян, Мхитарян. Прикладная статистика и основы эконометрики. Еще недавно вышла книжка Прикладной регрессионный анализ (авторов не помню).

[--mS--]

А чему именно Вы не верите?

Параметры регрессии - числа $a_0$, $a_1$, $a_2$ в Вашем первом сообщении.

Оценки $a^*_0$, $a^*_1$, $a^*_2$ для $a_0$, $a_1$, $a_2$ - функции от игреков и иксов, т.е. случайные величины (игреки случайны). Для ОМНК $a_i = \mathsf Ea^*_i$ - матожидания оценок равны параметрам.

Доверительный интервал для параметра $a_1$ - такой случайный интервал, границы которого зависят от оценок, что вероятность ему "накрыть" $a_1$ равна 0,95 (например). Т.е. границы интервала - две случайные величины $A=A(a^*_0, a^*_1, a^*_2)$ и $B=B(a^*_0, a^*_1, a^*_2)$ такие, что $ \mathsf P(A \leq a_1 \leq B) = 0,95$.

Вполне возможно, что проблема вот здесь:

delui2007 писал(а):

Я понимаю, что такое доверительный интервал для среднего выборочного произвольной нормально-распределнной выборки, но для параметра регрессии не понимаю...

Термин "доверительный интервал" используют обычно для указания интервала со случайными границами, с заданной вероятностью накрывающего неизвестный числовой параметр. С этой точки зрения (а именно такое словоупотребление работает, когда говорят про интервалы для параметров регрессии) доверительный интервал по нормальной выборке строится для числа - математического ожидания нормального распределения. Но не для случайной величины - "выборочного среднего".

P.S. Получился почти полный дубль сообщения от Mikhail Sokolov. Непреднамеренно, клянусь

[Yuri Gendelman]

--mS-- писал(а):

Yuri Gendelman писал(а):

Параметры регрессии - это нормально .распредеделенные случайные величины, характеризуемые мат.ожиданием и дисперсией.

Прошу прощения: Вы точно не путаете параметры регрессии (т.е. неизвестные постоянные) и оценки для них (т.е. нормально распределённые случайные величины)?

Разумеется Вы правы, я имел в виду оценки параметров. В матстатистике мы не можем получить истиные значения параметров, только оценки их распределений. Я старался, по возможности просто, объяснить, что на самом деле мы в классическом МНК получаем не значения параметров регрессии, а мат.ожидания [оценок этих] параметров.

[--mS--]

Yuri Gendelman писал(а):

В матстатистике мы не можем получить истиные значения параметров, только оценки их распределений. Я старался, по возможности просто, объяснить, что на самом деле мы в классическом МНК получаем не значения параметров регрессии, а мат.ожидания [оценок этих] параметров.

К сожалению, вторая фраза напрочь убивает первую... Мат.ожидания оценок этих параметров в точности совпадают с самими параметрами, и получить их, вообще говоря, действительно никакими средствами нельзя. Получаем мы именно оценки параметров, а не их матожидания.