регрессия y=a x

[AndreyL]

Евгений Машеров в сообщении #1172677 писал(а):

С другой стороны, может быть модель специфицирована точно, и в ней не будет свободного члена. Тогда надо считать суммы квадратов отклонений от модели, и суммы квадратов, объясняемых моделью, и считать $R^2$ или F-отношение, соответственно поправив число степеней свободы.

Не совсем понял, как посчитать "суммы квадратов, объясняемых моделью", и как поправить число степеней свободы?

[AndreyL]

Евгений Машеров в сообщении #1172587 писал(а):

Мне кажется, ответ здесь:
https://vk.com/doc168073_389123874?hash ... b85db3e681
Выражение для F строится аналогично выражению для $R^2$, число свободы там указано.

Да! Этот ход использован в некоторых пакетах - считать полную и регрессионную сумму квадратов не от их собственных средних, а от нуля. Но проблема в том, что в уравнении (3') в этой статье все три слагаемых подчиняются нецентральным распределениям Хи-квадрат. И как тогда корректно оценить этот параметр нецентральности? Статистику то мы посчитаем, а что с ней потом делать? Какому распределению она должна подчиняться? Есть подозрение, что такая F-статистика подчиняется нецентральному Фишеру (или даже дважды нецентральному), но как найти параметр нецентральности?

[AndreyL]

А если сформулировать гипотезы так:
Нулевая - $y$ подчиняется нормальному распределению с центром $c$ и дисперсией $\sigma^2_Y$
Оценка центра $\hat{c}=\bar{y}=\frac{1}{n}\sum_{i=1}^n y_i$, оценка дисперсии $\hat{\sigma}^2_Y=s^2_Y=\frac{1}{n-1}\sum_{i=1}^n \left( y_i - \bar{y} \right)^2$
Альтернативная - $y$ подчиняется нормальному распределению с центром $ax$ и дисперсией $\sigma^2_E$
Оценка коэффициента регрессии $\hat{a}=b=\frac{\sum x_i y_i}{\sum x_i^2}$, оценка дисперсии $\hat{\sigma}^2_E=s^2_E=\frac{1}{n-1}\sum_{i=1}^n \left( y_i - b x_i \right)^2$

Можно ли для этих проверки такой нулевой гипотезы с такой альтернативной сформулировать корректный критерий проверки?

[Евгений Машеров]

Параметр нецентральности искать непонятно как. И если используется такая модель, похоже, постулируется, что "истинная сумма" ноль, и распределение центральное.

[AndreyL]

Евгений Машеров в сообщении #1174505 писал(а):

Параметр нецентральности искать непонятно как. И если используется такая модель, похоже, постулируется, что "истинная сумма" ноль, и распределение центральное.

Если Вы про статью, которую Вы посоветовали, то там действительно нулевая гипотеза - угловой параметр равен нулю. И тогда, если она верна, то истинное среднее по $y$ должно быть равно нулю. Вот тут все корректно и компактно сформулировано. Но эта гипотеза не интересует - ее можно проверить без всякой регрессии.
Я сформулировал другие гипотезы, и, похоже, обе простые. Вот только критерий мне пока не очевиден - логарифм отношения правдоподобия запросто может быть отрицательным.

[Евгений Машеров]

И опять возвращаемся к необходимости чёткого выписывания нулевой и альтернативной гипотез.

[AndreyL]

А в том виде, в котором я выписал, это не четко?
Там смысл в том, что в нулевой гипотезе постулируется отсутствие зависимости, а в альтернативной, опять же, постулируется пропорциональность.

[Евгений Машеров]

Я тут вижу две разные нулевые гипотезы. Что игреки это нормально распределённые случайные значения с нулевым средним и то же, но с перламутровыми пуговицами ненулевым средним. Соответственно меняется число степеней свободы.

[AndreyL]

А где гипотеза, что "игреки это нормально распределённые случайные значения с нулевым средним"? Такой гипотезы вообще нет. Если уж на то пошло, то альтернативная сформулирована как $z=y-ax$ с нулевым средним, но зеты не равны игрекам. К тому же нулевая гипотеза не противоречит утверждению, что истинное среднее нулевое, т.е. гипотезы о том, что среднее нулевое тоже нет.

-- Вт дек 06, 2016 2:02 pm --

Мы ничего не говорим о том, где располагаются иксы. Они могут быть как далеко от нуля, так и вокруг нуля.

[AndreyL]

Евгений Машеров в сообщении #1174569 писал(а):

Соответственно меняется число степеней свободы.

Не совсем понял, почему меняется число степеней свободы? И в той и в другой гипотезе число степеней свободы $n-1$, поскольку оценивается по одному параметру.

[Евгений Машеров]

Если истинное среднее принимаем за ноль, или же в качестве него у нас полученная из другого источника величина, мы его не оцениваем, и число степеней свободы на один оцененный параметр не уменьшаем.

[AndreyL]

Не совсем Вас понимаю: в нулевой гипотезе истинное среднее не ноль и оценки из другого источника нет - среднее оцениваем по этой же выборке - один параметр. В альтернативной истинное среднее нам не нужно, по выборке оцениваем коэффициент регрессии - тоже один параметр.

[Евгений Машеров]

У нас может быть две формулировки нулевой гипотезы - когда мы считаем среднее нулём (возможно, потому, что у нас было некое теоретическое значение, и мы его уже вычли) и когда среднее оцениваемо по этой же выборке. Единица вычитается во втором случае.

[AndreyL]

Я только не понимаю, почему это две нулевые гипотезы. Если про одномерные средние, то можно сформулировать нулевую гипотезу "среднее равно 5" при альтернативе "среднее равно 7". Обе гипотезы, и нулевая, и альтернативная, в данном случае простые, можем даже мощность критерия посчитать. Или Вы считаете, что альтернативная гипотеза обязана быть сложной?

[Евгений Машеров]

Потому, что это две нулевые гипотезы. Разные для разных задач. Альтернативная гипотеза - игреки зависят от иксов указанынм образом.