регрессия y=a x

[AndreyL]

Но это будет опять гипотеза о равенстве константы нулю - она проверяется просто, это гипотеза о равенстве нулю свободного параметра.

Получается, что нужно проверять сразу несколько гипотез. А можно ли свернуть несколько гипотез в одну?

[dsge]

$H_0: A\beta=c$.

[AndreyL]

dsge в сообщении #1172283 писал(а):

$H_0: A\beta=c$.

Вернулись к прежнему вопросу - как выглядит $A$?

[dsge]

AndreyL в сообщении #1172275 писал(а):

Простой пример был в десятом посте этой темы - средние по $X$ и по $Y$ положительны, а корреляция отрицательная. Регрессия без свободного параметра все равно даст положительный угловой коэффициент, но даже взгляда на диаграмму будет достаточно, что такой зависимости там нет.

Чтобы не возникло такой ситуации обычно в регрессии оставляют константу, даже если она незначима. Если, конечно, у вас нет веских оснований обходится без неё, например, в случае центрированных данных.

[Brukvalub]

dsge в сообщении #1172288 писал(а):

Чтобы не возникло такой ситуации обычно в регрессии оставляют константу, даже если она незначима. Если, конечно, у вас нет веских оснований обходится без неё, например, в случае усредненным данных.

Выше я уже пытался добиться ответа на вопрос "откуда заранее известно, что свободный член регрессии равен нулю?", но это было бесполезно.

[AndreyL]

dsge в сообщении #1172288 писал(а):

Чтобы не возникло такой ситуации обычно в регрессии оставляют константу, даже если она незначима. Если, конечно, у вас нет веских оснований обходится без неё, например, в случае центрированных данных.

Это было бы здорово, но константы не должно быть из теоретических соображений. Простой пример - термопара, ЭДС пропорциональна разности температур. При нулевой разности температур ЭДС должна быть равна нулю. Это теория. На практике, если строить регрессию с константой, конечно, константа не попадет точно в ноль, но калибровочное уравнение все равно делается без константы.

[Евгений Машеров]

Тут, собственно, два подвопроса. И неясно, на какой из них ждут ответа (или сразу на оба).
1. Как проверить, действительно ли свободный член ноль.
2. Как проверить, адекватна ли модель, если свободный член волевым решением принять за ноль.
Первое - обычный t-критерий. Второе - требует чёткой формулировки нулевой гипотезы. И тогда можно применить F-статистику.
И что касается "избавления от свободного члена". Его включение, ИМХО, связано не только и не столько, что он отражает вклад какого-то постоянного фактора, а с тем, что зависимости в реале часто нелинейны, хоть и могут быть в интересующей области приближены линейно. И тогда свободный член это просто $f(x_0)-\frac{df}{dx}x_0$ и содержательного смысла не имеет, но отказ от него, ввиду отсутствия содержательного смысла, приводит к ухудшению, потому что коэффициент наклона оказывается близким не к производной нелинейной зависимости в интересующей области, а к наклону прямой, соединяющей середину этой области с центром координат.

[AndreyL]

Совершенно верно, интересует именно:
"Как проверить, адекватна ли модель, если свободный член волевым решением принять за ноль."
Только я не совсем понял, почему "свободный член это просто $f(x_0)-\frac{df}{dx}x_0$"? Что такое $x_0$? Среднее по предиктору? И почему отказ от свободного члена "ввиду отсутствия содержательного смысла, приводит к ухудшению"? А не приведет ли она к улучшению модели, поскольку мы вдвое сокращаем количество оцениваемых параметров? Например, в последовательном полиномиальном регрессионном анализе увеличение степени полинома всегда ведет к увеличению $R^2$, но не всегда к увеличению значимости F-статистики.

[AndreyL]

Если Вы когда нибудь калибровали термопару, то "тогда отрицательный наклон автоматически отвергается".

[dsge]

А нулевой наклон?

[AndreyL]

Если наклон НУЛЕВОЙ, то это не термопара. На кой мне такая термопара, если у нее нулевой наклон.

Задача переходит в область физики, а хотелось бы вернуть в математику.

[dsge]

Если тестировать одностороннюю т-статистику, то отрицательный наклон автоматически будет считаться нулевым.

AndreyL в сообщении #1172578 писал(а):

Задача переходит в область физики, а хотелось бы вернуть в математику.

Что вы хотите от математики? Тестировать на нулевой наклон? И в случае неотвержения потом выбрасывать термопару?

[Евгений Машеров]

Мне кажется, ответ здесь:
https://vk.com/doc168073_389123874?hash ... b85db3e681
Выражение для F строится аналогично выражению для $R^2$, число свободы там указано.

[Евгений Машеров]

AndreyL в сообщении #1172454 писал(а):

Только я не совсем понял, почему "свободный член это просто $f(x_0)-\frac{df}{dx}x_0$"? Что такое $x_0$? Среднее по предиктору? И почему отказ от свободного члена "ввиду отсутствия содержательного смысла, приводит к ухудшению"? А не приведет ли она к улучшению модели, поскольку мы вдвое сокращаем количество оцениваемых параметров?

Я примерно такое имею в виду. Реальная зависимость имеет вид $y=ax^b$ или ещё какой нелинейный. Точный её вид неизвестен или слишком сложен для оценивания (в противном случае мы бы оценивали именно её, а не линейное приближение).Нас интересует некоторый диапазон, в котором меняется x и измеряются значения y. И для него строится линейная регрессия. Она хорошо приближает в этом диапазоне. Угол наклона примерно равен производной в диапазоне изменения x, но если мы продолжим производную - она пересечёт ось ординат не в нуле, и это будет свободный член нашей оценки. Он не имеет физического смысла, и отражает тот факт, что точной зависимости мы не знаем, довольствуясь приближённой, и что область значений независимой переменной, по которой мы оцениваем, не имеет центром 0. Но качество приближения, по сравнению с вариантом, когда мы требуем прохождения через (0, 0), оказывается выше.
С другой стороны, может быть модель специфицирована точно, и в ней не будет свободного члена. Тогда надо считать суммы квадратов отклонений от модели, и суммы квадратов, объясняемых моделью, и считать $R^2$ или F-отношение, соответственно поправив число степеней свободы.

[AndreyL]

Правильно ли я Вас понял, что F-статистику нужно считать как:
$f=\frac{SS_{reg}}{SS_{res}/ \left (n-1 \rigth) }$; $SS_{res}=\sum_{i=1}^n{ \left( y_i-a x_i \right) ^2}$; $SS_{reg}=\sum_{i=1}^n{ \left(a x_i -\bar{a x}\right) ^2}$; $\bar{a x}=\frac{1}{n}\sum_{i=1}^n{ a x_i}$