Линейная парная регрессия

[DoubleNCH]

Дано однофакторное уравнение регрессии и 10 пар наблюдений (x, y):
$y_i=\frac{ax_i+b}{cx_i+1}+\varepsilon_i$
Не могу понять, как быть ? Замены я тут не вижу.

[Someone]

Неизвестные $a$, $b$, $c$ или только $a$, $b$?
Во втором случае применяйте метод наименьших квадратов прямо к написанному Вами уравнению.
В первом попробуйте переписать своё уравнение в виде $y_i=ax_i+b-cx_iy_i+\epsilon_i$.

[DoubleNCH]

Someone в сообщении #1189371 писал(а):

Неизвестные $a$, $b$, $c$ или только $a$, $b$?
Во втором случае применяйте метод наименьших квадратов прямо к написанному Вами уравнению.
В первом попробуйте переписать своё уравнение в виде $y_i=ax_i+b-cx_iy_i+\varepsilon_i$.

Переписал в таком виде $y_i=ax_i+b-cx_iy_i+\varepsilon_i$, а как быть дальше ? Я ведь не могу сделать замену z = -xy

[Someone]

DoubleNCH в сообщении #1189372 писал(а):

Я ведь не могу сделать замену z = -xy

Кто Вам мешает временно ввести обозначение $z_i=-x_iy_i$?

А вообще, зачем замена? Пишете минимизируемую функцию, записываете условия минимума…

[--mS--]

Someone в сообщении #1189371 писал(а):

В первом попробуйте переписать своё уравнение в виде $y_i=ax_i+b-cx_iy_i+\epsilon_i$.

Потерялся множитель при случайной ошибке: $y_i=ax_i+b-cx_iy_i+(cx_i+1)\epsilon_i$.

[DoubleNCH]

Someone в сообщении #1189378 писал(а):

DoubleNCH в сообщении #1189372 писал(а):

Я ведь не могу сделать замену z = -xy

Кто Вам мешает временно ввести обозначение $z_i=-x_iy_i$?

А вообще, зачем замена? Пишете минимизирующую функцию, записываете условия минимума…

Каждая из независимых переменных должна уж точно не зависеть от $y_i$ иначе получается полная белиберда в ответе.
Целевую функцию я та могу записать, а как мне решать такую систему ? Она нелинейная и крайне кусачая. Должен быть другой способ или я чего не понимаю...

[Евгений Машеров]

Бояться того, что в промежуточной модели используются регрессоры, зависящие от регрессанда (я специально не употребляю "независимые" и "зависимые" переменные, чтобы не возникало убеждения, что они должны быть "независимы" в статистическом или каком ином смысле) не стоит. После расчёта полученные коэффициенты вспомогательной линеаризованной модели будут подставлены в исходную, где игрек лишь слева. Существеннее то, что это домножение меняет дисперсию ошибки, и надо использовать взвешенную регрессию, а веса зависят от неизвестного c.
Общий подход к нелинейной регрессии - оценивать численно, например, методом Левенберга-Марквардта, который вычисляет производные по параметрам при выбранных значениях коэффициентов, линеаризует модель, используя первый член разложения в ряд Тейлора, получает поправки к значениям коэффициентов и так до полного удовлетворения.

[Someone]

--mS-- в сообщении #1189401 писал(а):

Потерялся множитель при случайной ошибке: $y_i=ax_i+b-cx_iy_i+(cx_i+1)\epsilon_i$.

Не потерялся: $\epsilon_i=(cx_i+1)\varepsilon_i$.

DoubleNCH в сообщении #1189418 писал(а):

Каждая из независимых переменных должна уж точно не зависеть от $y_i$ иначе получается полная белиберда в ответе.

Никакой белиберды в ответе не будет. О том же и Евгений Машеров пишет.

DoubleNCH в сообщении #1189418 писал(а):

Целевую функцию я та могу записать, а как мне решать такую систему ? Она нелинейная и крайне кусачая.

Господь с Вами! А что у Вас неизвестные-то?

[Евгений Машеров]

Если задача учебная - уточните у преподавателя. Даже верный, но отличный от того, что он хотел, совет будет Вам во вред.
Если задача прикладная, из экономики ли, биомедицины, инженерии etc., и при этом "единичная" - воспользуйтесь средствами нелинейной регрессии из статпакетов. Statistica такие точно имеет, и SPSS, и многие ещё.
Если Вы хотите программировать или разрабатывать алгоритмы для подобных задач, или просто желаете проникнуть в логику метода, или у Вас такие задачи предполагаются регулярными, и, решая даже стандартными средствами, желательно иметь представление, как они устроены и каких проблем от них можно ожидать - тогда попробую изложить хотя бы начерно.
Нелинейные модели линеаризуются редко, и почти всегда при этом нарушается спецификация ошибки (как минимум - постоянство дисперсии теряется). Бывают и счастливые исключения, скажем, степенная модель логарифмированием приводится к линейной, а спецификация ошибки при этом приводится к требуемой для регрессии. Но не всегда, а если ошибка носила мультипликативный характер и имела логнормальное распределение (ну, хотя бы принимала только положительные значения). Если ошибка прибавлялась и распределение её было нормальным, то логарифмирование спецификацию ошибки нарушает, а если она велика - вообще под логарифмом окажутся отрицательные числа. Поэтому нелинейные модели часто приходится оценивать, используя специальные численные методы. Сводятся они к минимизации суммы квадратов отклонений нелинейной функции от наблюдаемых значений, сталкиваются с теми же проблемами, что и оптимизация вообще, а именно требуется начальное приближение и возможно "застревание" на локальном оптимуме. Ну и то, что сложность расчётов возрастает драматически, линейную модель можно руками посчитать, нелинейной нужен компьютер. Впрочем, сейчас это не столь болезненная проблема.
В задаче нелинейной регрессии минимизируется сумма квадратов, что позволяет построить метод "почти второго порядка", приближение к методу Ньютона, без расчёта вторых производных по параметрам. Можно оценивание нелинейной регрессии рассматривать и как построение серии линейных регрессий, дающих поправки к значениям коэффициентов. Вначале выбираются нулевые приближения для коэффициентов. Они могут быть взяты из содержательных соображений или оценены по какому-то линейному приближению. В частности, описанный выше для Вашей задачи приём с домножением всей модели на знаменатель и рассмотрением появившегося нелинейного члена, как новой независимой переменной $z=xy$ даст плохие оценки, поскольку нарушена спецификация ошибки, но в качестве начального приближения они могут и сгодиться (а вот от введения в правую часть величины, зависящей от y, ничего страшного не случится, это наблюдаемая величина, причём это не более чем костыль, отбрасываемый после получения коэффициентов). Также нужно уметь вычислять производные по коэффициентам при заданных значения коэффициентов для разных $x_i$. Подставим выбранные значения коэффициентов в нелинейную модель и вычислим невязки. Уменьшить их можно, варьируя коэффициенты. Ограничиваясь первым членом разложения в ряд Тейлора, выразим изменение вектора невязок при изменении коэффициентов $e=Dc+\varepsilon$, где e - вектор невязок, D - матрица производных по коэффициентам, вычисленных для каждого наблюдения, c - поправки к коэффициентам. Нахождение поправок - обычная линейная регрессия. При этом, однако, часто возникает вычислительная проблема, связанная с тем, что значения производных коррелированы, и получаемая матрица близка в вырожденной. Поэтому к её диагональным элементам добавляют положительные числа, обеспечивая численную устойчивость обращения матрицы. Это и составляет метод Левенберга-Марквардта. Впрочем, используются и иные методы оптимизации, в особенности, если вместо наименьших квадратов использовать иную функцию (например, из соображений робастности).