метод наименьших квадратов, логарифм

[ewert]

в сессию не бывает суббот (не менее счастлив)

[GAA]

Было бы все просто, если бы имелись измеренные без погрешности значения $x_i$, т.е. «модель» имела бы вид
$ y_i = z(x_i) + \varepsilon_i$, $z(x) = a\log x + b$,
где погрешности измерений $\varepsilon_i$ — независимые, одинаково распределенные случайные величины с нулевым математическим ожиданием («измерения без систематической погрешности»). В этом случае замена $\log x_i$ на $t_i$ сводила бы задачу к простейшей линейной регрессии, а оценки $a^*$ и $b^*$ метода наименьших квадратов были бы несмещенными, т.е.
$\mathsf E a^* = a$, $\mathsf E b^* = b$.

Однако, GoldFinch писал: «есть набор точек $(x_i,y_i)$ измеренных с некоторой погрешностью». Обычно, так говорят, если и $x_i$, и $y_i$ измеряются с погрешностью. В этом, более сложном случае, рекомендация

PAV писал(а):

... В Вашем случае, если идти по этому пути, то достаточно перейти к новым переменным $t_i = \log x_i$ и использовать обычный метод наименьших квадратов для пар $(t_i,y_i)$, т.е. аппроксимировать $y\approx at+b$.

без указания вероятностной модели, мне кажется, является необоснованной. Она может создать, в общем случае, ошибочное мнение, что достаточно применить метод наименьших квадратов к линеаризованному уравнению и будут сразу получены оптимальные свойства оценок метода наименьших квадратов.

[PAV]

Мне кажется, что обычно считается, что с погрешностью измерены только значения $y_i$, а аргументы $x_i$ предполагаются известными точно.

[ewert]

и мне тоже так кажется. Т.е. обычно это предположение принимают -- за неимением лучшего.

[GoldFinch]

в моем случае обе величины, и $x_i$ и $y_i$, измеряются, т.е. содержат ошибку

[Алексей К.]

Алексей К. в сообщении #107239 писал(а):

(здесь слегка updated)
Не для того ли заданы погрешности измерения $x_i\pm\Delta x_i$, чтобы минимизировать
$F(a,b)=\sum\left(\dfrac{ax_i+b-y_i}{\Delta x_i}\right)^2$ ?
Т.е. сумма квадратов берётся с весовыми множителями, и множители, выбранные именно так, не есть какая-то эпмирика, а что-то статистически обоснованное?=

В ответ Henrylee в сообщении #107245 писал(а):

Тогда в случае, когда некоторые величины измерены "более точно", соотв. слагаемые будут "тяжелее", а значит будут сильнее влиять на значения оценок..
Хм.. почему бы и нет.

PAV тоже одобрил: в сообщении #107249 он писал(а):

Это вполне разумно. С вероятностной точки зрения это означает, что случайные отклонения наблюдений от истинной линейной зависимости не одинаково распределены. Различные наблюдения имеют различную дисперсию, причем она нам откуда-то известна.

Добавлено спустя 7 минут 24 секунды:

Впрочем, здесь $\Delta y_i$ игнорируются. Что как-то нехорошо. А может, нормально (есть какие-то основания), Или весовой множитель $w_i\stackrel{?}{=}\frac1{\sqrt{\Delta x_i \Delta y_i}}$? ?? ???

Добавлено спустя 47 секунд:

Ещё вариант: GoldFinch, расскажите всю правду про точки в подробностях...

Добавлено спустя 26 секунд:

Или... нет, не надо... Это как бы обяжет потом дать чёткий ответ, без экивоков...

[GAA]

1. В случае простейшей линейной регрессии рассматривается задача, когда и $y$ и $x$ являются случайными величинами. В частности, в [1] со ссылкой на [2] задача формулируется так:

Цитата:

Дано $N$ пар наблюдений $(x_1, y_1)$, … $(x_N, y_N)$, которые рассматриваются как отдельные значения случайных векторов, причем $E (x_i) = X_i$ и $E(y_i) = Y_i$. Величины $X_i$ и $Y_i$ будем называть истинными значениями $x_i$ и $y_i$, а величины $\delta_i = x_i - X_i$ и $\Delta_i = y_i - Y_i$ — погрешностями. Будем считать выполненными следующие условия.
1. Случайные величины $\delta_1$,…, $\delta_N$ одинаково распределены и некоррелированы: $E(\delta_i \delta_j) = 0$, $i \ne j$; $E(\delta_i^2)$ существует ($i=1, \ldots, N$).
2. $\Delta_1, \ldots, \Delta_N $ одинаково распределены и некоррелированы: $E(\Delta_i \Delta_j) = 0$, $i \ne j$; $E(\Delta_i^2)$ существует ($i=1, \ldots, N$)
3. Случайные величины $\delta_i$ и $\Delta_j$ некоррелированы: $E(\delta_i \Delta_j) = 0$, ($i,j=1,\ldots, N$).
4. Между истинными значениями $X$ и $Y$ существует линейная зависимость $Y_i = \alpha X_i + \beta$.
...
Для удобства изложения будем считать $N$ четным: $N = 2m$.
...
5. $\left| \frac {(X_1 + \ldots + X_m) - (X_{m+1} + \ldots + X_N)}{N} \right| > c_0$,
где $c_0$ — положительная постоянная. Заметим, что так например будет, если $|X_i - X_{i+1}| = c_0$

В этих предположениях строятся состоятельные оценки параметров $\alpha$ и $\beta$.
Для случая когда погрешности $\delta_r$ и $\Delta_r$ распределены по нормальным законам $N(0, \sigma_{\delta})$, $N(0, \sigma_{\Delta})$ строятся доверительные интервалы для $\alpha$ и $\beta$.

2. В той же главе [1] рассматривается и ортогональная регрессия:

Цитата:

Пусть система точек $P_1$,…, $P_N$ плоскости отличается следующим свойством: существует прямая линия $l$ такая, что если отсчитывать расстояние $\Delta_i$ от $P_i$ до $l$, придавая знак плюс по одну сторону от прямой и знак минус по другую, то величины $\Delta_1, \ldots, \Delta_N$ в совокупности нормальны $N(0, \sigma)$ и независимы.
Возьмем прямоугольную систему координат $XOY$; пусть точка $P_i$ имеет в ней координаты $(x_i, y_i)$, а искомая линия $l$ имеет уравнение $y = \alpha x + \beta$, где $\alpha$ и $\beta$ неизвестны. Требуется оценить $\alpha$ и $\beta$ по наблюдениям $(x_i, y_i)$ $i=1,\ldots, N$.

Максимизация функции правдоподобия приводит к минимизации $\sum\limits_{i=1}^N \left(\frac{y_i-\alpha x_i - \beta}{\sqrt{\alpha^2+1}} \right)^2$ [это и есть минимизация расстояний точек до прямой]. Cвойства оценок вытекают из свойств оценок м.м.п.

3. По рассматриваемому в данной теме нелинейному случаю никаких ссылок с ходу привести не могу.

ref.
[1] Линник Ю.В. Метод наименьших квадратов и основы теории обработки наблюдений. — М., 1962; гл. XIII Некоторые исследования А. Вальда. Прямая ортогональной регрессии.
[2] А.Wald The fitting of straight lines if both variables are subject to errors, Ann. Math. Statistics, 11, N3, 1940, 284–300.

[GoldFinch]

похоже вся проблема в том, что это только у прямой нормали к ней не пересекаются, и можно задать однозначную функцию оценки расстояния
а у кривых чтобы получить эту функцию надо сначала найти функцию длины отрезка нормали от точки до кривой, потом найти минимум этой функции, а потом искать минимум суммы квадратов расстояний
подозреваю что задачу надо решать численно, если действительно есть смысл ее решать %)

[ewert]

GoldFinch в сообщении #179374 писал(а):

похоже вся проблема в том, что это только у прямой нормали к ней не пересекаются, и можно задать однозначную функцию оценки расстояния
а у кривых чтобы получить эту функцию надо сначала найти функцию длины отрезка нормали от точки до кривой, потом найти минимум этой функции, а потом искать минимум суммы квадратов расстояний
подозреваю что задачу надо решать численно, если действительно есть смысл ее решать %)

и нету смысла решать её точно. Ведь как ни крути: минимизация именно точной суммы квадратов расстояний -- это некоторая условность.

Ну возьмём ту же ортогональную регрессию: а с какой стати, собственно, минимизировать именно сумму квадратов? потому что какая-то там теория это говорит? -- ну так это не резон. С практической точки зрения гораздо разумнее может выглядеть, например, минимизация максимального расстояния, но это уже совсем другая задача.

Единственный аргумент в пользу именно суммы квадратов -- это что задача оказывается сравнительно простой и решается точно. Ну так это и есть условность.

[GAA]

1. То что «задача оказывается простой и решается точно» является не единственным аргументом в пользу именно суммы квадратов. Например, м.н.к.-оценки параметров модели, в которой только $y_i$ являются случайными величинами (при стандартных предположениях независимости, одинаковой распределенности, нормальности,...) являются несмещенными и обладающими минимальной дисперсией. Имеются и другие несмещенные оценки, например, оценки метода Коши (см. в книге Линника, указанной выше), но они обладают большей дисперсией. Минимальность дисперсии в сочетании с несмещенностью означает оптимальность в среднеквадратичном смысле. Условность — состоит в требовании несмещенности оценок и оптимальности оценок в среднеквадратичном смысле.
2. Конечно, можно пожелать оптимальность в ином смысле. Например в [3] обсуждаются оценки менее чувствительные, чем м.н.к.-оценки, к редким отклонениям на большую величину, в частности, оценки минимума модуля отклонения.

Призываю участников темы при формулировке утверждений приводить ссылки на соответсвующую литературу.

GoldFinch, я привел цитаты из [1] в качестве примеров формулировок «регрессионных» задач, а вовсе не потому, что Ваша задача является, например, ортогональной регрессией. Более того, я не вижу, как в Вашем случае применить даже метод группировки (обобщение подхода Вальда, см. краткое описание и дальнейшие ссылки в [3]).

ref
[3] Демиденко Е.З. Линейная и нелинейная регрессии. — М.: «Финансы и статистика», 1981.

[ewert]

GAA писал(а):

1. То что «задача оказывается простой и решается точно» является не единственным аргументом в пользу именно суммы квадратов. Например, м.н.к.-оценки

Так ведь в том-то и пафос, что МНК-оценки не единственно возможны. Смотря который критерий наилучшести. А тот критерий именно постановкой задачи и определяется.