Люди, порой, не видят очевидные вещи [нелин. аппроксимация]

[prof.uskov]

Xaositect в сообщении #1159188 писал(а):

prof.uskov в сообщении #1159184 писал(а):

Можно попросить Вас более точно указать книгу и стр.

Мхитарян, Архипова, Балаш, Балаш, Дуброва, Сиротин "Эконометрика: Учебник" под ред. проф. В.С. Мхитаряна. Страница 184.

Нашел, спасибо.

-- 12.10.2016, 16:41 --

(Оффтоп)

пианист в сообщении #1159157 писал(а):

Мне в свое время (давненько) мой родич, химик рассказывал о некоем имевшемся в их лаборатории счетном устройстве, которое могло только одну операцию, а именно расчет регрессии. Когда я поинтересовался, к какому виду зависимости, он сначала не понял, о чем я, а потом сказал, что у них под зависимостью понимается только линейная. Когда получалось плохо, делалась замена x и/или y (нечасто, как я понял). Химики люди простые, че.

Я как те химики и даже иногда вполне работающее кое-что удается сделать. :)

[prof.uskov]

GAA в сообщении #1159189 писал(а):

В каком смысле оценка $a^*$, полученная на основе преобразованных (при помощи логарифмирования) данных, хуже оценки $\hat a$ метода наименьших квадратов (имеет большее смещение, имеет большую квадратичную ошибку,…)?

А ведь действительно, МНК оценка оптимальна лишь при выполнении целого ряда условий, которые на практике или выполняются с натягом, или вообще не выполняются. Например, если распределение аддитивной помехи имеет тяжелые хвосты, то более эффективной будет оценка минимума абсолютных отклонений, а не МНК. В таких условиях говорить, что линеаризующее преобразование "испортило" оценку однозначно нельзя, может быть, наоборот улучшило...

[Александрович]

А вот казалось бы линейное преобразование, но также влияет на результат. Пусть функция регрессии задана в виде $y=ax$ или $x=by$, $a$ и $b$ находятся по МНК. Тогда вполне возможно что $a\neq \frac{1}{b}$.

[prof.uskov]

Александрович в сообщении #1159246 писал(а):

А вот казалось бы линейное преобразование, но также влияет на результат. Пусть функция регрессии задана в виде $y=ax$ или $x=by$, $a$ и $b$ находятся по МНК. Тогда вполне возможно что $a\neq \frac{1}{b}$.

Сопряженные регрессионные прямые - это классика.

-- 12.10.2016, 19:45 --

У меня еще вопрос есть, о проверке адекватности модели.
Классикой при нормальном распределении является метод сравнение двух дисперсий с помощью критерия Фишера: остаточной дисперсии и дисперсии воспроизводимости, полученной на основе параллельных опытов.
Дальше пишут, что есть и другие методы. Понятно, на ум приходит разделение выборки на обучающую и тестирующую, с последующими различными манипуляция с этими выборками, вычислением различных дисперсий и ошибок.

Может кто-нибудь четко перечислить описанные в литературе методы оценки адекватности регрессионных моделей?

[GAA]

prof.uskov, давайте Вы создадите отдельную ветку для новой темы. И в начальном сообщении четко её сформулируете.

[Евгений Машеров]

Ну, вот давайте рассмотрим простую модель. На самом деле $y=x$
Но у нас из содержательных соображений известно лишь, что $y=ax^b$, и коэффициенты мы должны оценить по наблюдениям. Наблюдения получены при $x=1$ и $x=2$, причём для каждого значения x получены два наблюдения, в одном ошибка $+0.99$, в другом $-0.09$
То есть у нас
x y
1 0.01
1 1.99
2 1.01
2 2.99
Обычный МНК, без преобразования, даёт $a=1$ и $b=1$
Пробуем преобразованием "привести к линейному".
Получаем $y=0.0140x^{2.31}$

[prof.uskov]

Евгений Машеров в сообщении #1159287 писал(а):

Ну, вот давайте рассмотрим простую модель. На самом деле $y=x$
Но у нас из содержательных соображений известно лишь, что $y=ax^b$, и коэффициенты мы должны оценить по наблюдениям. Наблюдения получены при $x=1$ и $x=2$, причём для каждого значения x получены два наблюдения, в одном ошибка $+0.99$, в другом $-0.09$
То есть у нас
x y
1 0.01
1 1.99
2 1.01
2 2.99
Обычный МНК, без преобразования, даёт $a=1$ и $b=1$
Пробуем преобразованием "привести к линейному".
Получаем $y=0.0140x^{2.31}$

И какой вывод, я не совсем понял?

[GAA]

Евгений Машеров, я Вас не понял.

Мы всегда можем взять какую угодно (одну) выборку. (Вот так карта легла ) И получить какие угодно (допустимые) значения параметров. Но о чем это говорит?

[Евгений Машеров]

Ну, это некая сильно упрощённая имитация численного эксперимента. В котором можно было бы сгенерировать множество точек, наложить на них шум и посчитать коэффициенты. Поскольку программировать несложно, но лень (были бы у меня студенты - выдал бы для курсового) - я сократил число точек и вместо случайной выборки из нормально распределённой помехи взял по две точки, которые для данного значения x дадут нулевое матожидание и равную дисперсию помехи. Но после нелинейного преобразования эти свойства утратились. Помеха получила тяжёлый левый хвост и неравную для разных наблюдений дисперсию (и матожидание тоже разное). Соответственно модель "перекосилась".

[prof.uskov]

Евгений Машеров в сообщении #1159296 писал(а):

Ну, это некая сильно упрощённая имитация численного эксперимента. В котором можно было бы сгенерировать множество точек, наложить на них шум и посчитать коэффициенты. Поскольку программировать несложно, но лень (были бы у меня студенты - выдал бы для курсового) - я сократил число точек и вместо случайной выборки из нормально распределённой помехи взял по две точки, которые для данного значения x дадут нулевое матожидание и равную дисперсию помехи. Но после нелинейного преобразования эти свойства утратились. Помеха получила тяжёлый левый хвост и неравную для разных наблюдений дисперсию (и матожидание тоже разное). Соответственно модель "перекосилась".

Да, интересный пример.

[GAA]

Спасибо, понял.
Ну, этим все игрались.
Генерируя выборки, можно проверить, что есть заметное глазу смещение. .
Но ведь никакие общие утверждения так не получить. Верно?
Например, у Вас ошибки имеют, допустим, нормальное распределение. Оценка МНК будет несмещённой?

-- Ср 12.10.2016 20:27:34 --

(Оговорки стандартные: ошибки независимы, одинаково распределены,...ожидание ошибки равно нулю)

[Евгений Машеров]

Максимально правдоподобной - будет. Несмещённой - только в случае линейной модели гарантировано.

[GAA]

В случае линейной модели --- это понятно, я даже в этой теме писал.
Но тема о нелинейной.
Из максимально правдоподобной получаем ведь только асимптотически оптимальные оценки (в том или ином смысле)?

-- Ср 12.10.2016 21:19:37 --

Это я всё к тому, что было бы здорово привести точные формулировки и ссылки. Я вот тему почитал и мало что для себя вынес. Ни в чем задача, ни какие есть результаты.
(У Вентцель в начале главы идёт разговор о несмещённых и «эффективных» оценках, но в разделе о методе наименьших квадратов как-то ничего не говорится о несмещенности и «эффективности» оценок. И как бы теория строится единая как для линейной, так и для нелинейной модели. Трудно понять начинающему материал.)

[Евгений Машеров]

Кому и Камилла невеста максимальное правдоподобие оптимальность (в некотором смысле). Обычно, впрочем, говорят об оптимальности в смысле минимума дисперсии оценки (при условии несмещённости). Это, вообще говоря, не выполняется (в смысле выполняется асимптотически). Но даже в смысле квадратичного отклонения это не единственно мыслимый критерий качества. Можно вместо "условного условия", минимума дисперсии при несмещённости, минимизировать среднеквадратичное отклонение от истинного значения. причём будут разные оценки. Даже для такой известной и простой задачи, как оценка дисперсии, в знаменателе вместо $n-1$, как в несмещённой оценке, для ММП будет n, а для минимума среднеквадратичного отклонения $n+1$
Несмещённой будет оценка для $\hat{y}=F(\hat{a},X)$, но не для вектора параметров a.

[Евгений Машеров]

Вообще, нелинейное преобразование делается в трёх видах:
1. Линеаризация модели по параметрам.
2. Стабилизация дисперсии.
3. Приближение распределения к нормальному (нормализация, но тут надо иметь в виду, что иногда этим термином обозначают приведение случайной величины к нулевому матожиданию и единичной дисперсии, то есть линейное преобразование).
Эти цели различны и могут быть противоречивы (не всегда, но если согласуются - это большая удача; как z-преобразование Фишера $z=\ln\frac{1+r} {1-r}$ или его же арксинус-преобразование долей $\varphi=\arcsin\sqrt {p}$ - и то, и то стабилизирует дисперсию и приближает распределение к нормальному).