2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6 ... 9  След.
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 15:24 
Аватара пользователя


12/01/14
1127
Xaositect в сообщении #1159188 писал(а):
prof.uskov в сообщении #1159184 писал(а):
Можно попросить Вас более точно указать книгу и стр.
Мхитарян, Архипова, Балаш, Балаш, Дуброва, Сиротин "Эконометрика: Учебник" под ред. проф. В.С. Мхитаряна. Страница 184.

Нашел, спасибо.

-- 12.10.2016, 16:41 --

(Оффтоп)

пианист в сообщении #1159157 писал(а):
Мне в свое время (давненько) мой родич, химик рассказывал о некоем имевшемся в их лаборатории счетном устройстве, которое могло только одну операцию, а именно расчет регрессии. Когда я поинтересовался, к какому виду зависимости, он сначала не понял, о чем я, а потом сказал, что у них под зависимостью понимается только линейная. Когда получалось плохо, делалась замена x и/или y (нечасто, как я понял). Химики люди простые, че.

Я как те химики и даже иногда вполне работающее кое-что удается сделать. :)

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 16:31 
Аватара пользователя


12/01/14
1127
GAA в сообщении #1159189 писал(а):
В каком смысле оценка $a^*$, полученная на основе преобразованных (при помощи логарифмирования) данных, хуже оценки $\hat a$ метода наименьших квадратов (имеет большее смещение, имеет большую квадратичную ошибку,…)?

А ведь действительно, МНК оценка оптимальна лишь при выполнении целого ряда условий, которые на практике или выполняются с натягом, или вообще не выполняются. Например, если распределение аддитивной помехи имеет тяжелые хвосты, то более эффективной будет оценка минимума абсолютных отклонений, а не МНК. В таких условиях говорить, что линеаризующее преобразование "испортило" оценку однозначно нельзя, может быть, наоборот улучшило...

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 17:50 
Аватара пользователя


21/01/09
3925
Дивногорск
А вот казалось бы линейное преобразование, но также влияет на результат. Пусть функция регрессии задана в виде $y=ax$ или $x=by$, $a$ и $b$ находятся по МНК. Тогда вполне возможно что $a\neq \frac{1}{b}$.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 17:54 
Аватара пользователя


12/01/14
1127
Александрович в сообщении #1159246 писал(а):
А вот казалось бы линейное преобразование, но также влияет на результат. Пусть функция регрессии задана в виде $y=ax$ или $x=by$, $a$ и $b$ находятся по МНК. Тогда вполне возможно что $a\neq \frac{1}{b}$.

Сопряженные регрессионные прямые - это классика.

-- 12.10.2016, 19:45 --

У меня еще вопрос есть, о проверке адекватности модели.
Классикой при нормальном распределении является метод сравнение двух дисперсий с помощью критерия Фишера: остаточной дисперсии и дисперсии воспроизводимости, полученной на основе параллельных опытов.
Дальше пишут, что есть и другие методы. Понятно, на ум приходит разделение выборки на обучающую и тестирующую, с последующими различными манипуляция с этими выборками, вычислением различных дисперсий и ошибок.

Может кто-нибудь четко перечислить описанные в литературе методы оценки адекватности регрессионных моделей?

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 19:55 
Заслуженный участник


12/07/07
4522
prof.uskov, давайте Вы создадите отдельную ветку для новой темы. И в начальном сообщении четко её сформулируете.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 20:37 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
Ну, вот давайте рассмотрим простую модель. На самом деле $y=x$
Но у нас из содержательных соображений известно лишь, что $y=ax^b$, и коэффициенты мы должны оценить по наблюдениям. Наблюдения получены при $x=1$ и $x=2$, причём для каждого значения x получены два наблюдения, в одном ошибка $+0.99$, в другом $-0.09$
То есть у нас
x y
1 0.01
1 1.99
2 1.01
2 2.99
Обычный МНК, без преобразования, даёт $a=1$ и $b=1$
Пробуем преобразованием "привести к линейному".
Получаем $y=0.0140x^{2.31}$

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 20:52 
Аватара пользователя


12/01/14
1127
Евгений Машеров в сообщении #1159287 писал(а):
Ну, вот давайте рассмотрим простую модель. На самом деле $y=x$
Но у нас из содержательных соображений известно лишь, что $y=ax^b$, и коэффициенты мы должны оценить по наблюдениям. Наблюдения получены при $x=1$ и $x=2$, причём для каждого значения x получены два наблюдения, в одном ошибка $+0.99$, в другом $-0.09$
То есть у нас
x y
1 0.01
1 1.99
2 1.01
2 2.99
Обычный МНК, без преобразования, даёт $a=1$ и $b=1$
Пробуем преобразованием "привести к линейному".
Получаем $y=0.0140x^{2.31}$

И какой вывод, я не совсем понял?

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 20:57 
Заслуженный участник


12/07/07
4522
Евгений Машеров, я Вас не понял.

Мы всегда можем взять какую угодно (одну) выборку. (Вот так карта легла :-)) И получить какие угодно (допустимые) значения параметров. Но о чем это говорит?

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 21:07 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
Ну, это некая сильно упрощённая имитация численного эксперимента. В котором можно было бы сгенерировать множество точек, наложить на них шум и посчитать коэффициенты. Поскольку программировать несложно, но лень (были бы у меня студенты - выдал бы для курсового) - я сократил число точек и вместо случайной выборки из нормально распределённой помехи взял по две точки, которые для данного значения x дадут нулевое матожидание и равную дисперсию помехи. Но после нелинейного преобразования эти свойства утратились. Помеха получила тяжёлый левый хвост и неравную для разных наблюдений дисперсию (и матожидание тоже разное). Соответственно модель "перекосилась".

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 21:10 
Аватара пользователя


12/01/14
1127
Евгений Машеров в сообщении #1159296 писал(а):
Ну, это некая сильно упрощённая имитация численного эксперимента. В котором можно было бы сгенерировать множество точек, наложить на них шум и посчитать коэффициенты. Поскольку программировать несложно, но лень (были бы у меня студенты - выдал бы для курсового) - я сократил число точек и вместо случайной выборки из нормально распределённой помехи взял по две точки, которые для данного значения x дадут нулевое матожидание и равную дисперсию помехи. Но после нелинейного преобразования эти свойства утратились. Помеха получила тяжёлый левый хвост и неравную для разных наблюдений дисперсию (и матожидание тоже разное). Соответственно модель "перекосилась".

Да, интересный пример.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 21:20 
Заслуженный участник


12/07/07
4522
Спасибо, понял.
Ну, этим все игрались.
Генерируя выборки, можно проверить, что есть заметное глазу смещение. :-).
Но ведь никакие общие утверждения так не получить. Верно?
Например, у Вас ошибки имеют, допустим, нормальное распределение. Оценка МНК будет несмещённой?

-- Ср 12.10.2016 20:27:34 --

(Оговорки стандартные: ошибки независимы, одинаково распределены,...ожидание ошибки равно нулю)

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 21:55 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
Максимально правдоподобной - будет. Несмещённой - только в случае линейной модели гарантировано.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 22:04 
Заслуженный участник


12/07/07
4522
В случае линейной модели --- это понятно, я даже в этой теме писал. :-)
Но тема о нелинейной.
Из максимально правдоподобной получаем ведь только асимптотически оптимальные оценки (в том или ином смысле)?

-- Ср 12.10.2016 21:19:37 --

Это я всё к тому, что было бы здорово привести точные формулировки и ссылки. Я вот тему почитал и мало что для себя вынес. Ни в чем задача, ни какие есть результаты.
(У Вентцель в начале главы идёт разговор о несмещённых и «эффективных» оценках, но в разделе о методе наименьших квадратов как-то ничего не говорится о несмещенности и «эффективности» оценок. И как бы теория строится единая как для линейной, так и для нелинейной модели. Трудно понять начинающему материал.)

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 22:42 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
Кому и Камилла невеста максимальное правдоподобие оптимальность (в некотором смысле). Обычно, впрочем, говорят об оптимальности в смысле минимума дисперсии оценки (при условии несмещённости). Это, вообще говоря, не выполняется (в смысле выполняется асимптотически). Но даже в смысле квадратичного отклонения это не единственно мыслимый критерий качества. Можно вместо "условного условия", минимума дисперсии при несмещённости, минимизировать среднеквадратичное отклонение от истинного значения. причём будут разные оценки. Даже для такой известной и простой задачи, как оценка дисперсии, в знаменателе вместо $n-1$, как в несмещённой оценке, для ММП будет n, а для минимума среднеквадратичного отклонения $n+1$
Несмещённой будет оценка для $\hat{y}=F(\hat{a},X)$, но не для вектора параметров a.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение13.10.2016, 09:41 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
Вообще, нелинейное преобразование делается в трёх видах:
1. Линеаризация модели по параметрам.
2. Стабилизация дисперсии.
3. Приближение распределения к нормальному (нормализация, но тут надо иметь в виду, что иногда этим термином обозначают приведение случайной величины к нулевому матожиданию и единичной дисперсии, то есть линейное преобразование).
Эти цели различны и могут быть противоречивы (не всегда, но если согласуются - это большая удача; как z-преобразование Фишера $z=\ln\frac{1+r} {1-r}$ или его же арксинус-преобразование долей $\varphi=\arcsin\sqrt {p}$ - и то, и то стабилизирует дисперсию и приближает распределение к нормальному).

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 126 ]  На страницу Пред.  1, 2, 3, 4, 5, 6 ... 9  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Mikhail_K


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group