Люди, порой, не видят очевидные вещи [нелин. аппроксимация]

[ewert]

prof.uskov в сообщении #1159150 писал(а):

Вот мне даже стало интересно, что Вы на это скажете?

Я бы, например, сказал, что это -- достаточно древняя книжка. Даже не 88-го года, а 82-го. Когда массовой вычислительной техники ещё и не особо было. В частности, там упоминаются расчёты на "малых машинах", а из "больших" -- довольно-таки хиленькая ЕС 1020. Потому и говорит Львовский не о том, как нужно считать, а о том, как можно за неимением лучшего. На тот момент.

Кроме того: независимо от некорректности замен переменных, они далеко не для всех моделей возможны. Т.е. это уже само по себе -- поиск под фонарём.

[prof.uskov]

ewert в сообщении #1159155 писал(а):

prof.uskov в сообщении #1159150 писал(а):

Вот мне даже стало интересно, что Вы на это скажете?

Я бы, например, сказал, что это -- достаточно древняя книжка. Даже не 88-го года, а 82-го. Когда массовой вычислительной техники ещё и не особо было. В частности, там упоминаются расчёты на "малых машинах", а из "больших" -- довольно-таки хиленькая ЕС 1020. Потому и говорит Львовский не о том, как нужно считать, а о том, как можно за неимением лучшего. На тот момент.

Кроме того: независимо от некорректности замен переменных, они далеко не для всех моделей возможны. Т.е. это уже само по себе -- поиск под фонарём.

У меня второе издание 1988 г.
Смотрю другие книжки по регрессионному анализу, там тоже самое. Например, Ферстер и Ренц таким образом разделались с формулой Кобба-Дугласа путем логарифмирования сведя к линейной по параметрам регрессии.
И нет ни слова о том, что это приближение!!!!

[пианист]

(Оффтоп)

Мне в свое время (давненько) мой родич, химик рассказывал о некоем имевшемся в их лаборатории счетном устройстве, которое могло только одну операцию, а именно расчет регрессии. Когда я поинтересовался, к какому виду зависимости, он сначала не понял, о чем я, а потом сказал, что у них под зависимостью понимается только линейная. Когда получалось плохо, делалась замена x и/или y (нечасто, как я понял). Химики люди простые, че.

[ewert]

prof.uskov в сообщении #1159156 писал(а):

Например, Ферстер и Ренц

А они ещё древнее -- это 79-й г.

[prof.uskov]

Тоже самое написано в самых современных учебниках эконометрики...

Еще раз повторюсь. Способ замены переменных и сведение задачи к линейной по параметрам описан в огромном количестве книг, почему нигде не указано, что это лишь приближенный метод расчета?

[Xaositect]

prof.uskov в сообщении #1159159 писал(а):

Тоже самое повторено в самых современных учебниках эконометрики...

Еще раз повторюсь. Способ замены переменных и сведение задачи к линейной описано в огромном количестве книг, почему нигде не указано, что это лишь приближенный метод расчета?

Во-первых, совсем не нигде. Вот, например, учебник Мхитаряна и др. "Эконометрика":


Во-вторых, в приложениях не всегда нужно именно оптимальное по среднеквадратичному отклонению значение. Иногда модель ошибки другая, а иногда вообще сойдет какое-нибудь достаточно хорошее значение.

[Someone]

prof.uskov в сообщении #1159159 писал(а):

Тоже самое написано в самых современных учебниках эконометрики...

Ну, хоть как-то задачу решить надо. А нелинейная оптимизация — та ещё задача.

prof.uskov в сообщении #1159159 писал(а):

почему нигде не указано, что это лишь приближенный метод расчета?

А это, по-моему, достаточно очевидно. Если Вы заметили, что при замене зависимой переменной погрешности изменяются, то этого уже достаточно, чтобы сделать вывод, что параметры, оптимальные для линеаризованного уравнения, скорее всего, не будут оптимальными для исходного нелинейного.

Да даже переход от уравнения $y=\frac{Ax+B}{x-C}$ к уравнению $xy=Ax+B+Cy$ всё портит, хотя и сводится к простому умножению.

Присоединяюсь к тому, что сказал Xaositect.

[Евгений Машеров]

prof.uskov в сообщении #1159121 писал(а):

Порой, приходится встречать в литературе случаи, когда даже маститые авторы или допускают элементарные ошибки, или не то что бы ошибаются, но излагают неэффективные подходы.

Значительно чаще приходится встречать людей, которые "пройдя один компас" (далее, извините, Петра Великого цитировать не буду, забанят) начинают с высоты своего знания изобличать "неэффективных".
Это разные спецификации ошибки. Метод наименьших квадратов предполагает, что "ошибка" $\varepsilon$ прибавляется к наблюдаемому значению. Если в исходной модели так и было, то нелинейное преобразование это всё порушит. Более того, модель, которая вполне разумна и оцениваема МНК, может линеаризующему преобразованию не поддаться. Рассмотрим простейшую модель
$y=e^{ax+b}+\varepsilon$. Как видим, в отсутствие ошибки логарифмирование её переводит в простенькую линейную. Но если величина "эпсилон" достаточно велика, то наблюдённые игреки могут стать и отрицательны. И оценивать надо общим алгоритмом МНК, ориентированным на нелинейные задачи. И даже если все игреки оказались положительны - у нас может случиться много весёлого. Скажем, наблюдённое значение близко к нулю, хотя и больше его. Тогда его логарифм, не вызывающий формально трудностей при вычислении, большое отрицательное число. И его учёт в линеаризованной модели всю её перекосит.
Для того, чтобы нелинейное линеаризующее преобразование позволило законно пользоваться линейным МНК, надо, чтобы спецификация ошибки в линейной модели была отлична от обычной для МНК. Скажем, если у нас экспоненциальная модель описанного выше вида или степенная $y=ax^b$, ошибка должна умножаться, а не прибавляться, и иметь распределение, принимающее положительные значения (логнормальное, скажем, тогда после логарифмирования у нас будет линейная модель с нормально распределённой ошибкой).
Иногда это подразумевается неявно, но если для автора это очевидное умолчание, то читатель может принять за вполне дозволенное всегда. Иногда это применяется, как "рабочее допущение" для получения начального приближения с последующей "шлифовкой" нелинейным алгоритмом оптимизации.

[Red_Herring]

Дело началось с обсуждения книги "Теория вероятностей" Е.Т. Вентцель, и все остальные книги в данном случае к делу отношения не имеют.

[prof.uskov]

Red_Herring в сообщении #1159179 писал(а):

Дело началось с обсуждения книги "Теория вероятностей" Е.Т. Вентцель, и все остальные книги в данном случае к делу отношения не имеют.

Е.С. Вентцель использует приближенный графический метод для решения задачи. С компьютерами тогда было туго. Но могла бы и намекнуть, что вот есть путь с заменой переменной. Не факт, что тот графический метод окажется лучше.

[Евгений Машеров]

prof.uskov в сообщении #1159159 писал(а):

Тоже самое написано в самых современных учебниках эконометрики...

Еще раз повторюсь. Способ замены переменных и сведение задачи к линейной по параметрам описан в огромном количестве книг, почему нигде не указано, что это лишь приближенный метод расчета?

У кого-то из видных эконометристов описывается, как они строили модель экономики страны (кажется, это был Тейл, а страна Голландия, но присягать не стану). И его забавляло то, что на верхних этажах проходили семинары по матстатистике, в которых объяснялось, что одновременное регрессионное оценивание параметров эконометрической модели приводит к несостоятельным оценкам, а в подвале, где стоял компьютер, именно так параметры и оценивали, и участники проекта спускались по лестнице с высот чистой науки в бездну греха (потом придумали 2МНК и 3МНК, дававшие состоятельные оценки, но дело было в 1950х, и предпочитали дать неточный результат, чем дожидаться, пока придумают законный метод).

То, что при нелинейном преобразовании меняется спецификация ошибки - в книгах упоминается. Если в книге этого нет - это либо книга для очень начального уровня (и ожидается, что потом скажут подробности), либо достаточно продвинутая, и предполагается, что читатель это давно понял. Возможен также вариант специфики предметной области. Скажем, в модели Кобба-Дугласа $P=aK^{\alpha}L^{\beta}$ наличие неучтённых, помимо труда L и капитала K, факторов, влияющих на продукцию P, естественно для экономиста выразить через коэффициенты, на которые домножают, а не через прибавку чего-либо. Но это естественно приводит к спецификации ошибки, как домножения на логнормальную случайную величину, и логарифмирование не только низводит коэффициенты альфа и бета до уровня множителей, а произведение претворяя в сумму, но и ошибку делает нормальной величиной, так что линейная оценка совершенно законна. Наконец, и это скорее относимо к пособию по "подбору эмпирических формул", у нас собственно ошибка мала, основной вклад в подгонку вносит нелинейность зависимости, и неточная спецификация ошибки нам мало вредит.

Пользоваться нелинейным преобразованием допустимо, если мы понимаем, что этим меняем и чем рискуем.

[Red_Herring]

prof.uskov в сообщении #1159181 писал(а):

Е.С. Вентцель использует приближенный графический метод для решения задачи. С компьютерами тогда было туго. Но могла бы и намекнуть, что вот есть путь с заменой переменной. Не факт, что тот графический метод окажется лучше.

Е.С. Вентцель иллюстрирует графически. Вопрос однако другой: утверждаете ли Вы, что замена переменной y не меняет оптимального значения параметра(ов)?

Если утверждаете, то, пожалуйста, просчитайте для $y=e^{ax}, x_1=0, y_1=1, x_2=1, y_2=2$ и соответственно $z={ax}, x_1=0, z_1=0, x_2=1, z_2=\ln 2$.

Если не утверждаете, то разговора нет, и Ваши претензии к "невнимательным" автору, рецензентам и читателям неосновательны.

[prof.uskov]

Xaositect в сообщении #1159162 писал(а):

prof.uskov в сообщении #1159159 писал(а):

Тоже самое повторено в самых современных учебниках эконометрики...

Еще раз повторюсь. Способ замены переменных и сведение задачи к линейной описано в огромном количестве книг, почему нигде не указано, что это лишь приближенный метод расчета?

Во-первых, совсем не нигде. Вот, например, учебник Мхитаряна и др. "Эконометрика":


Во-вторых, в приложениях не всегда нужно именно оптимальное по среднеквадратичному отклонению значение. Иногда модель ошибки другая, а иногда вообще сойдет какое-нибудь достаточно хорошее значение.

Можно попросить Вас более точно указать книгу и стр.
Смотрю 2-х томник "Эконометрика" Айвазян, Мхитарян, не нахожу такой оговорки, Том 2, стр. 197 в выводах просто говорится: можете линеаризовать по параметрам путем преобразования - линеаризуйте, не можете, тогда оптимизируйте.

-- 12.10.2016, 15:57 --

Red_Herring в сообщении #1159183 писал(а):

prof.uskov в сообщении #1159181 писал(а):

Е.С. Вентцель использует приближенный графический метод для решения задачи. С компьютерами тогда было туго. Но могла бы и намекнуть, что вот есть путь с заменой переменной. Не факт, что тот графический метод окажется лучше.

Е.С. Вентцель иллюстрирует графически. Вопрос однако другой: утверждаете ли Вы, что замена переменной y не меняет оптимального значения параметра(ов)?

Если утверждаете, то, пожалуйста, просчитайте для $y=e^{ax}, x_1=0, y_1=1, x_2=1, y_2=2$ и соответственно $z={ax}, x_1=0, z_1=0, x_2=1, z_2=\ln 2$.

Если не утверждаете, то разговора нет, и Ваши претензии к "невнимательным" автору, рецензентам и читателям неосновательны.

Теперь понял, что с линеризирующими преобразованиями не так все просто, но вопрос почему я об этом раньше нигде не читал, почему нигде (в тех книгах, что видел я) это не указывалось явно? Не думаю, что всем авторам это так очевидно.

[Xaositect]

prof.uskov в сообщении #1159184 писал(а):

Можно попросить Вас более точно указать книгу и стр.

Мхитарян, Архипова, Балаш, Балаш, Дуброва, Сиротин "Эконометрика: Учебник" под ред. проф. В.С. Мхитаряна. Страница 184.

[GAA]

prof.uskov
За авторов говорить не берусь, но студенты это изучают на лабораторных работах. И при вдумчивом чтении приличного учебника "изменение распределения ошибок" --- очевидно.
_____________________________________

А вообще, что по теме известно содержательного?
У Вентцель туманное обоснование приводится в предположении нормального распределения ошибок измерений.

Пусть ошибки $\varepsilon_i$ независимы и одинаково распределены с нулевым ожиданием, нормальность не будем предполагать.

Если бы модель была линейной, например, $\eta_i=a \exp(x_i) + \varepsilon_i$ ($y =a\exp x$), то по теореме Гаусса — Маркова, оценка методом наименьших квадратов была бы несмещённой с минимальной дисперсией в классе всех линейных несмещённых оценок (см., например, в книге Ивченко Г.И., Медведев Ю.И. Математическая статистика. [upd] Статистикам меня ногами за ссылку не пинать. Мог бы сослаться на Закса, но смысл особого не вижу, а умный вид делать не хочется[/upd].)

Если линейности нет, что можно сказать, например, об оценке $\hat a$ методом наименьших квадратов параметра $a$ модели $\eta_i=\exp(a x_i) + \varepsilon_i$?
(Если доказательство утверждения громоздкое, то может быть можно привести ссылку? Интересны строгие формулировки и доказательства. "В книге говорится об асимптотической несмещенности, но доказательства нет" за такое не проходит. )

В каком смысле оценка $a^*$, полученная на основе преобразованных (при помощи логарифмирования) данных, хуже оценки $\hat a$ метода наименьших квадратов (имеет большее смещение, имеет большую квадратичную ошибку,…)?