Люди, порой, не видят очевидные вещи [нелин. аппроксимация]

[Евгений Машеров]

prof.uskov в сообщении #1159587 писал(а):

На счет быстрее считать и лучше оптимизировать при современной вычислительной технике неактуально.
На счет проверять гипотезы, это да. Но цель-то в получении хороших моделей, а не красивого математического обоснования.
Исследователь сам не выбирает ошибку, какая досталась, с такой и работает, иметь нормальную - большое везение.

Главное преимущество линейных моделей - однозначность решения. В общем случае есть шанс застрять на локальном оптимуме. Скорость расчётов - для единичного решения небольшой задачи может быть и неважно. Но есть реальные задачи действительно большой размерности, и есть задачи размерности умеренной, только вот решать их надо многократно, иногда и в реальном времени.
Что до выбора нормального распределения в качестве спецификации ошибки - да, тут есть нечто от "поиска под фонарём", но "не под фонарём" точно ничего не отыщется.

[prof.uskov]

dsge в сообщении #1159563 писал(а):

--mS-- в сообщении #1159478 писал(а):

Наверное, Вы хотели сказать, что ОМНК будет эффективной среди линейных оценок, а не линейных моделей регрессии, но это абсолютно разные вещи.

Конечно оценок.

А подскажите, пожалуйста, а какие еще существуют ЛИНЕЙНЫЕ оценки параметров модели кроме МНК (среднее арифметическое не предлагать. :))

-- 14.10.2016, 11:34 --

Евгений Машеров в сообщении #1159182 писал(а):

Возможен также вариант специфики предметной области. Скажем, в модели Кобба-Дугласа $P=aK^{\alpha}L^{\beta}$ наличие неучтённых, помимо труда L и капитала K, факторов, влияющих на продукцию P, естественно для экономиста выразить через коэффициенты, на которые домножают, а не через прибавку чего-либо. Но это естественно приводит к спецификации ошибки, как домножения на логнормальную случайную величину, и логарифмирование не только низводит коэффициенты альфа и бета до уровня множителей, а произведение претворяя в сумму, но и ошибку делает нормальной величиной, так что линейная оценка совершенно законна.

Вот здесь не совсем понял. Выписал оптимизационную задачу МНК модели Кобба-Дугласа и линеаризованной модели с помощью логарифмирования. Задачи оптимизации разные. Почему Вы считаете, что здесь использовать линеаризующее логарифмическое преобразование корректно?

[Евгений Машеров]

Потому, что в задаче построения производственной функции (исходя не из чисто статистических соображений) неучтённые факторы, которых мы чохом записываем в "ошибку", действуют мультипликативно (увеличивают/уменьшают на nn%). Это делает разумным предположение о том, что их можно моделировать случайной величиной с логарифмически нормальным законом распределения (тут есть выбор - из общих соображений можно предположить, что у нас величина, принимающая положительные значения, у неё есть единственная мода, и её плотность вероятности стремится к нулю и для нулевых, и для бесконечных значений, и априори сказать, что логнормальное лучше гаммы, например, нельзя; но логнормальное это "фонарь, под которым проще искать", логарифмирование его приводит к нормальному, а "этот чайник уже на огне"). Останавливаться на предположении нельзя, но можно, взяв его, как рабочее, затем исследовать отклонения и проверить гипотезу, что оно таково, какое выбрали. Если она не отвергается, то рабочее предположение превращается в "общепринятое", и дальнейшее изменение только если обнаруживаются факты, ему противоречащие. В данном случае логарифмирование не только сводит задачу к линейной, но и нормализует распределение, и выравнивает дисперсию (без него наблюдения, в которых величина P велика, при одних и тех же отклонениях неучтённых факторов будут иметь большие отклонения от модели).
Но если, скажем, у нас некая физическая задача, описываемая тем же $P=aK^{\alpha}L^{\beta}$, но отклонения у нас не оттого, что есть неучтённые моделью факторы, а оттого, что величина P измеряется с ошибкой, и дисперсия ошибки (обусловленная, например, дискретностью измерительной шкалы) постоянна, логарифмирование, сведя к линейности, порушит и распределение ошибки, и постоянство дисперсии.

[dsge]

prof.uskov в сообщении #1159662 писал(а):

А подскажите, пожалуйста, а какие еще существуют ЛИНЕЙНЫЕ оценки параметров модели кроме МНК (среднее арифметическое не предлагать.

Среднее арифметическое как раз является примером МНК в специфической ситуации. Другие примеры - среднее арифметическое максимального и минимального значений для оценки среднего, любая взвешенная сумма наблюдений. Различные обобщения МНК - взвешенный МНК, 2-х шаговый и 3-х шаговый МНК, обобщенный МНК.

[GAA]

prof.uskov в сообщении #1159156 писал(а):

Смотрю другие книжки по регрессионному анализу, там тоже самое. Например, Ферстер и Ренц таким образом разделались с формулой Кобба-Дугласа путем логарифмирования сведя к линейной по параметрам регрессии.
И нет ни слова о том, что это приближение!!!!

В книге Фёрстер Э., Рёнц Б. Методы корреляционного и регрессионного анализа, 1983 на страницах 148–150 написано:

Цитата:

В экономике довольно часто встречаются регрессионные зависимости, нелинейные относительно оцениваемых параметров. Использование этого класса регрессий связано с вычислительными трудностями, так как указанные регрессии не допускают непосредственного применения обычного метода наименьших квадратов. Для того чтобы сделать это возможным, исходные данные подвергают преобразованиям, главное назначение которых в линеаризации рассматриваемых зависимостей по оцениваемым параметрам.
…
Итак, некоторые функции с помощью преобразования переменных поддаются линеаризации относительно своих параметров. Параметры регрессии исходных функций находят путем обратных преобразований… Линеаризация связей даёт возможность применять для нахождения оценок параметров метод наименьших квадратов. Но полученные оценки параметров исходных функций могут не обладать свойствами МНК-оценок. Разработаны способы уточнения этих оценок...

-- Сб 15.10.2016 03:44:18 --

dsge в сообщении #1159857 писал(а):

среднее арифметическое максимального и минимального значений для оценки среднего

Нет. Это из доказательства теоремы Гаусса — Маркова вроде бы хорошо видно.

Если бы это было правильно, то получили бы такой «парадокс». Пусть

$\eta_i = a + \varepsilon_i,$

где $\varepsilon_i$ — независимые одинаково равномерно распределённые случайные величины с нулевым математическим ожиданием. МНК-оценка $a$ — выборочное среднее.
Среднее арифметическое максимального и минимального — обладает меньшей дисперсией, чем МНК-оценка.

-- Сб 15.10.2016 04:08:00 --

dsge, Вам с точностью до обозначения (в модели) и распределения $\varepsilon_i$ уже приводился участником --mS-- в этой ветке тот же пример: post1159478.html#p1159478

[Евгений Машеров]

А вот для оценки параметра положения a для величины, равномерно распределённой $U(a-1,a+1)$ не будет "середина размаха" оценкой, лучшей среднего арифметического?

[GAA]

Евгений Машеров, ответ на Ваш вопрос в моём предыдущем сообщении. Я его писал ночью. Но, и перечитав, не вижу ошибки. Возможно проблемы со знанием русского языка. Уточните, пожалуйста, вопрос.

[Евгений Машеров]

Не, не подвёл меня мой склероз. Для равномерного распределения полусумма максимума и минимума (середина размаха или midrange) оценка лучшая, чем среднее арифметическое.

[dsge]

GAA в сообщении #1159908 писал(а):

Нет. Это из доказательства теоремы Гаусса — Маркова вроде бы хорошо видно.

Да, ещё лучше видно из нелинейности функций max и min, оценка не будет линейной.

[GAA]

Конечно, но я уж не знал, что и написать. :)
[Более того, $(\eta_{(min)}+ \eta_{(max)})/2$ не может возникнуть в линейной модели в качестве решения системы нормальных уравнений.]

Поэтому несмотря на то, что обе оценки несмещённые и дисперсия $(\eta_{(min)}+ \eta_{(max)})/2$ меньше дисперсии ОММК, противоречия с теоремой Гаусса — Маркова нет.

Вообще говоря, мы сильно уклонились от темы в сторону вопросов стандартных курсов МС.
Мне тоже интересны результаты и ссылки на литературу для нелинейного случая.
Может специалисты заглянут в тему и подбросят.

[prof.uskov]

GAA в сообщении #1159908 писал(а):

prof.uskov в сообщении #1159156 писал(а):

Смотрю другие книжки по регрессионному анализу, там тоже самое. Например, Ферстер и Ренц таким образом разделались с формулой Кобба-Дугласа путем логарифмирования сведя к линейной по параметрам регрессии.
И нет ни слова о том, что это приближение!!!!

В книге Фёрстер Э., Рёнц Б. Методы корреляционного и регрессионного анализа, 1983 на страницах 148–150 написано:

Цитата:

В экономике довольно часто встречаются регрессионные зависимости, нелинейные относительно оцениваемых параметров. Использование этого класса регрессий связано с вычислительными трудностями, так как указанные регрессии не допускают непосредственного применения обычного метода наименьших квадратов. Для того чтобы сделать это возможным, исходные данные подвергают преобразованиям, главное назначение которых в линеаризации рассматриваемых зависимостей по оцениваемым параметрам.
…
Итак, некоторые функции с помощью преобразования переменных поддаются линеаризации относительно своих параметров. Параметры регрессии исходных функций находят путем обратных преобразований… Линеаризация связей даёт возможность применять для нахождения оценок параметров метод наименьших квадратов. Но полученные оценки параметров исходных функций могут не обладать свойствами МНК-оценок. Разработаны способы уточнения этих оценок...

Там еще продолжение есть

Цитата:

Но мы не будем подробно это обсуждать и отсылаем заинтересованного читателя к специальной литературе.
Для наглядности наиболее часто встречающиеся в экономике нелинейные функции второго класса предсталены в табл. 10...

Очень туманные намеки: "могут не обладать..." - а могут обладать.... при этом даже не сказано какими свойствами МНК-оценок могут не обладать... читатель должен догадаться, что строго говоря, никакими, причем, почти всегда!
"Разработаны способы уточнения этих оценок" - где, кем, когда, как?
"отсылаем заинтересованного читателя к специальной литературе" - и где та литература?
"Для наглядности наиболее часто встречающиеся в экономике нелинейные функции..." - так, значит, авторы, все же, рекомендуют использовать линеаризацию, но как проверить полученные таким способом оценки?

[GAA]

prof.uskov, для меня написанного в этой книге достаточно, чтобы задуматься и начать проверять или искать другие книги. На этом форуме уже дано давалась ссылка на книгу Демиденко Е. З. Линейная и нелинейная регрессия. (А на других форумах ещё раньше.) Всегда можно посмотреть широко известные книги для начала.
У меня винт умер со всей библиографией, в том числе по этому вопросу, и я очень давно не слежу за этой тематикой. Тут я не помогу. (Точно помню, что даже на русском было несколько относительно новых книг. Но ни авторов, ни названия не помню.)

GAA в сообщении #1159948 писал(а):

Может специалисты заглянут в тему и подбросят.

[prof.uskov]

GAA в сообщении #1160004 писал(а):

prof.uskov, для меня написанного в этой книге достаточно, чтобы задуматься и начать проверять или искать другие книги. На этом форуме уже дано давалась ссылка на книгу Демиденко Е. З. Линейная и нелинейная регрессия.

prof.uskov в сообщении #1159547 писал(а):

См. Демиденко "Линейная и нелинейная регрессия" http://www.twirpx.com/file/244620/

Мной и приводилась. Там вопросы линеаризующего преобразования не рассматриваются. :)

[Евгений Машеров]

Указать одну книгу, или хотя бы 2-3, в которых всё нужное, я не могу. Не бывает. Есть начальные, в которых многое опущено, просто потому, что студент всего сразу не усвоит, есть высокотеоретические, начинающиеся с "положим, что тело человека имеет форму шара" (а шить надо на реального), и дающие свойства оптимальности в сделанных предположениях, есть отражающие опыт частной области знания. В принципе, надо начать с начальных, потом подняться на высоту теории, а потом разобраться, какие теоретические допущения работают в данной области вполне, какие на уровне "рабочего допущения" и надо "подгонять по месту", а какие не выполняются, и не выполняются самым неприятным образом.
Есть прекрасная книга Себера, но русское издание не совсем новое, однако есть английское, существенно поновее. Есть двухтомник Дрейпера и Смита, есть Вучков. Кое-что полезное, при изрядной устарелости части материала, можно найти у Езекиэла и Фокса.
А множество ценных указаний надо выискивать по журналам. "Эконометрика", "Технометрика", "Биометрика", "Журнал Американской Статистической Ассоциации", смотря какая предметная область.

[dsge]

prof.uskov
Будет проще давать советы, если вы раскроете некоторые подробности вашей проблемы, как-то: размер выборки, описательные статистики, визуальное представление данных, гистограммы, предполагаемые (теоретические) функциональная зависимость и распределение ошибок и т.п.