2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение25.09.2016, 19:08 


25/09/16
8
Если вкратце: есть формула q = A + α*l + β*k
А (константа), α и β - неизвестные, определяемые с по методу наименьших квадратов.
Есть подозрение на мультиколлинераность между А и суммой α и β.
Хочу построить VIF для А. Но вопрос в том, как это сделать, если это константа? :?
Или чем еще измерить мультиколлинераность втаком случае?

Предистория такая:

Провожу исследование на тему производственных функций.
При теоретических копаниях в модели Кобба-Дугласа возник интересный момент: есть три неизвестные – константа А и степени α и β. Задачей параметра А является представлять собой «уровень технологии» и аккумулировать все внешние по отношению к модели влияния на индекс производства продукции. Задачей степеней α и β явлется измерение вклада каждого из факторов производства. В той версии модели Кобба-Дугласа, где сумма α и β не обязательно равна 1, степени α и β также начинают отражать «уровень технологии» (например, α + β > 1 - значит технология характеризется положительным эффектом масштаба).

Получается и константа А и степени α и β одновременно включают в себя «уровень технологии». Поскольку и то и то является объясняющими переменными в уравнении регрессии, налицо мультиколлинеарность.
Собственно вот. Теперь хочу измерить масштабы этой мультиколлинеарности рассчитав VIF(variance inflation factor). Но встала техническая проблема: как рассчитать VIF для константы. Есть практические предложения, коллеги?

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение25.09.2016, 19:42 
Заслуженный участник


05/08/14
1564
Grin_75 в сообщении #1154561 писал(а):
Есть подозрение на мультиколлинераность между А и суммой α и β.

Мультиколлинераность возможна между переменными, но никак между параметрами.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение27.09.2016, 16:03 


25/09/16
8
Да, согласен, неправильно сформулировал.
Мультиколлинеарность между переменными l и k и константой.
Но в результате А, α и β получаются смещенные.
Так вот меня конкретно интересует, как можно измерить степень этой мултиколлинеарности. Не только между l и k, а вместе с константой.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение27.09.2016, 19:13 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
"Мультиколлинеарность между переменной и константой" устраняется после вычитания из значения переменной её среднего. Что, собственно, рутинная вычислительная процедура.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение27.09.2016, 21:53 
Заслуженный участник


05/08/14
1564
Grin_75 в сообщении #1155167 писал(а):
Мультиколлинеарность между переменными l и k и константой.
Но в результате А, α и β получаются смещенные.

Мультиколлинеарность не может быть причиной смещения оценок, её результатом является большие ошибки оценок коэффициентов.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение28.09.2016, 22:03 


25/09/16
8
dsge в сообщении #1155254 писал(а):
Grin_75 в сообщении #1155167 писал(а):
Мультиколлинеарность между переменными l и k и константой.
Но в результате А, α и β получаются смещенные.

Мультиколлинеарность не может быть причиной смещения оценок, её результатом является большие ошибки оценок коэффициентов.


Вы правы. Не совсем правильно сформулировал. Но смысл в том, что оценки коэффициентов неточные, могут даже иметь другой знак.

-- 28.09.2016, 23:21 --

Евгений Машеров в сообщении #1155216 писал(а):
"Мультиколлинеарность между переменной и константой" устраняется после вычитания из значения переменной её среднего. Что, собственно, рутинная вычислительная процедура.


Евгений Машеров, спасибо за совет! Конкретно в этом случае это сделать проблематично, потому что я использую ф-цию Кобба-Дугласа, которая имеет конкретную форму. Получается, что видоизменять ее я могу очень ограничено, иначе это уже будет просто произвольное уравнение, а не функция Кобба-Дугласа.
Еще сложность в том, что мультиколлинеарность не между константой и переменными l и k по отдельности, а между константой и комбинацией переменных l и k. Как я писал, получается что и константа А, и сумма коэффициентов α + β одновременно представляют "уровень технологии" в уравнении. Коэффициенты α и β, взятые по отдельности, имеют другой смысл, а вот именно их сумма так сказать дублирует роль константы.

Я хотел вообще попробовать исключить константу из уравнения. Но чтобы это обосновать мне как раз и нужно как-то измерить степень мультиколлинеарности между константой и комбинацией переменных l и k.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение29.09.2016, 03:35 
Заслуженный участник


05/08/14
1564
Grin_75 в сообщении #1155542 писал(а):
Но смысл в том, что оценки коэффициентов неточные, могут даже иметь другой знак.

У констант (intercept) часто оценки неточные.
Если вы покажете картинки ваших данных, то будет легче представить как такое может быть.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение29.09.2016, 10:23 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Давайте определимся. Строгая мультиколлинеарность - это когда один из регрессоров принадлежит подпространству, натянутому на прочие (или, иначе, является линейной комбинацией прочих регрессоров). Тогда обращаем матрицу неполного ранга, и вычислительная катастрофа. Лечится удалением ненужных (представимых через другие) регрессоров. Куда более частая проблема - неполная мультиколлинеарность, когда ранг полный, точно ни один из регрессоров через прочие не выражается, но вот приближённо... Это приводит к тому, что ранг матрицы $X^TX$ хоть и полный, но некоторые её собственные значения малы, обратные к ним, соответственно, велики, и коэффициенты становятся огромными (при этом для обычных формул регрессионного анализа оценки несмещённые, и "огромность" за счёт роста дисперсии; часто уход от истинного значения одного коэффициента возмещается уходом другого в противоположную - несколько условный пример, модель зависимости доходов домохозяйства от числа жён и мужей в нём, в норме должно быть зарплата мужа на число мужей в совместно проживающих семьях+зарплата жены на число жён, но поскольку почти во всей выборке число жён и мужей совпадает, вместо 10000М+8000Ж получаем 1010000М-992000Ж)
Мерой мультиколлинеарности для данной переменной может быть угол между данной переменной и пространством, натянутым на прочие регрессоры (это простая мера, но не всегда самая полезная, названный VIF иная мера, ориентированная на ответ на вопрос о том, насколько выросла дисперсия оценки из-за мультиколлинеарности). То есть константа может породить мультиколлинеарность, если явно, в виде столбца единиц, включена в набор регрессоров. Однако это теоретически возможно, но на практике просто вычитают средние из регрессоров и регрессанда (зависимой переменной), потом считая свободный член отдельно, избавляясь так от подобного источника мультиколлинеарности.
Я осмелюсь предположить, что Ваша проблема отнюдь не в мультиколлинеарности. Ею Вы, подозреваю, хотите объяснить содержательно бессмысленное значение свободного члена. Но это скорее свидетельствует о неточной спецификации модели, чем о мультиколлинеарности.
Зависимость в реальности нелинейна (и даже конкретный вид нелинейности неизвестен). Линейное приближение основано на том, что зависимость принимается достаточно гладкой, так что можно разложить в ряд Тейлора и взять первый, линейный член
$f(x) \approx f(x_0)+f'(x)(x-x_0)=(f(x_0)-f'(x)(x-x_0))+f'(x)x=a+bx$
Понятно, что это работает вблизи точки $x_0$, и по мере отдаления приближение хуже.
Если зависимость нелинейна, и точка $x=0$ достаточно далека от области интереса, в которой лежат наблюдения, то и значение производной в этой точке совершенно иное, первое слагаемое, свободный член, физического смысла не имеет, а только "уравнивание". И интерпретировать его значения бессмысленно. Он чисто подгоночная величина.
Модель производственной функции, очевидно, нелинейна. Причём, даже если Вы работаете с Коббом-Дугласом, где есть нелинейности вида $P=AK^\alpha L^\beta$, приводимые к линейному виду логарифмированием, ясно, что это лишь приближение к действительной, в точности нам неизвестной зависимости.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение30.09.2016, 01:27 


25/09/16
8
dsge,
Вот мои исходные данные:
Изображение
Вот какие получаются коэффициенты регрессии, R квадрат, Т- и F-статистика:
Изображение
Изначально ф-ция Кобба-Дугласа имеет форму $q = A \cdot l^a \cdot k^\beta$
Для оценки по МНК я ее логарифмирую, она становится q' = A + α*l' + β*k'. Значения q', l' и k' это натуральные логарифмы q, l и k соответственно, которые в свою очередь являются темпами роста ВВП, количества занятых и капитала по отношению к базисному году. Поэтому чтобы получить константу для первого уравнения ( $q = A \cdot l^a \cdot k^\beta$), я возвожу е, основание натурального логарифма, в степень равную значению константы по результатам получения МНК (a0' в моих обозначениях на картинках)

Видно, что R квадрат большой, F-статистика тоже, но при этом Т-статистика коэффициента ß говорит о его стат. незначимости.
Если смотреть на коэффициенты с точки зрения теории, то тоже есть проблемы, т.к. они не должны быть слишком близки к 0 (как ß и А)

Евгений Машеров,
Евгений Машеров в сообщении #1155635 писал(а):
Это приводит к тому, что ранг матрицы $X^TX$ хоть и полный, но некоторые её собственные значения малы, обратные к ним, соответственно, велики, и коэффициенты становятся огромными (при этом для обычных формул регрессионного анализа оценки несмещённые, и "огромность" за счёт роста дисперсии; часто уход от истинного значения одного коэффициента возмещается уходом другого в противоположную - несколько условный пример, модель зависимости доходов домохозяйства от числа жён и мужей в нём, в норме должно быть зарплата мужа на число мужей в совместно проживающих семьях+зарплата жены на число жён, но поскольку почти во всей выборке число жён и мужей совпадает, вместо 10000М+8000Ж получаем 1010000М-992000Ж)

Именно это я имел в виду. Если смотреть на мои результаты с точки зрения теории, то видно, что именно такая картина и получается.
Евгений Машеров в сообщении #1155635 писал(а):
Я осмелюсь предположить, что Ваша проблема отнюдь не в мультиколлинеарности. Ею Вы, подозреваю, хотите объяснить содержательно бессмысленное значение свободного члена.

Не совсем. Константа А, и сумма коэффициентов a и ß одновременно представляют "уровень технологии" в уравнении. Но у константы также есть другое смысловое содержание - она представляет все другие влияющие факторы, не включенные в модель явно. Вопрос в том, больше вреда (за счет создания мултиколлинеарности) или пользы (за счет представления других факторов) она приносит. Поэтому собственно стоит задача именно измерения степени мультиколлинеарности в первую очередь.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение30.09.2016, 12:42 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Проблема тут из-за того, что данные у Вас - временные ряды, и оба ряда, для Капитала и Труда, сильно корелированы.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение30.09.2016, 14:32 


25/09/16
8
Евгений Машеров в сообщении #1155967 писал(а):
Проблема тут из-за того, что данные у Вас - временные ряды, и оба ряда, для Капитала и Труда, сильно корелированы.

Этого не отнять, оба показателя реагируют в одинаковом направлении на на спады и подъемы в экономике.

Я также рассчитывал коэффициенты по формуле без константы (q' = α*l' + β*k') и с точки зрения эконом.теории коэффициенты выглядели намного лучше. R квадрат также большой, но зато нету статистически незначимых коэффициентов.
Причем аналогичные расчеты я делал для 10 стран. При использовании формулы с константой статистическая незначимость коэффициентов встречается часто. При использовании формулы без константы - ни разу. Раз l' и k' и там , и там одинаковые, значит дело все таки в больше в константе, чем в корреляции между l' и k'.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение30.09.2016, 14:42 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Да, и ещё вопрос. В чём измеряем? И если L можно мерять в числе занятых, или в отработанном времени, это небольшая поправка на среднюю длину рабочего дня и среднее число рабочих дней в году, то K может быть book value или capitalization value (бухгалтерская стоимость активов и суммарная стоимость акций, соответственно), и разница может быть в разы. Впрочем, и для продукции надо точно определить, чем меряем.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение30.09.2016, 17:13 
Заслуженный участник


05/08/14
1564
Данные, очевидно нестационарные. Технологический прогресс в моделях обычно учитывается как $Ae^{b\cdot t}$, после логарифмирования получится линейный тренд. Добавьте его в регрессию.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение30.09.2016, 18:33 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Не думаю, что это улучшит ситуацию. Добавление ещё одной переменной, сильно коррелированной с имеющимися, ещё более усилит мультиколлинеарность.

 Профиль  
                  
 
 Re: Мультиколлинеарность в модели Кобба-Дугласа / расчет VIF
Сообщение30.09.2016, 22:08 


25/09/16
8
Евгений Машеров в сообщении #1156009 писал(а):
Да, и ещё вопрос. В чём измеряем?

Все три переменные представлены как базисные индексы, т.е. темп роста соответствующего показателя к базисному году. Теоретически можно измерять и в абсолютных значениях, но тогда коэффициенты будут иметь совсем другие величины. Тогда не будет сопоставимости с другими исследованиями, а это в моем случае необходимо.
dsge в сообщении #1156069 писал(а):
Данные, очевидно нестационарные. Технологический прогресс в моделях обычно учитывается как $Ae^{b\cdot t}$, после логарифмирования получится линейный тренд. Добавьте его в регрессию.


Да, там присутствует тренд. Просто устранить тренд, скажем взятием первых разностей, нельзя, потому что во-первых получится произвольная регрессия, а не ф-ция Кобба-Дугласа, а во-вторых будет проблема с содержательной интерпретацией коэффициентов. В том виде формулы, как сейчас, их можно интерпретировать, как вклад роста соотв. производственного фактора в рост производимой продукции.

Технологический прогресс я собирался добавлять в модель, но на следующем этапе исследования (опять же, т.к. нужно вначале получить результаты, сопоставимые с другими исследованиями). А сейчас нужно именно установить степень мултиколлинеарности.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 20 ]  На страницу 1, 2  След.

Модераторы: zhoraster, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group