Регрессионная модель Султонова (РМС)

[yosuf]

Хочу представить Вам для обсуждения регрессионную модель, которая расширяет метод наименьших квадратов Гаусса (МНК) в нелинейную область.
РМС поможет исследователям в поиске закономерностей, которые могут быть в исходном ряде чисел, примерно так-же как огромный вклад вносит МНК, в случае поиска линейных закономерностей, а РМС значительно расширяет этот популярный метод в нелинейную область.
Надеюсь в ходе обсуждения, поддержки и/или конструктивной критики, практики получат новый мощный метод анализа фактических данных на предмет поиска закономерностей в исходном ряде чисел, подобный МНК Гусса, но охватывающий и нелинейную область.
Буду признателен помощи, советам, замечаниям и конструктивной критике со стороны участников форума.
РМС имеет следующий вид:

$$y=a+b\Gamma(\frac x t;n+1;1;1),$$

где:
$\Gamma(\frac x t;n+1;1;1)$ - интегральная функция Гамма-распаределения Эйлера;
$a, b$ - постоянные коэффициенты;
$\frac x t, n+1$ - параметры интегральной функции Гамма- распределения Эйлера.
Способы определения коэффициентов РМС и параметров Гамма-распределения приведены в статье http://www.mql5.com/ru/articles/250.
Описание метода:
Если имеется массив исходных данных $y$ в зависимости от соответствующих значений переменной $x$ в количестве не менее 3-х пар значений, то определив коэффициенты и параметры, указанным в статье способом, можно получить регрессионное уравнение в вышеприведенном виде, описывающее поведение функции $y$ в зависимости от переменной $x$.
Допустим. имеются $k$ пар исходных значений $y$ при соответствующих значениях $x$.
Определяем параметры $n$, $t$ Гамма-распределения и коэффициенты $a$, $b$ РМС полученными и предложенными мною способами и впервые опубликованные в вышеуказанной статье в виде соотношений (12-17). Сама РМС приведена в виде формулы (18).
Здесь http://forum.mql4.com/ru/50108 приведены конкретные примеры описания с помощью РМС линейной и тригонометрической зависимостей (на примере тангенса). Здесь http://forum.mql4.com/ru/50108/page3 показаны как охватывает РМС квадратичную и гиперболическую зависимости, а здесь http://forum.mql4.com/ru/50108/page20 - экспоненциальную зависимость.
В настоящее время РМС применяется в теле различных индикаторов финансовых рынков с целью описания истории и возможного прогнозирования поведения временного ряда в будущем http://codebase.mql4.com/ru/7638, http://forum.mql4.com/ru/38834.
Однако, на практике редко встречаются случаи, когда процесс описывается функцией определенного вида с одним переменным. Чаще имеем дело с осложненными ситуациями, когда изучаемый объект описывается нелинейной и/или неизвестной закономерностью в зависимости от множества, порой трудно учитываемых и труднооцениваемых, переменных.
Рассмотрим, в качестве примера, динамику изменения количества населения Республики Таджикистан за 1991-2010 гг. (тыс. чел.) и попробуем найти эту закономерность с помощью РМС и линейной зависимости. Результаты приведены в таблице:

годы    x      y        РМС     ЛР
1991    0   5505,6    5505,6   5279,6
1992    1   5567,2    5535,7   5397,7
1993    2   5579,7    5588,2   5515,8
1994    3   5633,8    5654,7   5633,9 
1995    4   5701,4    5732,2   5752,1
1996    5   5769,1    5819,1   5870,2
1997    6   5875,8    5914,2   5988,3
1998    7   6001,3    6016,7   6106,4
1999    8   6126,7    6125,9   6224,5
2000    9   6250,0    6241,4   6342,6
2001   10   6375,5    6362,7   6460,7
2002   11   6506,5    6489,4   6578,8
2003   12   6640,0    6621,3   6696,9
2004   13   6780,4    6758,1   6815,0
2005   14   6920,3    6899,5   6933,1
2006   15   7063,8    7045,4   7051,2
2007   16   7215,7    7195,5   7169,3
2008   17   7373,8    7349,6   7287,4
2009   18   7529,6    7507,7   7405,5
2010   19   7616,4    7669,5   7523,6
          128032,6  128032,6 128032,6

Получены следующие уравнения регрессии:

$$y=5505.6+339229.1\Gamma( x /501.1;0.4594+1;1;1)$$

при относительной ошибке 0,40%;

$$y=5279.6+118.1x$$

при относительной ошибке 1,52%.
Изменение ВВП республики за период с 2004-2010г.г. (в млн. сомони) можно выразить следующими зависимостями с помощью РМС и линейной модели:

годы    x      y        РМС     ЛР
2004   0   6167,2    6167,2     4347,5
2005   1   7206,6    7165,8     7591,4
2006   2   9335,2    9669,3    10835,2
2007   3  12804,4   13058,2    14079,1
2008   4  17706,9   16888,4    17322,9
2009   5  20628,5   20853,7    20566,8
2010   6  24704,7   24750,9    23810,6
          98553,5   98553,5    98553,5

$$y=6167,2+48924,9\Gamma( x /4,493;1,019+1;1;1)$$

при относительной ошибке 2,58%;

$$y=4347,5+3243,9x$$

при относительной ошибке 7,84%.
Цель обсуждения РМС на форуме:
1. Обсудить математические аспекты предложенной регрессионной модели с целью выявления ее потенциальных возможностей;
2. Выявить недостатки РМС, если таковые имеются;
3. Рассмотреть примененный в РМС аналитический способ оценки параметров Гамма-распределения вместо применяемых в настоящее время численных методов их оценки, например, методом моментов и/или максимального правдоподобия;
4. Способствовать распрстранению РМС среди исследователей в различных областях науки, включая статистические технологии.
Буду признателен любым замечаниям, предложениям и пожеланиям.

[Александрович]

yosuf в сообщении #597423 писал(а):

РМС поможет исследователям в поиски закономерностей, которые могут быть в исходном ряде чисел, примерно так-же как огромный вклад вносит МНК в случае поиска линейных закономерностей, а РМС значительно расширяет этот популярный метод в нелинейную область.

МНК работает и в нелинейной области.

[yosuf]

Александрович в сообщении #597424 писал(а):

yosuf в сообщении #597423 писал(а):

РМС поможет исследователям в поиски закономерностей, которые могут быть в исходном ряде чисел, примерно так-же как огромный вклад вносит МНК в случае поиска линейных закономерностей, а РМС значительно расширяет этот популярный метод в нелинейную область.

МНК работает и в нелинейной области.

Данные сначала необходимо линеаризовать, прежде, чем применять МНК. Например, чтобы обрабать данные МНК, подчиняющиеся зависимости $y=a+b/x$, необходимо предварительно обозначить $t=1/x$ и определять $a$ и $b$ из полученного линейного уравнения.

[Александрович]

yosuf в сообщении #597426 писал(а):

Данные сначала необходимо линеаризовать, преже, чем применять МНК.

Необязательно. Параболу как-то приближают.

[yosuf]

Александрович в сообщении #597427 писал(а):

yosuf в сообщении #597426 писал(а):

Данные сначала необходимо линеаризовать, преже, чем применять МНК.

Необязательно. Параболу как-то приближают.

Покажите на вышеприведенном примере гиперболы или экспоненциальной зависимости. Зачем как-то, когда есть, теперь, точный метод?

[Александрович]

yosuf в сообщении #597429 писал(а):

Покажите на вышеприведенном примере гиперболы ...

В вышеприведённом примере вообще-то была парабола.

yosuf в сообщении #597429 писал(а):

Покажите... Зачем как-то, когда есть, теперь, точный метод?

Вы предлагаете, вы и должны показать.
Как-то нечто подобное я уже где-то встречал. Там вам дали конкретную регрессию и вы почему-то заткнулись. Тема называлась что-то типа про универсальную регрессию.

[AKM]

Тема перемещена из форума «Дискуссионные темы (М)» в форум «Карантин»
по следующим причинам: неправильный набор формул.
Здесь рассказано, как набирать формулы (здесь подробнее).

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

-- 21 июл 2012, 10:38 --

См. также раздел III.3 Правил (о Дискуссионных темах). В стартовом сообщении нет и намёка на оисание метода/модели.

[AKM]

Ваше "краткое описание нынешнего состояния проблемы..." здесь никому не нужно. Тем более что оно, видимо, отражает лишь личный опыт (или опыт финансистов --- не знаю):

yosuf в сообщении #597423 писал(а):

1. Строят графическую зависимость $y$ от $x$...
5. В случае обнаружения нелинейной зависимости, производят процесс линеаризации путем замены переменных

А мои коллеги-физики так не делают.
Каждый, кто соберётся обсудить Ваш метод, знает, как пользоваться "нынешним" регрессионным анализом.
Равным образом понятны и цели публикации на форуме.

yosuf в сообщении #597423 писал(а):

Если имеется массив исходных данных $y$ в зависимости от соответствующих значений переменной $x$ в количестве не менее 3-х пар значений, то определив коэффициенты и параметры, указанным в статье способом, можно получить регрессионное уравнение в вышеприведенном виде, описывающее поведение функции $y$ в зависимости от переменной $x$.

Это единственное, о чём надо понятно рассказать (оптимизируя подробности).
Возможно, стоит привести простой пример, типа как поступать для $y=kx+b$. Читатель должен понять, туфта это или не туфта, стоит ли ему идти по ссылке. Тем более что Ваша статья заточена на финансистов (а счастье Вы обещали, насколько я помню, всем, даже физикам) и написана крайне неаккуратно.

yosuf в сообщении #597423 писал(а):

В случае приминения РМС в произведении описанных этапов предварительного анализа данных нет необходимости и поиск возможной закономерности осуществляется путем подстановки исходных данных в уже существующую регрессионную модель.

Не надо рекламы: продемонстрируйте это здесь. Таковы правила и принципы этого форума. Сообщение должно быть самодостаточным (пример).

yosuf в сообщении #597423 писал(а):

...с последующим примИнением МНК...
В случае примИнения РМС...
В настоящее время РМС примЕняется

Предлагаю для единообразия выбрать какой-нибудь один вариант написания.

[AKM]

Тема перемещена из форума «Карантин» в форум «Дискуссионные темы (М)»
Причина переноса: устал бодаться.

[Sonic86]

(Александрович)

Александрович в сообщении #597430 писал(а):

Как-то нечто подобное я уже где-то встречал. Там вам дали конкретную регрессию и вы почему-то заткнулись. Тема называлась что-то типа про универсальную регрессию.

Это было тут. Здесь автор ничего не говорит об универсальности.

[Евгений Машеров]

0. Метод наименьших квадратов вполне себе работает с нелинейными моделями. МНК, строго говоря, это критерий качества приближения. Однако для случая линейной модели его применение особо легко и просто, поскольку единственность экстремума легко показывается (ну, разумеется, мультиколлинеарность надо оговорить особо), производные получаются линейными функциями от параметров и решение сводится к решению СЛАУ. В случае нелинейной модели надо решать оптимизационную задачу общего вида, и возможно застревание на локальных экстремумах. Поэтому линеаризация дело почтенное и востребованное. Встречал я три подхода (не уверен, что есть ещё, но вдруг...):
1. Нелинейное преобразование регрессоров и регрессанда, например, переход к обратным величинам, логарифмам и пр. Логарифмирование используется, например, при оценке параметров производственной функции Кобба-Дугласа $P=aK^{\alpha}L^{\beta}$, а арксинус от корня квадратного - при анализе "доли успехов" (в последнем случае, впрочем, основная цель этого преобразования - стабилизация дисперсии и приближении распределения к нормальному, как и при применении преобразования Фишера к коэффициентам корреляции; однако такая цель ставится, как правило, и там, где основной смысл нелинейного преобразования - сведение к линейной модели). Если преобразование не имеет параметров или они оцениваются не по этой выборке данных, а задаются априори, задача сведена к линейной. Если же останутся существенно нелинейные параметры - то это общая задачаю
2. Добавление новых регрессоров (в простейшем случае - полиномов от существующего регрессора). Обусловленность ухудшается (отчасти это профилактируют, используя ортогональные полиномы), причём добавление совершенно не связано с сутью задачи и можно получить прекрасную подгонку при совершенно нереалистичном прогнозе (полином 4-го порядка, который в конце 30-х подогнали к данным о населении США, получив, что вымрет страна к 1968 - разумеется, это было приведено, как образец некорректного использования). Добавлялись и другие нелинейные функции от регрессоров.
3. Сведение нелинейной задачи к последовательности линейных. Принимаются начальные значения параметров, в окрестности этой точки функция разлагается в ряд, берутся первые члены разложения (использующие производные первого порядка) и решается вспомогательная линейная регрессия, параметры которой - поправки к значениям параметров модели. Есть популярные вычислительные схемы (метод Левенберга-Марквардта и пр.).
4. Описанная в ветке процедура сводится к первому подходу при условии, что оценена параметры n и t. Однако процедура их оценки из приведенной статьи не вполне ясна.

[Алексей К.]

Евгений Машеров,

Вы, подозреваю, не заметили, что у автора очень примитивное представление об МНК, основанное, похоже, на типовых примерах из методичек для студентов. Он, в частности, считает задачу $y=a+b/x$ нелинейной МНК-задачей, а под линеаризацией понимает замену $t=1/x$. После чего в его понимании задача становится линейной. А Вы тут распинаетесь...

Оно, конечно, было бы простительно, и человека можно бы и научить, но когда он с высоты своего незнания пишет с умным видом слова вроде

Цитата:

этот замечательный метод обладает существенным недостатком - плохо или совсем неудовлетворительно работает, если зависимость неизвестна и нелинейна

то... как-то по-другому это смотрится.

Возможно, автора темы удивит, что задача построения прямой, ближайшей (по сумме квадратов отклонений) к заданному множеству точек на плоскости --- нелинейная задача, имеющая весьма изящное решение. Студентам её, к сожалению, не рассказывают.

Ещё пример нелинейной задачи --- $y=a\sin(b x)$.
А $y=a+bx+\frac{c}x+d\sin x+e\sqrt{x}$ --- вполне себе линейно.

[Евгений Машеров]

Ну, я исхожу из того, что несколько слов пропущено. Есть нелинейные по регрессорам постановки, к ним можно, в частности, отнести y=a+b/x, а есть нелинейные по параметрам. Так что грубой ошибки у него не вижу, а вижу умолчание.

[yosuf]

Евгений Машеров в сообщении #599473 писал(а):

0. Метод наименьших квадратов вполне себе работает с нелинейными моделями. МНК, строго говоря, это критерий качества приближения. Однако для случая линейной модели его применение особо легко и просто, поскольку единственность экстремума легко показывается (ну, разумеется, мультиколлинеарность надо оговорить особо), производные получаются линейными функциями от параметров и решение сводится к решению СЛАУ. В случае нелинейной модели надо решать оптимизационную задачу общего вида, и возможно застревание на локальных экстремумах. Поэтому линеаризация дело почтенное и востребованное. Встречал я три подхода (не уверен, что есть ещё, но вдруг...):
1. Нелинейное преобразование регрессоров и регрессанда, например, переход к обратным величинам, логарифмам и пр. Логарифмирование используется, например, при оценке параметров производственной функции Кобба-Дугласа $P=aK^{\alpha}L^{\beta}$, а арксинус от корня квадратного - при анализе "доли успехов" (в последнем случае, впрочем, основная цель этого преобразования - стабилизация дисперсии и приближении распределения к нормальному, как и при применении преобразования Фишера к коэффициентам корреляции; однако такая цель ставится, как правило, и там, где основной смысл нелинейного преобразования - сведение к линейной модели). Если преобразование не имеет параметров или они оцениваются не по этой выборке данных, а задаются априори, задача сведена к линейной. Если же останутся существенно нелинейные параметры - то это общая задачаю
2. Добавление новых регрессоров (в простейшем случае - полиномов от существующего регрессора). Обусловленность ухудшается (отчасти это профилактируют, используя ортогональные полиномы), причём добавление совершенно не связано с сутью задачи и можно получить прекрасную подгонку при совершенно нереалистичном прогнозе (полином 4-го порядка, который в конце 30-х подогнали к данным о населении США, получив, что вымрет страна к 1968 - разумеется, это было приведено, как образец некорректного использования). Добавлялись и другие нелинейные функции от регрессоров.
3. Сведение нелинейной задачи к последовательности линейных. Принимаются начальные значения параметров, в окрестности этой точки функция разлагается в ряд, берутся первые члены разложения (использующие производные первого порядка) и решается вспомогательная линейная регрессия, параметры которой - поправки к значениям параметров модели. Есть популярные вычислительные схемы (метод Левенберга-Марквардта и пр.).
4. Описанная в ветке процедура сводится к первому подходу при условии, что оценена параметры n и t. Однако процедура их оценки из приведенной статьи не вполне ясна.

Поясняю процедуру оценки параметров $n$ и $t$, примененная в статье, куда и дается ссылка:
Определяются:
1. разности $y$ и $x$, указанными в статье, способами;
2. логарифмы соответствующих величин;
3. 8 сумм в виде $S_1$ - $S_8$, как показано в статье;
4. (оцениваются) параметры $n$ и $t$ по формулам (12) и (13), приведенными в статье, соответственно.

[yosuf]

В качестве примера проанализируем динамику численности населения РФ, где на основании расчетов прогнозируют значительное его сокращение http://www.demographia.ru/articles_N/in ... &idArt=254.
Как на самом деле обстоит дело в прогнозе этого очень важного показателя?
В таблице приведены результаты обработки фактических данных отсюда http://htfi.org/?p=602 и прогноза до 2020г.г. :
годы x y РМС ЛР
2000 0 146890128,0 146890128,0 146744690,1
2001 1 146303611,0 146453102,4 146142236,3
2002 2 145649334,0 145579502,1 145539782,6
2003 3 144963650,0 144670133,5 144937328,9
2004 4 144168205,0 143885438,0 144334875,2
2005 5 143474219,0 143267001,5 143732421,4
2006 6 142753551,0 142805039,2 143129967,7
2007 7 142220968,0 142471983,8 142527514,0
2008 8 142008838,0 142237842,5 141925060,3
2009 9 141903979,0 142076312,0 141322606,5
сумма 1440336483,0 1440336483,0 1440336483,0

2010 10 ............ 141966492,3 140720152,8
2011 11 ............ 141892696,3 140117699,1
2012 12 ............ 141843578,1 139515245,3
2013 13 ............ 141811144,1 138912791,6
2014 14 ............ 141789870,5 138310337,9
2015 15 ............ 141775997,0 137707884,2
2016 16 ............ 141766994,4 137105430,4
2017 17 ............ 141761178,0 136502976,7
2018 18 ............ 141757434,6 135900523,0
2019 19 ............ 141755033,5 135298069,3
2020 20 ............ 141753498,1 134695615,5
Получены следующие уравнения регрессии:

$$y=146890128,0 - 5139305\Gamma(x/1.9922;1.0391+1;1;1)$$

при относительной ошибке 0,1369%;

$$y=146744690 - 602454x$$

при относительной ошибке 0,1894%.

-- 27.07.2012, 14:27 --