Оценка случайных параметров модели

[prof.uskov]

Имеется набор данных в виде $N$ пар значений
$\{ x_i, y_i\}$, (1)
где $i=1, 2, ...N$.
Связь между $x$ и $y$ определяется соотношением:
$y={A}\cdot{x}+B$, (2)
где $A$ и $B$ - нормально распределенные случайные величины с параметрами $\{ m_A, \sigma_A\}$ и $\{ m_B, \sigma_B\}$ соответственно, принимающие одно из значений при каждом вычислении $y$.
Необходимо определить параметры случайных величин $A$ и $B$ на основе экспериментальных данных (1).

Попытка решения: случайным образом выбирать по две пары из (1) и определять принимаемые значения для $A$ и $B$ путем решения системы из двух линейных уравнений, после чего на основе полученного массива методами математической статистики определить искомые параметры.

[dsge]

$y= m_A \cdot{x} + \sigma_A\xi_1 \cdot{x}+ m_B + \sigma_B\xi_2$.
Если $A$ и $B$ независимы, то $y$ будет нормальным со средним $m_A \cdot{x} +m_B $ и дисперсией $(\sigma_A \cdot{x})^2+ \sigma_B^2$.
Для каждого х выписываете выражение для плотности и функцию правдоподобия для всех х. Далее её максимизируете по параметрам и получаете параметры.

[prof.uskov]

dsge в сообщении #1148608 писал(а):

$y= m_A \cdot{x} + \sigma_A\xi_1 \cdot{x}+ m_B + \sigma_B\xi_2$.
Если $A$ и $B$ независимы, то $y$ будет нормальным со средним $m_A \cdot{x} +m_B $ и дисперсией $(\sigma_A \cdot{x})^2+ \sigma_B^2$.
Для каждого х выписываете выражение для плотности и функцию правдоподобия для всех х. Далее её максимизируете по параметрам и получаете параметры.

Есть некоторое сомнение, что $y$ будет нормальным, ведь мы не знаем как распределено $x$.

[dsge]

В любом случае будет условно-нормальным, т.е. при фиксированном х. Если нет автокорреляции в х, то правдоподобие можно выписать.
Лучше всего было бы если х детерминированные; стохастичность и тем более ненормальность х - это геморрой.

[prof.uskov]

dsge в сообщении #1148614 писал(а):

В любом случае будет условно-нормальным, т.е. при фиксированном х. Если нет автокорреляции в х, то правдоподобие можно выписать.
Лучше всего было бы если х детерминированные; стохастичность и тем более ненормальность х - это геморрой.

Если бы сами могли выбирать x, я бы не спрашивал. :)
Для x распределение неизвестно и в общем случае оно ненормальное.

-- 02.09.2016, 23:07 --

Мало того, с нормальными А и В - это упрощенная задача, следующий шаг: распределение А и В неизвестно и нужно его оценить - построить гистограмму.

[Евгений Машеров]

Если у нас задано отношение дисперсий $\frac {\sigma^2_A}{\sigma^2_b}=k^2$, то задача сводится к парной регрессии $y_i=m_A x_i+m_b+\varepsilon$ при наличии гетероскедастичности, $\sigma^2(\varepsilon_i)=\sigma^2_b(1+k^2x_i^2)$
и для оценивания обычной парной регрессией следует $x_i$ и $y_i$ поделить на $\sqrt{1+k^2x_i^2}$
Поскольку оно, это отношение, нам не дано, его надо рассматривать, как переменную и оптимизировать качество подгонки по этой переменной любым методом одномерной оптимизации.

[prof.uskov]

Евгений Машеров, это Вы зацепились за нормальность параметров и линейность модели. А что делать в общем случае, когда неизвестны распределения параметров, да еще и модель нелинейная?

[Евгений Машеров]

Ну, для настолько общего случая, когда и распределения неизвестно какие, и характер нелинейности неизвестен, обсуждать в порядке доброго совета можно лишь материал верёвки и сорт мыла. Чем более конкретики доступно - тем больше шансов предложить работающий алгоритм оценивания. Распределение хотя бы с точностью до параметров известно? Если нет - а что, собственно, оцениваем? Нелинейная функция - монотонна? Или задаваема какой-то, также с точностью до параметров, известной функцией? В принципе, если "с точностью до параметров" - может работать правдоподобие, но задача, скорее всего, будет вычислительно сложна (и да, решаема лишь численно) и гарантии, что не застрянем на локальном оптимуме, нет. В случае монотонности тоже что-то можно сделать, но ещё сложнее будет.
Вообще, конкретики бы.

[prof.uskov]

Евгений Машеров в сообщении #1148657 писал(а):

Ну, для настолько общего случая, когда и распределения неизвестно какие, и характер нелинейности неизвестен, обсуждать в порядке доброго совета можно лишь материал верёвки и сорт мыла. Чем более конкретики доступно - тем больше шансов предложить работающий алгоритм оценивания. Распределение хотя бы с точностью до параметров известно? Если нет - а что, собственно, оцениваем? Нелинейная функция - монотонна? Или задаваема какой-то, также с точностью до параметров, известной функцией? В принципе, если "с точностью до параметров" - может работать правдоподобие, но задача, скорее всего, будет вычислительно сложна (и да, решаема лишь численно) и гарантии, что не застрянем на локальном оптимуме, нет. В случае монотонности тоже что-то можно сделать, но ещё сложнее будет.
Вообще, конкретики бы.

Для начала тоже самое - парная зависимость, функция линейная. Только распределение случайных параметров А и В неизвестно, нужно найти их приближенную точечную оценку - построить гистограмму.
Для меня было неожиданностью, что решение подобной задачи не описано в широкой литературе, все считают, что параметры модели детерминированные, а все ошибки списывают на аддитивную помеху, которую и оценивают, т.е. случаен лишь параметр В.

[Евгений Машеров]

Ну, посмотрите у Себера или у Демиденко, и вообще модель "регрессия со случайными коэффициентами" достаточно разработана.

[dsge]

prof.uskov в сообщении #1148673 писал(а):

все считают, что параметры модели детерминированные,

В байесовской статистике изначально предполагается, что параметры имеют какое-то априорное случайное распределение. Используя модель и данные, получают апостериорное распределение параметров.

[Евгений Машеров]

А для "совсем общего случая" - только совместная гистограмма, но толку от неё будет немного, разве что наблюдений огромное число.

[prof.uskov]

dsge в сообщении #1148691 писал(а):

prof.uskov в сообщении #1148673 писал(а):

все считают, что параметры модели детерминированные,

В байесовской статистике изначально предполагается, что параметры имеют какое-то априорное случайное распределение. Используя модель и данные, получают апостериорное распределение параметров.

Да, но только параметры не изменяются от опыта к опыту.

[dsge]

В эконометрике следующие работы на эту тему являются классическими :
- Goldfeld, S.M. and Quandt, R.E. (1973). The estimation of structural shifts by switching
regressions, Annals of Economic and Social Measurement 2, 475–485.
- Chow, G.C. (1984). Random and changing coefficient models, in Handbook of Econometrics 2,
Z. Griliches and M. Intriligator (Eds.), Elsevier Science Publishers, Amsterdam, 1213–1245.

[prof.uskov]

Евгений Машеров в сообщении #1148680 писал(а):

Ну, посмотрите у Себера или у Демиденко, и вообще модель "регрессия со случайными коэффициентами" достаточно разработана.

Пролистал обе эти книги, не нашел, страницу не подскажете?