Оценка случайных параметров модели

[Евгений Машеров]

Да, действительно, там скорее модель со случайными регрессорами рассматривается.

[prof.uskov]

Евгений Машеров в сообщении #1148844 писал(а):

Да, действительно, там скорее модель со случайными регрессорами рассматривается.

Вот-вот. :) Но думаю, что для частных случаев задача все же решена. Та исходная задача с линейной моделью, это по-сути, задача оценки аддитивный и мультипликативной помехи, нужно будет книги по теории измерений полистать.

[vlad_light]

dsge уже ответил на Ваш вопрос.

prof.uskov в сообщении #1148610 писал(а):

Есть некоторое сомнение, что $y$ будет нормальным, ведь мы не знаем как распределено $x$.

нет никаких сомнений, поскольку $x$ -- это не случайная величина.

[Евгений Машеров]

Ну вот начните с линейной модели и нормально распределённой помехи, затем усложняйте. До каких-то пределов будет работать та же схема - матожидание (или даже более общо - параметр положения) коэффициента входит, как оцениваемый параметр, а дисперсия или вообще параметры разброса будут входить в спецификацию ошибки. А в самом общем случае разве что просто гистограммы строить, совместного распределения игреков и иксов.
Поэтому, возможно, и не разработана тема - либо очевидное сведение к уже решённой задаче, либо запредельные сложности.
А для уточнения распределения коэффициентов можно остатки от линейной модели рассмотреть.

[prof.uskov]

Евгений Машеров в сообщении #1148908 писал(а):

Ну вот начните с линейной модели и нормально распределённой помехи, затем усложняйте. До каких-то пределов будет работать та же схема - матожидание (или даже более общо - параметр положения) коэффициента входит, как оцениваемый параметр, а дисперсия или вообще параметры разброса будут входить в спецификацию ошибки. А в самом общем случае разве что просто гистограммы строить, совместного распределения игреков и иксов.
Поэтому, возможно, и не разработана тема - либо очевидное сведение к уже решённой задаче, либо запредельные сложности.
А для уточнения распределения коэффициентов можно остатки от линейной модели рассмотреть.

Во-первых, чтобы строить совместные гистограммы распределения игреков и иксов нужно очень много данных. Во-вторых, у нас есть модель известная с точностью до случайных параметров - она содержит достаточно много информации и ее нужно использовать, что простое построение совместной диаграммы исключает. В-третьих, неизвестные случайные параметры могут иметь известный с точностью до параметров закон распределения (не обязательно нормальный закон), оценка параметров распределения, по всей видимости, будет требовать гораздо меньше данных, чем построение совместных гистограмм.

-- 04.09.2016, 11:32 --

vlad_light в сообщении #1148885 писал(а):

dsge уже ответил на Ваш вопрос.

prof.uskov в сообщении #1148610 писал(а):

Есть некоторое сомнение, что $y$ будет нормальным, ведь мы не знаем как распределено $x$.

нет никаких сомнений, поскольку $x$ -- это не случайная величина.

Значения $x$ получены в общем случае в результате пассивного эксперимента - какое данные дали с таким и работаем. Величина не просто случайная, но и распределение неизвестное.

-- 04.09.2016, 11:41 --

dsge в сообщении #1148787 писал(а):

В эконометрике следующие работы на эту тему являются классическими :
- Goldfeld, S.M. and Quandt, R.E. (1973). The estimation of structural shifts by switching
regressions, Annals of Economic and Social Measurement 2, 475–485.
- Chow, G.C. (1984). Random and changing coefficient models, in Handbook of Econometrics 2,
Z. Griliches and M. Intriligator (Eds.), Elsevier Science Publishers, Amsterdam, 1213–1245.

Найти эти статьи не удалось. Дайте, пожалуйста, ссылку на них или на работы, где их результаты изложены.

[Евгений Машеров]

Очень много, да. Ну так в такой, самой общей постановке, иначе ничего не выйдет. А чтобы что-то получить с меньшими данными - нужно что-то априори предположить. Ну, хотя бы известность закона распределения с точностью до параметров. И вид зависимости.

[prof.uskov]

Евгений Машеров в сообщении #1148959 писал(а):

А чтобы что-то получить с меньшими данными - нужно что-то априори предположить. Ну, хотя бы известность закона распределения с точностью до параметров. И вид зависимости.

Вот я про это и говорю. Если задать законы распределения с точностью до параметров и вид зависимости, то данных нужно будет значительно меньше. Но если с нормальным распределением и линейной зависимостью задача как-то решается, то при другом виде распределителей (экспоненциальное, равномерное и т.п.) и нелинейной зависимости не понятно, как подступиться.

[dsge]

prof.uskov в сообщении #1148925 писал(а):

Найти эти статьи не удалось. Дайте, пожалуйста, ссылку на них или на работы, где их результаты изложены.

Просто введя в Гугл названия статей, я получил следующие ссылки:
https://www.princeton.edu/~erp/ERParchives/archivepdfs/M147.pdf
http://www.ibrarian.net/navon/paper/Chapter_21_RANDOM_AND_CHANGING_COEFFICIENT_MODELS.pdf?paperid=17320990

Если вы перейдёте к центрированным данным относительно средних, то будет легче работать, по крайней мере на один параметр будет меньше.

[prof.uskov]

dsge в сообщении #1149018 писал(а):

prof.uskov в сообщении #1148925 писал(а):

Найти эти статьи не удалось. Дайте, пожалуйста, ссылку на них или на работы, где их результаты изложены.

Просто введя в Гугл названия статей, я получил следующие ссылки:
https://www.princeton.edu/~erp/ERParchives/archivepdfs/M147.pdf
http://www.ibrarian.net/navon/paper/Chapter_21_RANDOM_AND_CHANGING_COEFFICIENT_MODELS.pdf?paperid=17320990

Если вы перейдёте к центрированным данным относительно средних, то будет легче работать, по крайней мере на один параметр будет меньше.

Спасибо, посмотрю.

[vlad_light]

prof.uskov, либо Вы неправильно написали условие задачи, либо $x$ -- величина не случайная (а заданная) и не может иметь распределение (разве что вырожденное).

[Евгений Машеров]

Ну, в простейших случаях сводится к обсуждённому. Скажем, если нелинейность выражается полиномом - просто усложняется спецификация ошибки. Или если линеаризуемая зависимость.
Если распределение ошибки предполагается симметричным без тяжёлых хвостов - для начала обычным МНК, а потом исследовать отклонения. Если хвосты есть - чем-то робастным. При ожидаемой асимметрии и неизвестном распределении мне посоветовать нечего.

[prof.uskov]

vlad_light в сообщении #1149174 писал(а):

prof.uskov, либо Вы неправильно написали условие задачи, либо $x$ -- величина не случайная (а заданная) и не может иметь распределение (разве что вырожденное).

Почему неправильно, если это моя задача, я сам ее и написал.
Значения $x$ и $y$ заданы в виде $N$ пар значений
$\{ x_i, y_i\}$. (1)
О том как выбирали $x_i$ информации у нас нет, единственно можно сказать, что более-менее равномерно покрыли аппроксимируемую область.

[vlad_light]

Если $\{x_i, y_i\}_i$ заданы, то нам не интересно, каким образом их получили.

[prof.uskov]

Метод максимального правдоподобия применять нельзя, так как нет гипотезы о заданном законе распределения...

prof.uskov в сообщении #1148581 писал(а):

Имеется набор данных в виде $N$ пар значений
$\{ x_i, y_i\}$, (1)
где $i=1, 2, ...N$.
Связь между $x$ и $y$ определяется соотношением:
$y={A}\cdot{x}+B$, (2)
где $A$ и $B$ - нормально распределенные случайные величины с параметрами $\{ m_A, \sigma_A\}$ и $\{ m_B, \sigma_B\}$ соответственно, принимающие одно из значений при каждом вычислении $y$.
Необходимо определить параметры случайных величин $A$ и $B$ на основе экспериментальных данных (1).

----
Нахождение мультипликативного параметра:
1. Избавляемся от аддитивной составляющей $B$ путем перехода к центрированным значениям в обучающей выборке.
2. Для $A$ вычисляется выборка значений $\{ y_i/x_i\}$ (3)
где $i=1, 2, ...N$.
3. На основе выборки (3) строится гистограмма параметра $A$, а также определяются его необходимые числовые характеристики.