Оценка коэффициентов полинома случайной величины

[Anatoly]

Здравствуйте!
Столкнулся со следующей практической задачей.
Есть полином от некоторой случайной величины $x$
$y = a_nx^n + a_{n-1}x^{n-1} + \ldots + a_1x + a_0$,
$x$ - случайная величина, распределенная по нормальному закону,
причем известно её математическое ожидание и дисперсия.
Необходимо оценить коэффициенты полинома по результатам серии измерений
случайной величины $y$.
Чувствую, что задача в некотором смысле каноническая, но не могу найти её решение
в известных мне литературных источниках.
Может кто-нибудь подсказать правильное направление или ссылку на публикацию по данной теме?

[Евгений Машеров]

Если есть основания полагать искомую функцию монотонной в интересующем интервале, то можно построить полиномиальную регрессию эмпирических квантилей y на теоретические квантили х.
В общем случае не знаю. Отчего-то полиномы Эрмита вспоминаются...

[Anatoly]

Функция, конечно, не монотонная, но за идею спасибо. Попробую поразмышлять в этом направлении.

[Евгений Машеров]

Ну, в довольно большом числе случаев монотонность следует из содержательных соображений. Будь то вольт-амперная характеристика диода или зависимость спроса от цены товара. В других случаях можно указать интервалы монотонности, и опираться на значения в них.

[Евгений Машеров]

Вообще, не располагая некоторой априорной информацией, решить эту задачу нельзя. Простой пример - пусть величина y имеет в точности то же распределение, что и х.
Как понять, зависимость имеет вид $y=x$ или же $y=2\mu - x$?

[Anatoly]

Согласен, действительно восстановить параметры зависимости $y(x)$ при исходной постановке задачи однозначно нельзя.
Но, на самом деле для измерения доступна пара величин $y$ и $z$, имеющих зависимость от неизвестной случайной величины $x$. И реально интерес представляет восстановление зависимости между $y$ и $z$. Особенность тут в том, что в отличие от классической постановки задачи для регрессионного анализа, нет явной формы искомого выражения для $y(z)$ или $z(y)$. Есть только их параметрическая связь через величину $x$. Правда на этот счет у меня возникли некоторые соображения. Если, например
$y(x) = a_2x^2 + a_1x + a_0$,
$z(x) = b_2x^2 + b_1x + b_0$,
то связь между $y$ и $z$ можно записать в виде уравнения кривой 2-го порядка
$\alpha_{11}y^2 + 2\alpha_{12}yz + \alpha_{22}z^2 + 2\beta_1y + 2\beta_2z + \gamma = 0.$
Но я пока не нашел в литературе методы регрессионного анализа с применением такого рода зависимостей.

[Евгений Машеров]

Э, это уже сильно иная постановка. То есть пары y и z наблюдаемы одновременно? Полином - требуется "по физике" или просто удобен для построения модели? Какова спецификация ошибки?
Один из возможных подходов - рассматривать каждое из значений х, как отдельный оцениваемый параметр.

[Anatoly]

Если говорить про физику, то ситуация следующая. Имеется оптический когерентный рефлектометр. Величины y и z - это интенсивность излучения, принятого на фотоприемник с соседних каналов дальности, а x - это шум, связанный с флуктуацией частоты лазера от импульса к импульсу. Величина x не подлежит физическому измерению. Известно только, что частотный шум лазера преобладает над всеми остальными шумами. Полиномиальная зависимость y(x) и z(x) - следствие физической модели. И, естественно, каждая пара значений y и z измеряется одновременно при одном и том же значении x.

-- Пн янв 09, 2012 21:36:02 --

Евгений Машеров в сообщении #525038 писал(а):

Один из возможных подходов - рассматривать каждое из значений х, как отдельный оцениваемый параметр.

Если можно, поясните эту мысль, пожалуйста.

[Евгений Машеров]

Ну, как вариант - ММП. Функция правдоподобия оптимизируется по коэффициентам обоих полиномов и по $x_i$, сомножителями (нет, лучше слагаемыми в логарифме функции правдоподобия) являются квадрат невязки одного полинома, делённый на (известную) дисперсию ошибки измерения плюс квадрат невязки другого полинома, делённый на (известную) дисперсию ошибки измерения плюс $\frac {(x_i-\mu)^2} {\sigma^2}$
Правда, не только оценки параметров в замкнутом виде, но даже хорошей вычислительной процедуры с ходу не назову (кроме как всегда и во всём помогающего случайного поиска;)

[Anatoly]

Спасибо! Попробую так.

[juna]

Anatoly в сообщении #523729 писал(а):

Здравствуйте!
Столкнулся со следующей практической задачей.
Есть полином от некоторой случайной величины $x$
$y = a_nx^n + a_{n-1}x^{n-1} + \ldots + a_1x + a_0$,
$x$ - случайная величина, распределенная по нормальному закону,
причем известно её математическое ожидание и дисперсия.
Необходимо оценить коэффициенты полинома по результатам серии измерений
случайной величины $y$.
Чувствую, что задача в некотором смысле каноническая, но не могу найти её решение
в известных мне литературных источниках.
Может кто-нибудь подсказать правильное направление или ссылку на публикацию по данной теме?

В исходной постановке может поможет: на отрезке монотонной зависимости можно попытаться восстановить закон распределения случайной величины $y$. Например, для $y=a_2\cdot x^2+a_1\cdot x+a_0$ получим что-то типа:
$p(y)=\frac{1}{2\pi\sigma_x\sqrt{a_1^2-4a_2(a_0-y)}}\cdot e^{-{\frac{(\frac{-a_1\pm\sqrt{a_1^2-4a_2(a_0-y)}}{2a_2}-m_x)^2}{2\sigma_x^2}}}$

Имея реализации $y$, а также $m_x,\sigma_x$ - матожидание и СКО для $x$, можно попытаться оценить неизвестные параметры $a_2,a_1,a_0$

[Евгений Машеров]

Ну, вот монотонность крайне полезна была бы...

Общий подход, через максимальное правдоподобие, приводит либо к системе полиномиальных уравнений со многими неизвестными (если взять производные и приравнять к нулю, как для линейной регрессии), которые лично я решать (в общем случае) не умею, либо, если использовать какой-либо метод численной оптимизации, по всей видимости получится многоэкстремальная функция.

В качестве довольно легко реализуемого (но без гарантии!) приложения случайного поиска - можно сгенерировать выборку $x_i$ с заданным распределением, получить полиномиальные регрессии y и z на x, выбрать какую-то меру качества подгонки (скажем, сумму дисперсий ошибок моделей для y и z) и, повторив эту процедуру многократно, генерируя разные x, выбрать наилучшую выборку. Число повторений должно быть весьма велико, но при малом числе выборок, возможно, получатся хорошие начальные приближения для оптимизации правдоподобия. Метод хорошо распараллеливается, что делает его привлекательным для CUDA и вообще многопроцессорных систем. Исчерпывается ли его привлекательность этим, да ещё простотой программирования - не знаю.

Ещё один подход, возможно, представляющий интерес как курьёз, а возможно, и рабочий, может состоять в следующем:
- положим, что существует зависимость не только y от x, но и x от y (и z, соответственно). Не выписывая её явно (что потребует решения уравнений высоких степеней), аппроксимируем её полиномом (или более сложной, но так же линейной по параметрам функцией, в которую кроме степеней y будут входить корни и даже логарифмы или синусы, лишь бы функции от y были бы определены на интервале значений y.
- то есть будем искать зависимость $x=a_1f_1(y)+a_2f_2(y)+...+a_kf_k(y)$ и аналогично зависимость от z (возможно, на другом наборе функций). Если коэффициенты подобраны удачно, то оцененные по y и z значения x должны быть близки.
- но задача нахождения коэффициентов линейных комбинаций двух заданных наборов данных таких, что значения этих комбинаций близки, в статистике разработана. Это "канонические корреляции" (кажется, был заказ на "каноническое"? ;), использовавшиеся, например, для сравнения наборов тестов в психологии. Алгоритмы для этого метода входят в большинство статпакетов, а метод описан во множестве учебников (обычно рядом с факторным или компонентным анализом), хотя применяется не слишком широко.
- очевидно, если будет монотонность, такой метод имеет шанс сработать, в немонотонном случае - "не догоню, так хоть согреюсь", но вдруг?