распределение комбинации элементов выборки

[AndreyL]

Друзья! Вот такой вопрос. Есть выборка объема $n$, взята из распределения с функцией $F$ и плотностью $f$. Как найти закон распределения линейной комбинации элементов выборки $G=\sum_{i=1}^n a_i x_i$, где $x_i$ - элементы выборки, $a_i$ - коэффициенты? Есть ли об этом чего в литературе?

[--mS--]

Странный вопрос. А распределение суммы двух независимых случайных величин с заданной плотностью как найти, знаете?

[AndreyL]

Если я не сильно ошибаюсь, то просто для суммы двух независимых $x_1+x_2$ функция распределения будет

$$F(z)=\int _{-\infty }^{\infty } \left( \int _{-\infty }^{z-x_2}f_1(x_1) f_2(x_2)dx_1\right) dx_2$$

Для линейной комбинации $a_1 x_1+a_2 x_2$ верхний предел во внутреннем интеграле изменится на $\frac{z-a_2 x_2}{a_1}$
Но являются ли независимыми третий и пятый, например, элементы вариационного ряда? Ведь третий в любом случае не больше пятого. А есть еще и четвертый.

[--mS--]

При чём тут вариационный ряд? В первом сообщении Вы собирались складывать элементы выборки, которые по умолчанию независимы. И ни к чему функция распределения, есть формула свёртки для плотностей. Плотность $aX$ равна $\frac{1}{|a|}f_X(t/a)$.

[AndreyL]

Извиняюсь! Действительно в первом посте написал "элементов выборки", хотя в голове держал "элементов вариационного ряда". И тогда вопрос первого поста действительно странный, что Вы и отметили. Еще раз извиняюсь!

Переформулирую вопрос:
Есть выборка объема $n$, взята из распределения с функцией $F$ и плотностью $f$. Как найти закон распределения линейной комбинации элементов вариационного ряда $G=\sum_{i=1}^n a_i x_i$, где $x_i$ - элемент вариационного ряда с рангом $i$, $a_i$ - их коэффициенты?

[--mS--]

Вы уже спрашивали нечто подобное: post667539.html#p667539.
Вряд ли в общем случае возможен ответ кроме "взять совместную плотность распределения $f_{X_{(1)},\ldots, X_{(n)}}(x_1,\ldots,x_n)=n!f(x_1)\ldots f(x_n)$ при $x_1\leqslant x_2 \leqslant \ldots \leqslant x_n$ и проинтегрировать по области $a_1x_1+\ldots +a_nx_n <t$."

[AndreyL]

Да, этот вопрос близок к тому, что мы уже обсуждали (за что Вам отдельное спасибо - многое стало понятно). Однако там рассматривалась совместная плотность двух соседних порядковых статистик, а хотелось бы не соседних. Если плотность $k$-ого элемента вариационного ряда есть:

$$f_{X_{(k)}}(x) = n C_{n-1}^{k-1} \bigl(F(x)\bigr)^{k-1} \bigl(1-F(x)\bigr)^{n-k} f(x).$$

то как корректно записать интеграл для случая линейной комбинации элементов вариационного ряда?

[--mS--]

В моём предыдущем сообщении написано, как.

[AndreyL]

Чего-то не получается.
Если мы берем линейную комбинацию двух элементов вариационного ряда ($x_1 \leqslant x_2$ с рангами $k_1<k_2$ соответственно), то их совместная плотность должна быть

$$f_{X_{(k_1)}}(x_1)\times f_{X_{(k_2)}}(x_2) =$$ $$ n C_{n-1}^{k_1-1} \bigl(F(x_1)\bigr)^{k_1-1} \bigl(1-F(x_1)\bigr)^{n-k_1} f(x_1) \, \times \, n C_{n-1}^{k_2-1} \bigl(F(x_2)\bigr)^{k_2-1} \bigl(1-F(x_2)\bigr)^{n-k_2} f(x_2)$$

Или как-то не так? Ведь реально они не являются независимыми.

[--mS--]

Разумеется, нет. Их совместная плотность выписывается точно так же, как и совместная плотность двух соседних порядковых статистик в сообщении по ссылке: при $k_1 < k_2$, $x_1< x_2$

$$ f_{X_{(k_1)},X_{(k_2)}}(x_1, \, x_2) = $$ $$=\dfrac{n!}{(k_1-1)! (k_2-k_1-1)! (n-k_2)!} f(x_1)f(x_2) F^{k_1-1}(x_1)\left(F(x_2)-F(x_1)\right)^{k_2-k_1-1}\left(1-F(x_2)\right)^{n-k_2}. $$

Давайте я уже научу Вас выписывать подобные плотности, а то это продолжается давно и без подвижек, а?

[AndreyL]

--mS-- в сообщении #824057 писал(а):

Давайте я уже научу Вас выписывать подобные плотности, а то это продолжается давно и без подвижек, а?

Был бы Вам очень признателен!

[--mS--]

Плотность распределения - что случайной величины, что случайного вектора - есть вероятность попадания в "толстую точку": вероятность попасть в интервал $(x,x+dx)$ для случайной величины $X$ есть $\mathsf P(X \in (x, x+dx))=f_X(x)\,dx$. Точно то же для вектора $X\in \mathbb R^k$: вероятность ему попасть в кубик $(x_1, x_1+dx_1)\times\ldots\times (x_k,x_k+dx_k)$ есть плотность вектора в точке $(x_1,\ldots,x_k)$ умноженная на $dx_1\cdot\ldots\cdot dx_k$.

Поэтому для нахождения, например, совместной плотности $X_{(k_1)}\leqslant X_{(k_2)}$ в точке $(x_1,x_2)$ достаточно посчитать вероятность этой паре случайных величин попасть в квадратик:

$$\mathsf P\bigl(X_{(k_1)}\in (x_1, x_1+dx_1),\, X_{(k_2)}\in (x_2, x_2+dx_2)\bigr). \eqno (1)$$

Выборка состоит из $n$ независимых случайных величин. Для каждой из которых возможны варианты:
1) попасть слева от точки $x_1$ - с вероятностью $p_1=F(x_1)$,
2) попасть в "толстую точку" $(x_1,\, x_1+dx_1)$ - с вероятностью $p_2=f(x_1)\,dx_1$,
3) попасть между точками $x_1+dx_1$ и $x_2$ (а реально между точками $x_1$ и $x_2$) - с вероятностью $p_3=F(x_2)-F(x_1)$,
4) попасть в "толстую точку" $(x_2,\, x_2+dx_2)$ - с вероятностью $p_4=f(x_2)\,dx_2$ и, наконец,
5) попасть справа от точки $x_2$ - с вероятностью $p_5=1-F(x_2)$.

Проводится $n$ независимых экспериментов, в каждом из которых возможны пять исходов. Событие под знаком вероятности в формуле (1) означает, что ровно $k_1-1$ точек должны попасть слева от $x_1$, ровно одна - в "толстую точку" $(x_1,\, x_1+dx_1)$, ещё $k_2-k_1-1$ - между точками $x_1$ и $x_2$, ещё одна - в "толстую точку" $(x_2,\,x_2+dx_2)$, и оставшиеся $n-k_2$ штук - справа от $x_2$.

То есть исход 1 должен случиться в $n$ испытаниях $k_1-1$ раз, исход 2 - один раз, исход 3 - $k_2-k_1-1$ раз, исход 4 - один раз, исход 5 - $n-k_2$ раз.

Вероятность того, что в нескольких независимых испытаниях один исход случится сколько-то раз, другой - столько-то, третий - ещё сколько-то и т.д., вычисляется с помощью полиномиального распределения: http://www.statistica.ru/theory/polinom ... redelenie/

А именно, берём вероятности исходов и перемножаем столько раз, сколько раз эти исходы должны случиться. Всё это умножаем на полиномиальный коэффициент, который выражает число способов, которыми можно выбрать из $n$ испытаний те конкретные, которые должны завершиться первым исходом, потом те, которые завершаются вторым исходом и т.д.

Вот и получается: вероятность (1) равна

$$ \dfrac{n!}{(k_1-1)! \cdot 1! \cdot (k_2-k_1-1)! \cdot 1! \cdot (n-k_2)!}p_1^{k_1-1}\cdot p_2 \cdot p_3^{k_2-k_1-1} \cdot p_4 \cdot p_5^{n-k_2}. $$

Всё, кроме $dx_1\, dx_2$ в этой формуле будет совместной плотностью.

Для тренировки выпишите таким же путём плотность $f_{(X_k)}$ и совместную плотность трёх порядковых статистик. Потом всех $n$.

[AndreyL]

Большое спасибо за подробное объяснение!
Если я правильно понял смысл, то для случая, когда мы рассматриваем плотность совместного распределения $m$ элементов вариационного ряда выборки объема $n$, то для каждого элемента выборки (которые являются реализациями независимых испытаний, т.е. независимы) есть четыре варианта
1) попасть в "толстую точку" $(x_i,\, x_i+dx_i)$ - с вероятностью $f(x_i)\,dx_i$,
2) попасть между точками $x_{i-1}+dx_{i-1}$ и $x_i$ (а реально между точками $x_{i-1}$ и $x_i$) - с вероятностью $F(x_i)-F(x_{i-1})$,
3) попасть слева от точки $x_1$ - с вероятностью $F(x_1)$, или, что тоже самое, попасть между точками $-\infty$ и $x_1$ с вероятностью $F(x_1)-0$.
4) попасть справа от точки $x_m$ - с вероятностью $1-F(x_m)$, или, что тоже самое, попасть между точками $x_m$ и $\infty$.

Во все $m$-штук вариантов 1) должно попасть ровно по одному элементу. В каждый из вариантов 2) должно попасть $k_i-k_{i-1}-1$ элементов. Третий и четвертый варианты можно свести ко второму, введя обозначения $k_0=0,\,F\left(x_0\right)=F\left(-\infty\right)=0$ для третьего варианта и $k_{m+1}=n+1,\,F\left(x_{m+1}\right)=F\left(\infty\right)=1$ для четвертого.

Тогда общая формула для совместной плотности распределения $m$ элементов вариационного ряда будет

$$n!\prod _{i=1}^m \frac{f\left(x_i\right)^1}{1!}\,\prod_{i=1}^{m+1}\frac{\left(F\left(x_i\right)-F\left(x_{i-1}\right)\right){}^{k_i-k_{i-1}-1}}{\left(k_i-k_{i-1}-1\right)!}$$

при условиях

$$k_{m+1}=n+1,\,k_0=0,\,F\left(x_{m+1}\right)=1,\,F\left(x_0\right)=0$$

эти условия нужны, чтобы не расписывать первый и последний интервалы, которые для вариантов меньше $x_1$ и больше $x_m$.
Первую степень и факториал единицы у плотностей пока оставил для единообразия.

Подскажите, пожалуйста, если Вам будет не утомительно это все читать, похоже ли это на правду?

[--mS--]

Так и есть.

[AndreyL]

Огромное Вам СПАСИБО за разъяснение темы!
Честно говоря, первый раз столкнулся с полиномиальным распределением. И сразу возникла аналогия с критерием согласия $\chi^2$-Пирсона - попадание $n_i$-количества элементов выборки в диапазон, когда вероятность попадания в этот диапазон известна. Подскажите, пожалуйста, нет ли предельного соответствия при $n \to \infty$ полиномиального распределения с распределением $\chi^2$? Типа как для многомерного нормального распределения, когда $X.S^{-1}.X$ подчиняется $\chi^2$, если вектор $X$ подчиняется многомерному нормальному с центром $0$ и ковариационной матрицей $S$?