Найти ковариацию случайных величин

[Lia]

vicvolf
Вы как собираетесь определять произведение с.в., заданных на разных в.п.?

[vicvolf]

Someone в сообщении #1400952 писал(а):

где $1\leqslant k\leqslant\min\{i,j\}$,

Это неверно, поэтому вывод неправильный. Надо сменить обозначения $1 \leq k_i \leq i$.

[Someone]

Someone в сообщении #1400952 писал(а):

приходится сделать вывод, что эти случайные величины определены на разных вероятностных пространствах.

Нет, я здесь не прав.

vicvolf в сообщении #1401039 писал(а):

Someone в сообщении #1400952 писал(а):

где $1\leqslant k\leqslant\min\{i,j\}$,

Это неверно, поэтому вывод неправильный. Надо сменить обозначения $1 \leq k_i \leq i$.

Но не по этой причине. Как раз здесь у меня всё в порядке.

Но Вы не можете вычислять ковариацию, если неизвестно совместное распределение вероятностей, а его невозможно определить, если известны только вероятности значений.

[vicvolf]

Someone в сообщении #1401052 писал(а):

Но Вы не можете вычислять ковариацию, если неизвестно совместное распределение вероятностей, а его невозможно определить, если известны только вероятности значений.

Я уже писал об этом. Я понял, что в данном случае предположил независимость случайных величин.

-- 23.06.2019, 22:37 --

Евгений Машеров в сообщении #1400956 писал(а):

(для описанной выше схемы получения равновероятных, но зависимых случайных величин)
Пусть $f(k)$ при чётных k равно 1, при нечётных -1.
Тогда для большого n матожидание среднего будет стремиться к нулю, и ковариация будет приблизительно равна матожиданию произведений. Но для достаточно больших номеров вероятность "переключения" стремится к нулю, и последовательность случайных значений будет состоять из очень длинных цепочек единиц или минус единиц, и ковариация соседних отсчётов будет стремиться к единице.

Интересный пример зависимых случайных величин. Что такое вероятность переключения? Нельзя ли подробнее разобрать данный пример. Почему ковариация будет стремиться к 1, если эта вероятность стремиться к нулю? Думаю, что она тоже стремится к нулю.

[vicvolf]

vicvolf в сообщении #1401063 писал(а):

Евгений Машеров в сообщении #1400956 писал(а):

(для описанной выше схемы получения равновероятных, но зависимых случайных величин)
Пусть $f(k)$ при чётных k равно 1, при нечётных -1. Тогда для большого n матожидание среднего будет стремиться к нулю, и ковариация будет приблизительно равна матожиданию произведений. Но для достаточно больших номеров вероятность "переключения" стремится к нулю, и последовательность случайных значений будет состоять из очень длинных цепочек единиц или минус единиц, и ковариация соседних отсчётов будет стремиться к единице.

Интересный пример зависимых случайных величин. Что такое вероятность переключения? Нельзя ли подробнее разобрать данный пример. Почему ковариация будет стремиться к 1, если эта вероятность стремиться к нулю? Думаю, что она тоже стремится к нулю.

Поверил Ваш пример. Если $i$ или $j$ - нечетно, то $M[g_i]M[g_j]=1/ij$, в остальных случаях $M[g_i]M[g_j]=0$. Следовательно, $M[g_i]M[g_j] \leq 1/ij$. $M[g_ig_j]$ также принимает либо значение ноль, либо значение $M[g_ig_j] \leq 1/i$, где $j>i$. Поэтому - $|cov[g_i,g_j]|=|M[g_ig_j]-M[g_i]M[g_j]| \leq 1/i$.

[Евгений Машеров]

Проверьте выкладки.

[vicvolf]

Евгений Машеров в сообщении #1401282 писал(а):

Проверьте выкладки.

Проверил. У нас расхождение только в математическом ожидании произведения случайных величин.

Сумма $\sum_{l=1}^i\sum_{m=1}^j {f(l)f(m)}$ при натуральных $i<j$ принимает только значения: $-1,0,1$. Например, $\sum_{l=1}^1\sum_{m=1}^3 {f(l)f(m)}=(-1)(-1)+(-1)(+1)+(-1)(-1)=1$.

Каждый член этой суммы умножается на вероятность произведения: $P{(g_i=f(l)) \cap (g_j=f(m))=P(g_i=f(l))P(g_j=f(m)/g_i=f(l)),$ где $P(g_i=f(l))=1/i,P(g_j=f(m)/g_i=f(l)) \leq 1$.

Поэтому $P(g_i=f(l)) \cap P(g_j=f(m)/g_i=f(l)) \leq 1/i$.

Следовательно, $|M[g_ig_j]| \leй 1/i$ и $cov[g_i,g_j] \leq |M[g_ig_j]|+|M[g_i]M[g_j]|=1/i+1/ij \leq 1,5/i$. Верно?

[Евгений Машеров]

Начиная с

vicvolf в сообщении #1401503 писал(а):

Сумма $\sum_{l=1}^i\sum_{m=1}^j {f(l)f(m)}$ при натуральных $i<j$ принимает только значения: $-1,0,1$.

неверно.

[vicvolf]

Евгений Машеров в сообщении #1401505 писал(а):

Начиная с

vicvolf в сообщении #1401503 писал(а):

Сумма $\sum_{l=1}^i\sum_{m=1}^j {f(l)f(m)}$ при натуральных $i<j$ принимает только значения: $-1,0,1$.

неверно.

Пожалуйста, пример на другое значение.

[Евгений Машеров]

Ошибка Ваша не в том, что Вы неверно вычисляете выражение, а в том, что Вы его вообще вычисляете. Это имело бы смысл, если бы вероятности были бы одинаковы, и их можно было бы вынести за знак суммы. А они, невзирая на равновероятность исходов для отдельных испытаний, не равны, в силу зависимости последовательных испытаний. Если же постулировать независимость - то вопрос о некоррелированности становится изрядно тривиален.

[vicvolf]

Евгений Машеров в сообщении #1401595 писал(а):

Ошибка Ваша не в том, что Вы неверно вычисляете выражение, а в том, что Вы его вообще вычисляете. Это имело бы смысл, если бы вероятности были бы одинаковы, и их можно было бы вынести за знак суммы. А они, невзирая на равновероятность исходов для отдельных испытаний, не равны, в силу зависимости последовательных испытаний. Если же постулировать независимость - то вопрос о некоррелированности становится изрядно тривиален.

Значит дело не в суммах произведений значений арифметических функций, а в вероятностях этих значений. Я понимаю, что эти события зависимы и поэтому не равновероятны. Поэтому я их не считаю, а делаю оценку сверху условной вероятности этих событий:

$P{(g_i=f(l)) \cap (g_j=f(m))=P(g_i=f(l))P(g_j=f(m)/g_i=f(l)),$

где $P(g_i=f(l))=1/i,P(g_j=f(m)/g_i=f(l)) \leq 1$.

Поэтому $P(g_i=f(l)) \cap P(g_j=f(m)/g_i=f(l)) \leq 1/i$.

[Евгений Машеров]

Ограничусь расчётом для автокорреляций (автоковариаций) первого порядка. Общий случай может быть исследован аналогично, но для вывода о том, что без независимости равновероятность не гарантирует некоррелированности величин, достаточно и первого.
Механизм генерации таков, что при $m+1$ испытании новая величина g с вероятностью $\frac m {m+1}$ совпадает с предыдущей, а с вероятностью $\frac 1 {m+1}$ равна $g_{m+1}$. Легко видеть, что все $g_i, i \le m$ в m-том испытании равновероятны. При этом $f(g_m)=f(g_{m+1})$ с вероятностью $\frac m {m+1}$, и их произведение для данной $f(g)$ единица, и в половине случаев единица будет и при событии с вероятностью $\frac 1 {m+1}$, в половине же при таком событии будет минус единица. То есть матожидание произведения m-того значения на (m+1)-ое окажется равно $\frac m {m+1}=1-\frac 1 {m+1}$, а матожидание суммы этих произведений от первого до n-ного слагаемого можно посчитать через сумму гармонического ряда, получив $n-\ln n-\gamma$. А так как сумма квадратов будет n, то с ростом n корреляция будет стремиться к единице.
Причина очевидна, наша последовательность будет состоять из всё более длинных цепочек 1 или -1.

[vicvolf]

Евгений Машеров в сообщении #1401636 писал(а):

для вывода о том, что без независимости равновероятность не гарантирует некоррелированности величин.

Полностью согласен.

Цитата:

Механизм генерации таков, что при $m+1$ испытании новая величина g с вероятностью $\frac m {m+1}$ совпадает с предыдущей, а с вероятностью $\frac 1 {m+1}$ равна $g_{m+1}$. Легко видеть, что все $g_i, i \le m$ в m-том испытании равновероятны. При этом $f(g_m)=f(g_{m+1})$ с вероятностью $\frac m {m+1}$, и их произведение для данной $f(g)$ единица, и в половине случаев единица будет и при событии с вероятностью $\frac 1 {m+1}$, в половине же при таком событии будет минус единица. То есть матожидание произведения m-того значения на (m+1)-ое окажется равно $\frac m {m+1}=1-\frac 1 {m+1}$, а матожидание суммы этих произведений от первого до n-ного слагаемого можно посчитать через сумму гармонического ряда, получив $n-\ln n-\gamma$. А так как сумма квадратов будет n, то с ростом n корреляция будет стремиться к единице. Причина очевидна, наша последовательность будет состоять из всё более длинных цепочек 1 или -1.

Вы вернулись к первому примеру. Действительно в этом случае корреляция может стремиться к единице.

Но меня заинтересовал Ваш второй пример. Позже я напишу почему. Я попытаюсь для этого примера дать оценку дисперсии суммы случайных величин $D[\sum_{i=1}^n {g_i}]$.

Для оценки буду использовать формулу:

$|D[\sum_{i=1}^n {g_i}]| \leq \sum_{i=1}^n {|D[g_i]|}+\sum\sum_{i \not= j} |cov[g_ig_j]|$. (1)

Так как $|g_i| \leq 1$, то: $|D[g_i]|=|M[g_i^2]-M^2[g_i]|=|(\sum_{k=1}^i {f^2(k)})/i-({\sum_{k=1}^i {f(k))^2/i^2| \leq 1$, (2)

так как первая сумма равна 1, а вторая $\leq 1/i^2$.

На основании (2): $\sum_{i=1}^n {|D[g_i]|} \leq n$. (3)

Так как ранее мы получили оценку ковариации: $|cov[g_ig_j] \leq 1.5/i$, для $i <j$, то:

$\sum\sum_{i \not= j} |cov[g_ig_j]| \leq \sum_{i=1}^{n(n-1)} {1.5/i}$. (4)

Используя частичную сумму гармонического ряда на основании (4) получим:

$\sum\sum_{i \not= j} |cov[g_ig_j]| \leq 1.5(\log n(n-1)+ \gamma)= 3 logn+1.5 \gamma$, (5)

где $\gamma=0,5772$ (постоянная Эйлера).

На основании (3) и (5) окончательно получим:

$|D[\sum_{i=1}^n {g_i}]| \leq n+ logn +1.5\gamma$ или $D[\sum_{i=1}^n {g_i}]=O(n)$.

[vicvolf]

Теперь поясню, почему меня заинтересовал данный пример.

Рассмотрим последовательность случайных величин $g_1,g_2,...,(|g(i)| \leq C)$.

Легко показать, что максимум дисперсии случайной величины $g_i$ достигается, когда случайная величина принимает только значения $C,-C$ с равной вероятностью.

В этом случае в формуле $D[g_i]=M[g_i^2]-M^2[g_i]$ значение $M[g_i]=0$, а $M[g_i^2]=C^2$, поэтому $D[g_i]=C^2$.

Для суммы случайных величин $\sum_{i=1}^n {g_i}, |g_i | \leq C$ в этом случае также достигается максимум дисперсии, так как в формуле:

$D[\sum_{i=1}^n {g_i}]=M[(\sum_{i=1}_n {g_i^2})^2]-M^2[\sum_{i=1}^n {g_i}]$ значение $M[\sum_{i=1}^n {g_i}]=0$,

поэтому $D[\sum_{i=1}^n {g_i}]=M[(\sum_{i=1}^n {g_i})^2]=M[(\sum_{i=1}^n {g_i^2)]+\sum\sum_{i \not= j} M[g_ig_j]$.

Сделаем оценку первого слагаемого в последнем выражении:

$|\sum_{i=1}^n {M[g_i^2]} \leq C^2n$.

В оценке второго слагаемого, используем оценку: $|M[g_ig_j]| \leq 1.5C^2/i,i <j$, поэтому, на основании частичной суммы гармонического ряда, получим:

$|\sum\sum_{i \not= j} M[g_ig_j]| \leq \sum_{i=1}^{n(n-1)} {1.5C^2/i}=C^2 (3logn+1.5\gamma)$.

Используя обе полученные оценки получим:

$|D[\sum_{i=1}^n {g_i}]| \leq C^2 (n+3logn+1.5\gamma)$ или $D[\sum_{i=1}^n {g_i}]=O(n)$.

Отсюда следует, что если случайная величина $g_i$ принимает значения арифметической функции $f$, т.е. если $g_i(1)=f(1),...,g_i(i)=f(i)$, с равной вероятностью и арифметическая функция ограничена - $|f(i) |\leq C$, то для дисперсии суммы случайных величин выполняется оценка: $D[\sum_{i=1}^n {g_i}]=O(n)$.