Неравенство Чебышева и оценка вероятностей [Ширяев]

[Plague Doctor]

Добрый день.

На самом деле, вопрос лишь косвенно касается неравенства Чебышева.
Ширяев в гл.1 §6 п.7 приводится хитрая оценка вероятности $\left\lbrace\left\lvert \frac{S}{n} - p \right\rvert \leqslant \varepsilon \right\rbrace$ через экспоненциальную форму неравенства Чебышева. Но дело даже не в этом. В целом, все выкладки понятны, кроме двух:

1.
Приводится такая формула:
$H(a) = a\ln \frac{a}{p} + (1 - a)\ln\frac{1-a}{1-p}$

и утверждается, что
$H(p + x)\geqslant 2x^2, 0 \leqslant p + x \leqslant 1 $

Откуда следует это утверждение???
Я уже третий день этими логарифмами жонглирую и частичные суммы рядов оценить пытаюсь, но воз, увы, и ныне там.

2.
Этот вопрос для тех, у кого есть книжка Ширяева, т.к. чтобы полностью описать весь контекст, пришлось бы переписывать весь параграф с предельными теоремами, т.к. непонятны выкладки в самом конце главы.

Цитирую "Воспользовавшись без труда («правило Лопиталя») устанавливаемым соотношением...... --->
$\frac{1}{\sqrt{2\pi}}\int\limits_{x}^{\infty} e^{-y^2/2} dy \sim \frac{1}{\sqrt{2\pi}x} e^{-x^2/2}, x \to \infty$

(С этим я, в целом, согласен. Хотя, дифференцирование несобственных интегралов по нижнему пределу я себе представляю не очень хорошо. Зорич, рассматривая эту тему, дифференцирует не по параметру интегрирования (у него интегральная ф-ция от двух параметров). Но интуиция (и правила дифференцирования собственных интегралов) подсказывает, что формула выше верна). Когда начал с этим разбираться, у меня все время лишний минус вылезал, но после расписывания приращений вроде сошлось.)

---> ... можно показать, что $k^2 (\alpha) \sim 2\ln\frac{2}{\alpha}, \alpha\downarrow 0$ "

При этом, выше он приводит следующее соотношение для $k$:

$\frac{1}{\sqrt{2\pi}}\int\limits_{-k(\alpha)}^{k(\alpha)} e^{-x^2/2} dx = 1 - \alpha$
и $2\xi\sqrt{n} \geqslant k(\alpha)$

Вот как он это получил? Куда вставил предыдущую оценку интеграла, чтобы это вывести?

[Plague Doctor]

По поводу пункта 2:
Я предположил, что он вот это:
$\left\lbrace\left\lvert \frac{S}{n} - p \right\rvert \leqslant \varepsilon \right\rbrace \sim \frac{1}{\sqrt{2\pi}}\int\limits_{-\varepsilon\sqrt{n/pq}}^{\varepsilon\sqrt{n/pq}}e^{-x^2/2} dx, n \to \infty$
представил в виде:
$\left\lbrace\left\lvert \frac{S}{n} - p \right\rvert \leqslant \varepsilon \right\rbrace \sim 1 - ( \frac{1}{\sqrt{2\pi}}\int\limits_{-\infty}^{-x}e^{-x^2/2} dx + \frac{1}{\sqrt{2\pi}}\int\limits_{x}^{\infty}e^{-x^2/2} dx) $
и уже как-то от этого отталкивался.

[ShMaxG]

Plague Doctor
По-моему неравенство из первого пункта следует из неравенства

$$\ln{(1+x)} \ge \frac{x}{1+x}, \ \ x > -1.$$

-- Чт янв 30, 2020 18:56:26 --

По поводу второго пункта, не понимаю, какие могут быть проблемы с дифференцированием несобственного интеграла с переменным нижним пределом. Вы же всегда его можете представить как сумму двух интегралов -- с конечными пределами и несобственный. Второй от икс не зависит, это число. А первый дифференцируйте как обычно. Как замечено в книге, по правилу Лопиталя действительно получается, что те функции в пределе эквивалентны.

-- Чт янв 30, 2020 19:31:16 --

Что касается $k^2(\alpha)$, то тоже все понятно. Из равенства

$$\frac{1}{\sqrt{2\pi}}\int\limits_{-k(\alpha)}^{k(\alpha)}e^{-x^2/2}\,dx=1-\alpha$$

следует

$$\frac{1}{\sqrt{2\pi}}\int\limits_{k(\alpha)}^{+\infty}e^{-x^2/2}\,dx=\alpha/2,$$

поэтому отсюда (по указанному в книге свойству) сразу получаем

$$\frac{1}{\sqrt{2\pi}k(\alpha)}e^{-k^2(\alpha)/2} \sim \alpha/2, \ \alpha \to 0.$$

С другой стороны можно взять равенство выше, продифференцировать его и получить

$$-\frac{1}{\sqrt{2\pi}}k'(\alpha)e^{-k^2(\alpha)/2}=1/2,$$

откуда выражаем эту экспоненту, подставляем в формулу выше и получаем $-kk' \sim \alpha$ и откуда следует требуемое $k^2(\alpha) \sim 2\ln{(2/\alpha)},\alpha\to0$.

[Plague Doctor]

ShMaxG

Цитата:

По поводу второго пункта, не понимаю, какие могут быть проблемы с дифференцированием несобственного интеграла с переменным нижним пределом. Вы же всегда его можете представить как сумму двух интегралов -- с конечными пределами и несобственный. Второй от икс не зависит, это число. А первый дифференцируйте как обычно. Как замечено в книге, по правилу Лопиталя действительно получается, что те функции в пределе эквивалентны.

И правда очевидно.
По поводу пункта 2 - благодарю за исчерпывающее объяснение! Все и правда сошлось.


А вот пункт 1 пока не поддался.

Цитата:

По-моему неравенство из первого пункта следует из неравенства...

С этим неравенством я тоже пробовал. Если подставить "в лоб" (и если я нигде не ошибся), оценка получается
$H(p+x) \geqslant \frac{x^2}{1-p}$
но она заходит только для $p \geqslant \frac{1}{2}$
Т.е.
$H(p+x) \geqslant 2x^2$ - более точна при $p < \frac{1}{2} $

На всякий случай попробовал перебросить правую часть влево и оценить производную через это неравенство, но ничего толкового не вышло (оценка-то по сути та же самая).

[Otta]

Plague Doctor
Видимо, у меня более раннее издание Ширяева. Он это место там довольно подробно обосновывает, предварительно разложив $H(x)$ по формуле Тейлора по степеням $(x-p)$, до второго порядка.

[ShMaxG]

Да там все гораздо проще. Там же вторая производная функции $H(p+x)$ по иксу равна

$$H''(p+x)=\frac{1}{p+x} + \frac{1}{1-p-x} = \frac{1}{(p+x)(1-p-x)} \ge 4$$

для всех допустимых икс, т.е. $-p < x < 1-p$. Проинтегрируем это неравенство аккуратно два раза и получим $H(p+x) \ge 2x^2$ для всех $-p < x < 1-p$.

[Plague Doctor]

ShMaxG в сообщении #1437949 писал(а):

Да там все гораздо проще. Там же вторая производная функции $H(p+x)$ по иксу равна

$$H''(p+x)=\frac{1}{p+x} + \frac{1}{1-p-x} = \frac{1}{(p+x)(1-p-x)} \ge 4$$

для всех допустимых икс, т.е. $-p < x < 1-p$. Проинтегрируем это неравенство аккуратно два раза и получим $H(p+x) \ge 2x^2$ для всех $-p < x < 1-p$.

Красиво. Спасибо.

Otta в сообщении #1437819 писал(а):

Видимо, у меня более раннее издание Ширяева. Он это место там довольно подробно обосновывает, предварительно разложив $H(x)$ по формуле Тейлора по степеням $(x-p)$, до второго порядка.

Да, этот момент я упустил. Но тут все-равно не до конца понятно.
Если разложить $H(\hat{p}), \hat{p} = p + x$ в точке $x = 0$, у меня получилось:
$H(\hat{p}) = H(p) + H'(p)x + \frac{1}{2}H''(p)x^2 + o(x^3) = \frac{1}{2}(\frac{1}{p} + \frac{1}{1-p}) + o(x^3) \geqslant 2x^2 + o(x^3)$

Но тут все портит $o(x^3)$

Если взять в форме Лагранжа:
$R_n(x) = \frac{x^3}{6}(\frac{1}{(1-p-\theta x)^2} - \frac{1}{(p+\theta x)^2})$

Чтобы его отбросить, надо, чтобы было $R_n(x) \geqslant 0$
Это может быть при $ p \geqslant \frac{1}{2} - \theta x$ или опять же $ p \geqslant \frac{1}{2}$

Можно ли все-таки доказать это неравенство через разложение в ряд?

[Someone]

Plague Doctor в сообщении #1438374 писал(а):

$H(\hat{p}) = H(p) + H'(p)x + \frac{1}{2}H''(p)x^2 + o(x^3) = \frac{1}{2}(\frac{1}{p} + \frac{1}{1-p}) + o(x^3) \geqslant 2x^2 + o(x^3)$

Добавьте ещё один член к формуле и возьмите остаточный член в форме Лагранжа.

[Otta]

Plague Doctor в сообщении #1438374 писал(а):

$H(\hat{p}) = H(p) + H'(p)x + \frac{1}{2}H''(p)x^2 + o(x^3) = \frac{1}{2}(\frac{1}{p}x^2 + \frac{1}{1-p}) + o(x^3) \geqslant 2x^2 + o(x^3)$

Ну там или о маленькое от $x^2$ все же в конце или, по авторской версии о большое от $x^3$. И я совершенно не вижу, где, собственно, используется это неравенство. Вполне достаточно разложения.

[Plague Doctor]

Someone в сообщении #1438386 писал(а):

Добавьте ещё один член к формуле и возьмите остаточный член в форме Лагранжа.

В этом случае у меня вылезают иксы, которые все портят.
Распишу первые 4 производные для наглядности:
$H'(x) = \ln\frac{x}{p} - \ln\frac{1-x}{1-p}$
$H''(x) = \frac{1}{x} - \frac{1}{1-x}$
$H'''(x) = -\frac{1}{x^2} + \frac{1}{(1-x)^2}$
$H''''(x) = 2\frac{1}{x^3} + 2\frac{1}{(1-x)^3}$

Итого, раскладывая $H(\hat{p}), \hat{p} = p + x$ в точке $x = 0$:
$H(\hat{p}) = H(p) + H'(p)x + \frac{1}{2}H''(p)x^2 + \frac{1}{6}H'''(p)x^3 + R_n $
$R_n(x) = \frac{x^4}{4!}(2\frac{1}{(1-p-\theta x)^3} + 2\frac{1}{(p+\theta x)^3}) = \frac{x^4}{12}(\frac{1}{(1-p-\theta x)^3} + \frac{1}{(p+\theta x)^3})$

И вот, что получилось:
$H(\hat{p}) = \frac{1}{2}(\frac{1}{p} + \frac{1}{1-p})x^2 + \frac{1}{6}(\frac{1}{(1-p)^2} - \frac{1}{p^2})x^3 + \frac{1}{12}(\frac{1}{(1-p-\theta x)^3} + \frac{1}{(p+\theta x)^3})x^4 = \frac{1}{2}(\frac{1}{p} + \frac{1}{1-p})x^2 + \frac{x^3}{6}(\frac{1}{(1-p)^2} - \frac{1}{p^2} + \frac{x}{2(1-p-\theta x)^3} + \frac{x}{2(p+\theta x)^3})$

Из этого можно сказать, что:
$H(\hat{p}) \geqslant \frac{1}{2}(\frac{1}{p} + \frac{1}{1-p})x^2 + \frac{x^3}{6}(\frac{1}{(1-p)^2} - \frac{1}{p^2} + \frac{x}{2(1-p)^3} + \frac{x}{2(p+x)^3})$

Ну и дальше опять что-то застопорилось. Пытался прикинуть, что будет, если представить остаток в интегральной форме, но на глаз из этого тоже ничего хорошего не вышло, ибо на выходе получится огромное кол-во разномастных членов, включая логарифмы. Сразу оговорюсь, что я это не досчитал - просто посмотрел, как будет выглядеть подынтегральное выражение.

Otta в сообщении #1438389 писал(а):

Ну там или о маленькое от $x^2$ все же в конце или, по авторской версии о большое от $x^3$

Безусловно! Это я тут наврал.

Otta в сообщении #1438389 писал(а):

И я совершенно не вижу, где, собственно, используется это неравенство. Вполне достаточно разложения.

Он использует это ближе к концу параграфа. Параграф 6, пункт 7, формула (39). Там он применяет именно неравенство.

И коль скоро у вас под рукой Ширяев, помогите, пожалуйста, разобраться с еще одним вопросом.
В §7 (оценка вероятностей успеха в схеме Бернулли), когда он расписывает доверительные интервалы, он получил:

$P_\theta\left\lbrace\left\lvert\theta-T_n\right\rvert\leqslant\lambda\sqrt{\frac{\theta(1-\theta)}{n}}\right\rbrace = 0.9973$
где $T_n = \frac{S_n}{n} -$ эффективная оценка, $ S_n = \xi_1 +...+ \xi_n, \theta -$ вероятность успеха одного исхода.

$E_\theta T_n = \theta$

Т.е. с вероятностью 0,9973 (формула 8):
$T_n - 3\sqrt{\frac{\theta(1-\theta)}{n}} \leqslant \theta \leqslant T_n + 3\sqrt{\frac{\theta(1-\theta)}{n}} $

С этим все понятно. И вот дальше он приводит, цитирую - "или после итерирования и отбрасывания членов порядка $O(n^\frac{-3}{4})$":
$T_n - 3\sqrt{\frac{T_n(1-T_n)}{n}} \leqslant \theta \leqslant T_n + 3\sqrt{\frac{T_n(1-T_n)}{n}} $

1. Это ($T_n \to \theta $) разве не следует из закона больших чисел?
2. Что он итерирует и откуда получил $O(n^\frac{-3}{4}) $. Быть может, он как-то выводит это через $E_\theta T_n = \theta$?
3. Зачем он вообще это написал, когда ниже он приводит "Отсюда следует, что доверительный интервал":
$[T_n - \frac{3}{2\sqrt{n}}, T_n + \frac{3}{2\sqrt{n}}]$
Разве это не следует из предыдущей формулы (формулы 8)??

[Otta]

Plague Doctor в сообщении #1438611 писал(а):

Он использует это ближе к концу параграфа. Параграф 6, пункт 7, формула (39). Там он применяет именно неравенство.

Вы лучше скажите, при доказательстве какого результата. У нас решительно разные версии, и пункт 7 шестого параграфа в моем издании - это задачи.

[Someone]

Plague Doctor в сообщении #1438611 писал(а):

$H(\hat{p}) = H(p) + H'(p)x + \frac{1}{2}H''(p)x^2 + \frac{1}{6}H'''(p)x^3 + R_n $

Нет, не получится. Прошу прощения, мне что-то померещилось.

Если все эти изыски отбросить и учесть, что $p(1-p)\leqslant\frac 14$ при $0<p<1$, то вторая производная от $H(p+x)-2x^2$ при $0<p+x<1$ тривиально оценивается снизу нулём, и если дважды это неравенство проинтегрировать (имеются в виду интегралы по $x$ с нижним пределом $0$), то получится как раз то, что нужно. Как Вам и советовали раньше.

[Plague Doctor]

Someone в сообщении #1438645 писал(а):

Если все эти изыски отбросить и учесть, что $p(1-p)\leqslant\frac 14$ при $0<p<1$, то вторая производная от $H(p+x)-2x^2$ при $0<p+x<1$ тривиально оценивается снизу нулём, и если дважды это неравенство проинтегрировать (имеются в виду интегралы по $x$ с нижним пределом $0$), то получится как раз то, что нужно. Как Вам и советовали раньше.

Да, это простое и красивое решение.
Я просто ради интереса и практики хотел попробовать доказать это именно с помощью разложения.
Ну нет так нет). Все-равно спасибо.

Otta в сообщении #1438640 писал(а):

Вы лучше скажите, при доказательстве какого результата. У нас решительно разные версии, и пункт 7 шестого параграфа в моем издании - это задачи.

Там очередная попытка получить оценку точнее, чем Чебышев.
Ну и, соответственно, поиск минимально необходимого кол-ва экспериментов.

Там он пользуется, как он это называет, "экспоненциальной" формой неравенства Чебышева:
$\left\lbrace X \geqslant \varepsilon \right\rbrace = \left\lbrace X^{2k} \geqslant \varepsilon^{2k} \right\rbrace \leqslant \frac{X^{2k}}{\varepsilon^{2k}}$
или
$\left\lbrace X \geqslant \varepsilon \right\rbrace = \left\lbrace e^{\lambda X} \geqslant e^{\lambda \varepsilon} \right\rbrace \leqslant e^{\lambda (X - \varepsilon)}$

Дальше он приходит к выводу:
$\left\lbrace \frac{S_n}{n} \geqslant a\right\rbrace \leqslant e^{-nH(a)}$

И далее он применяет это неравенство:
$H(p + \varepsilon) \geqslant 2\varepsilon^2$
$\left\lbrace \frac{S_n}{n} - p \geqslant \varepsilon \right\rbrace \leqslant e^{-2n\varepsilon^2}$

И в конце он получает:
$\left\lbrace \left\lvert \frac{S_n}{n} - p \right\rvert \leqslant \varepsilon \right\rbrace \geqslant 1 - \alpha$
$n_3(\alpha) = [\frac{\ln(\frac{2}{\alpha})}{2\varepsilon^2}] $

В принципе, по сети ходит его четвертое издание. У меня шестое, но пока они, вроде, совпадают вплоть до нумерации формул. Если вас не коробит скачивание книг, можете посмотреть там.