Вероятность про урну с нумерованными шарами

[Yadryara]

mihaild в сообщении #1661257 писал(а):

Уж точно среднее число шаров больше вероятности вытащить хотя бы один.

А а я-то всё думал, что за среднее число шаров? Так это про мат. ожидание? Я в таких случаях обычно говорю:

среднее ожидаемое число шаров.

Прям заставляю себя вставлять это слово, чтоб понятно было.

А можно я ещё вопрос задам? Прям актуальный. Мы всё равно уже $0-67\#$ скоро досчитаем и, видимо, будем $0-71\#$ считать. А там среднее ожидаемое число шаров почти 11 и вероятность успеха огромная: $>0.99$ по разным подсчётам.

Вот по этому новому счёту хочу спросить.

[vicvolf]

Dmitriy40 в сообщении #1661421 писал(а):

Если Вы про $P(|X-\mu| \ge a) \le \sigma^2 / a^2$, то это ровно та же формула, дающая столь же бессмысленный ответ для $\mu=0.5112, \sigma=0.715, a=1-\mu, P=2.14$ (для двух хвостов, но и её половина $P/2>1$, а никакая вероятность не должна быть больше $1$). Так про какую другую формулу Вы?

Этот вариант формулы работает только при $a>\sigma$. А здесь очень кривое распределение. Левый хвост обрублен. За счет этого удлинятся правый хвост $\sigma > \mu$, чтобы суммарная вероятность была равна 1.

[vicvolf]

Можно попробовать неравенство Маркова https://ru.wikipedia.org/wiki/%D0%9D%D0 ... 0%B2%D0%B0 Оно не использует среднее квадратичное отклонение.

-- 14.11.2024, 19:03 --

Yadryara в сообщении #1661444 писал(а):

А можно я ещё вопрос задам? Прям актуальный. Мы всё равно уже $0-67\#$ скоро досчитаем и, видимо, будем $0-71\#$ считать. А там среднее ожидаемое число шаров почти 11 и вероятность успеха огромная: $>0.99$ по разным подсчётам. Вот по этому новому счёту хочу спросить.

Вот здесь неравенство Чебышева возможно пригодится.

[Dmitriy40]

Неравенство Маркова для 71# и нахождения минимум одного кортежа: $P(X \ge b)\le \mu/b, b=1, \mu=10.97, P(X \ge 1) \le 10.97/1=10.97$. Ну прям очень информативно.

Неравенство Чебышева для тех же условий: $P(X \ge 1)=\frac{1-P(|X-\mu| \ge a)}{2}, a=\mu-b, P(|X-\mu| \ge a) \le \frac{\sigma^2}{a^2}, \sigma=3.312$, $P(X \ge 1) \ge \frac{1-\sigma^2/a^2}{2}=\frac{1-3.312^2/(10.97-1)^2}{2}=44.5\%$, при том что там приблизительно 11 чисел, найдём не менее одного с вероятностью всего лишь не менее 44%? Как-то не слишком адекватно. UPD. Наврал. Правильно 94.48%.

Оба неравенства формально верны, но пользы мало.

Оценка по стандартному отклонению: $X=\mu \pm k \sigma =10.97 \pm 3.312 k \ge 1 \to k\le 3.01$, $P(X \ge 1)=1-\frac{\operatorname{erfc}(k/\sqrt{2})}{2} \ge 99.87\%$, т.е. найдём практически наверняка. Как-то в это больше верится, уж из приблизительно 11 хотя бы один должны найти, это же больше 3 сигм (с правым хвостом), что как раз и есть 99.8%.

mihaild в сообщении #1661366 писал(а):

Вы считаете, что у вас число шаров на интервале $[1, n]$ распределено (примерно) нормально с параметрами $\mu_n, \sigma_n$ и хотите посчитать вероятность того, что будет хотя бы один шар? Она равна $\frac{1}{2} - \frac{1}{2}\operatorname{erf}\left(\frac{1 - \mu_n}{\sqrt 2 \sigma_n}\right)$ (и ничего про отрезки говорить не нужно).

Эта формула даёт ровно те 99.87%. Так что да, она совпадает с моей выше.

[vicvolf]

Dmitriy40 в сообщении #1661467 писал(а):

Неравенство Маркова для 71# и нахождения минимум одного кортежа: $P(X \ge b)\le \mu/b, b=1, \mu=10.97, P(X \ge 1) \le 10.97/1=10.97$. Ну прям очень информативно.

Неравенство Маркова предлагалось использовать для другого случая: $\mu=0.5112, \sigma=0.715, a=1-\mu$.

Dmitriy40 в сообщении #1661467 писал(а):

Неравенство Чебышева для тех же условий: $P(X \ge 1)=\frac{1-P(|X-\mu| \ge a)}{2}, a=\mu-b, P(|X-\mu| \ge a) \le \frac{\sigma^2}{a^2}, \sigma=3.312$, $P(X \ge 1) \ge \frac{1-\sigma^2/a^2}{2}=\frac{1-3.312^2/(10.97-1)^2}{2}=44.5\%$, при том что там приблизительно 11 чисел, найдём не менее одного с вероятностью всего лишь не менее 44%?

Здесь не надо делить попалам, так как существует и хвост слева.

[Dmitriy40]

vicvolf в сообщении #1661470 писал(а):

Здесь не надо делить попалам, так как существует и хвост слева.

Скорее там единицу не надо делить пополам, с ней ошибся, тогда будет $P(X \ge 1)=1-\frac{P(|X-\mu|\ge a)}{2} \ge 1-\frac{\sigma^2}{2 a^2}=1-\frac{3.312^2}{2(10.97-1)^2}=94.48\%$, уже намного больше похоже на правду.

-- 14.11.2024, 22:17 --

Yadryara
А Вы точно хотели спросить про весь 71#?

[Yadryara]

vicvolf в сообщении #1661470 писал(а):

Неравенство Маркова предлагалось использовать для другого случая: $\mu=0.5112, \sigma=0.715, a=1-\mu$.

Я так и понял. И какую же вероятность оно даёт? Равную мат. ожиданию, то есть 0.51 ?? Не многовато-ли? Противоречит вот этим словам

mihaild в сообщении #1661257 писал(а):

Уж точно среднее число шаров больше вероятности вытащить хотя бы один.

Dmitriy40 в сообщении #1661232 писал(а):

Непонятно почему эти 3 или уже 4 оценки (40%, 32%, 24%, 15%) настолько не совпадают.

Уже теперь 5 оценок: ещё и 51%.

Dmitriy40
Я хотел спросить о том же, о чём уже писал в августе. Только в теме мы разговаривали об этом вдвоём. Про выбор разбиения и гипотезу Y2. Сейчас это очень актуально.

Я, видимо, упрощаю, но Вы говорили что вычисления через vc будут в 4 раза медленнее. Я прикинул и у меня получилось, что и вероятность найти 19-ку (белый шар), при 15-16 чужих числах как раз примерно 4 раза выше, чем при 24-25.

Я бы в теме об этом спросил, но туда почему-то наши спецы не идут.

[Dmitriy40]

Yadryara в сообщении #1661477 писал(а):

Уже теперь 5 оценок: ещё и 51%.

Ага, только ещё хуже: там были равенства, здесь же неравенство, $\le 51\%$, что совсем непрактично (вдруг вероятность не 51%, а 0.3% ...).
И кажется неравенство Чебышева даёт ещё 6-й вариант, ослабленный относительно стандартного отклонения (про которое я видимо тоже ошибся записав как неравенство, оно равенство).

Yadryara в сообщении #1661477 писал(а):

Я бы в теме об этом спросил, но туда почему-то наши спецы не идут.

Наверное математику обсуждать интереснее чем вникать в нашу терминологию там, числа какие-то "чужие" и "свои", кортежи грязные и чистые, vc[] непонятный, и прочее.
Предлагаю продолжить здесь, как разберёмся с вероятностями, только в более математических формулировках (раздел всё же мотивирует).

Yadryara
Скажите, а Вы поняли почему простая формула $P=1-(1-\frac{n}{M})^W$ нам не подходит? Я вижу сразу две причины, одну можно нивелировать аккуратным выбором $n$, вторую нельзя никак.
Собственно как и $P=1-e^{-n/M}$, к которой она сходится для одного шара $W=1$ на интервале $M$ с проверкой $n$ случайных чисел из него. И те же две причины плюс ещё одна неустранимая.
Как и $P=1-e^{-\mu}$ для проверки $n$ случайных чисел из интервала $n$ с мат.ожиданием $\mu$ количества подходящих чисел (шаров/кортежей) в этом интервале. Та уже устранимая аккуратным выбором $n$ причина плюс последняя неустранимая.
Так что цифры 40%, 32%, 15% я считаю нам не подходят.

Зато придумал ещё одну оценку на базе первой формулы, устраняющую её "неустранимую" причину : $P=1-(1-\frac{n}{M}\mu_M)^{\mu_M}$ ($\mu_M$ берётся для интервала $M$), дающую 30.6% (не 32%) для проверки всего $n=M=67\#, \mu_M=0.5112$. Собственно при аккуратном выборе $n$ (например $n=M$) эта формула кажется адекватной для $\mu_M < \frac{M}{n}$.

Остаются четыре оценки:
а) неравенство Чебышева (осмысленно только для $\sigma < |\mu-B|$) с нижней границей вероятности для $\mu>B$ (для $B=1$ нужно $n>2.6 \cdot 67\#$) и верхней для $\mu < B$, $B$ это сколько минимум шаров хотим найти;
б) неравенство Маркова (осмысленно только для $\mu < B$) с верхней границей вероятности;
в) по стандартному отклонению $P=\frac{1}{2}\operatorname{erfc}(\frac{B-\mu}{\sqrt{2}\sigma}), P(n=67\#, \mu=0.5112, \sigma=0.715, B=1)=24.7\%$;
г) и только что придуманная $P=1-(1-\frac{n}{M}\mu_M)^{\mu_M}, P(n=M=67\#, \mu_M=0.5112)=30.6\%$ для всего $67\#$.

Интересно почему последние две достоверно отличаются ...

[vicvolf]

mihaild в сообщении #1661436 писал(а):

Dmitriy40 в сообщении #1661427 писал(а):

Ну то есть гипотеза ХЛ1 снова выдаёт не мат.ожидание. Как так то?

Она выдает, в некотором смысле, последовательность мат. ожиданий. А именно, она говорит, что если на отрезке $[1, N]$ ввести равномерное распределение и случайную величину $f_N(x) = \frac{1}{\ln^{k+1}(x)}$, то доля хороших чисел на отрезке примерно равна мат. ожиданию этой величины. Это строго.

Можно это подробнее пояснить. Что это за случайная величина? В чем ее случайность? Может быть имеется в виду случайная величина Бернулли с соответствующей вероятностью?

[mihaild]

vicvolf в сообщении #1661499 писал(а):

Можно это подробнее пояснить. Что это за случайная величина? В чем ее случайность?

В том, что она определена на носителе вероятностного пространства, и измерима.
Напомню определения: вероятностное пространство - кортеж $(\Omega, \mathcal F, \mu)$, где $\Omega$ - носитель вероятностного пространства, $\mathcal F$ - сигма-алгебра на $\Omega$, $\mu$ - мера на $\mathcal F$. В нашем случае $\Omega = 1,\ldots,N$, $\mathcal F = 2^\Omega$, $\mu(X) = \frac{|X|}{N}$.
Случайной величиной (на данном вероятностном пространстве, его почти никогда явно не упоминают, а считают, что понятно из контекста) называется функция $f: \Omega \to \mathbb R$, измеримая относительно $\mathcal F$ (в нашем случае требование измеримости не нужно, потому что при $\mathcal F = 2^\Omega$ все функции измеримы).
Т.е. мы думаем о самом отрезке $[1, N]$ как о вероятностном пространстве, соответственно можно говорить о вероятности того, что получили число из какого-то множества (она равна просто размеру множества), а функции, которые из чисел этого отрезка делают вещественные числа - можно считать случайными величинами.

[vicvolf]

Таким образом, $f(n) = \frac{1}{\ln^{k+1}(n)}$ - это просто арифметическая функция, для которой мы строим случайную величину на данном вероятностном пространстве?

[mihaild]

vicvolf в сообщении #1661514 писал(а):

Таким образом, $f(n) = \frac{1}{\ln^{k+1}(n)}$ - это просто арифметическая функция, для которой мы строим случайную величину на данном вероятностном пространстве?

Она (точнее ее ограничение на отрезок) - и есть случайная величина.

[vicvolf]

mihaild в сообщении #1661436 писал(а):

Dmitriy40 в сообщении #1661427 писал(а):

Ну то есть гипотеза ХЛ1 снова выдаёт не мат.ожидание. Как так то?

Она выдает, в некотором смысле, последовательность мат. ожиданий. А именно, она говорит, что если на отрезке $[1, N]$ ввести равномерное распределение и случайную величину $f_N(x) = \frac{1}{\ln^{k+1}(x)}$, то доля хороших чисел на отрезке примерно равна мат. ожиданию этой величины. Это строго.

Если Вы об этой теме topic158955.html ,то в случае $f(n)=Cn/\ln^k(n)$, где $C$ - постоянная зависящая от вида $k$- кортежа, то справа получается асимптотика количества кортежей на интервале.

[vicvolf]

mihaild в сообщении #1661523 писал(а):

vicvolf в сообщении #1661514 писал(а):

Таким образом, $f(n) = \frac{1}{\ln^{k+1}(n)}$ - это просто арифметическая функция, для которой мы строим случайную величину на данном вероятностном пространстве?

Она (точнее ее ограничение на отрезок) - и есть случайная величина.

А эти случайные величины независимы?

[mihaild]

vicvolf в сообщении #1661689 писал(а):

А эти случайные величины независимы?

Как я уже говорил в предыдущей теме - эти случайные величины определены на разных вероятностных пространствах, поэтому говорить об их зависимости нельзя.