Пентадекатлон мечты

[Yadryara]

EUgeneUS в сообщении #1551518 писал(а):

Похоже, столько 14-к в 38-разрядных числах не будет

Зато будет 91 миллиард попыток до 1е38. А для 15-шки нужно в среднем 52 ярда.

Dmitriy40 в сообщении #1551517 писал(а):

мою оценку $p_2=0.23$

У Вас $p_1$ и $p_2$ точно означают то же самое, что и у меня? Иначе надо обозначать по-другому, я уже говорил.

[Dmitriy40]

Продолжу разбирательство на модельном примере, теперь хочу понять про valids=14 для наших цепочек, что эквивалентно valids=4 для модели, и важна ли метка ALL.
valids=4 могут иметь следующие варианты: 5AAABz, 5AAAzB, 5AAyBB, 5AyABB, 5yAABB, где y не равно A и z не равно B. И только первые два варианта с z имеют метку ALL.
Вероятность y равна $1-p_1=1-2/10=8/10$, вероятность z равна $1-p_2=1-3/10=7/10$.
Всего вариантов valids=4 получается $2 p_1^3 p_2 (1-p_2) + 3 p_1^2 (1-p_1) p_2^2 = 0.00336 + 0.00864 = 0.012$, причём первое число, $0.00336$, это вероятность ALL цепочек. Выходит что "14-ок" с valids=4 без ALL в разы больше чем "14-ок" с valids=4 с ALL.

Мы же такой картины в наших цепочках не наблюдаем. Для наших цепочек с valids=14 должно быть $4 p_1^{11} p_2^3 (1-p_2)$ цепочек с ALL и $11 p_1^{10} (1-p_1) p_2^4$ цепочек без ALL (надеюсь не ошибся, делал по аналогии с модельным примером выше). Для $p_1=\sqrt[11]{233/27.3\cdot10^9}=0.1847; p_2=0.23$ за интервал 27.3млрд попыток получается 8.73 цепочек с ALL и 31.8 цепочек без ALL, а по факту имеем 11 с ALL и 9 без ALL. Т.е. налицо сильное недонахождение цепочек без ALL (найти лишних с ALL не можем физически). И проблема тут думаю в том что много цепочек без ALL не попали в статистику так как отфильтровались моей программой и в PARI по условию псевдопростоты чисел в $1-p_1$ или y по модельному примеру. При этом фильтрации по z практически не производится (порог в 40 для z намного меньше порога 4096 для y) и потому искажение количества цепочек с ALL намного меньше искажения количества цепочек без ALL.
И потому я продолжаю агитировать за подсчёт статистики только по ALL цепочкам. Ведь много (в несколько раз!) цепочек без ALL мы очевидно упустили.

Дополнительно подсчитаю отношение количества цепочек с valids=14 без ALL к valids=14 с ALL: $\dfrac{11 p_1^{10} (1-p_1) p_2^4}{4 p_1^{11} p_2^3 (1-p_2)}=\dfrac{11 (1-p_1) p_2}{4 p_1 (1-p_2)}=\dfrac{11 (1-0.1847) 0.23}{4\cdot0.1847 (1-0.23)}=3.626$. Т.е. для 11-ти цепочек с ALL должно быть ещё и плюс 40 цепочек без ALL и значит всего 51 цепочка с valids=14. А не 20 найденных. И строить статистику на этих 20-ти вместо правильных 50-ти — безответственно.

Yadryara в сообщении #1551519 писал(а):

Стоп. Где я это говорил?

Вот:

Yadryara в сообщении #1551478 писал(а):

Во-первых, это другая вероятность. Прошу придумать для неё другое обозначение.

Я так и не понял почему же другая то.

Yadryara в сообщении #1551521 писал(а):

У Вас $p_1$ и $p_2$ точно означают то же самое, что и у меня?

Да. Надеюсь. Во всяком случае я разницы не вижу. Если не сложно, то аргументируйте разницу в терминах модельного примера выше, он короче и понятнее и его можно проверить полным просчётом.

Yadryara в сообщении #1551519 писал(а):

А Вы что скажете про формулу для 14-ки?

Что она очевидно упрощается выносом $p_1^{10}p_2^4$ за скобку или частичным раскрытием второй скобки в первом слагаемом, после чего слагаемое $p_1^{10}p_2^5$ исчезает. Аналогично и слагаемое $p_1^{12}p_2^3$ из скобок с коэффициентом $4$. И в результате похоже получится ровно моя формула выше (если сложить две части, с ALL и без ALL: $4 p_1^{11} p_2^3 (1-p_2)+11 p_1^{10} (1-p_1) p_2^4=p_1^{10}p_2^3 (4 p_1 (1-p_2) + 11 (1-p_1) p_2)$). Так что да, с ней выходит полностью согласен, раз уж и сам такую же вывел.

-- 31.03.2022, 17:00 --

Да, ну и оценка по пятнашке: $p_1^{11}p_2^4$, при этом $p_1^{11}$ мы знаем, это 233/27.3e9, $p_2$ я оценил выше в $0.23$ (или в $0.25$ другим способом), значит вероятность пятнашки $p_{15}=\frac{233}{27.3\cdot10^9}0.23^4=2.4\cdot10^{-11}$ или одна на 42млрд попыток или одна на 4.6e37. В среднем. Использование $p_2=0.25$ даёт одну пятнашку на 3.3e37 (что вполне возможно), использование же $p_2=0.359$ даёт одну пятнашку на 0.7e37 или больше четырёх на проверенный интервал, а мы их пока не нашли.

[Yadryara]

Dmitriy40 в сообщении #1551420 писал(а):

Не знаю зачем относительно попыток, удобнее же относительно длины интервала

Потому что я получал $p_1$ и $p_2$ деля количество исходов на количество попыток. И подробно рассказал как.

Dmitriy40 в сообщении #1551420 писал(а):

$p_1=\sqrt[11]{233/3\cdot10^{37}}=0.000643$. Это вероятность произвольному числу быть "огромным простым" (на проверяемых местах! возможно не вообще).

Так всё-таки на любом из 15-ти мест или на проверяемых местах ?

[EUgeneUS]

Yadryara в сообщении #1551521 писал(а):

Зато будет 91 миллиард попыток до 1е38. А для 15-шки нужно в среднем 52 ярда.

(Оффтоп)

Ваши слова, да Богу в уши.

(И, как малая фронту подмога, мой песок и дырявый кувшин)

В 9е37 у меня обсчиталось 2.5 оборота по 1е35 на 4 потока, итого 1 десятая.
И нашлась первая 14-ка.

[Dmitriy40]

Попытаюсь оценить количество 13-шек, только с ALL (без ALL все оценки будут неадекватны), по аналогии с модельным примером: $p_{13}=4 p_1^{11} p_2^2( 1-p_2)^2$ (все 11 правильны, из остальных два правильны и два неправильны). Для $p_1=0.1847; p_2=0.23$ получается за проверенный интервал 29 штук. А найдено 58.

Yadryara в сообщении #1551527 писал(а):

Потому что я получал $p_1$ и $p_2$ деля количество исходов на количество попыток.

$\sqrt[11]{233 / 27.3\cdot10^9}=0.1847$.
Проверка: $0.1847^{11}\times27.3\cdot10^9=232.97$ при реальных 233.
Другая проверка: $0.154^{11}\times 27.3\cdot10^9=31.54$ при реальных 233.
Или Вы не согласны что полнокомплектные цепочки любой длины с меткой ALL дают именно вероятность $p_1^{11}$ так как в них найдены именно что все 11 чисел?

-- 31.03.2022, 17:54 --

Yadryara
Ну и пересчёт $p_1$ от попыток к интервалу и обратно тривиален: $\frac{0.000643}{0.1847} = \sqrt[11]{\frac{27.3\cdot10^9}{3\cdot10^{37}}}$. На расчёты вероятностей это очевидно не влияет (если подставлять правильный масштабный множитель, попытки или интервал).

-- 31.03.2022, 17:59 --

И снова ещё раз всех призываю: ну не пользуйтесь вы для статистики цепочками без метки ALL! Их пропущено (не найдено) неизвестное количество с неизвестным распределением! Пользуйтесь только цифрами по цепочкам с ALL. Они найдены гарантированно все, без пропусков. Конечно если не осталось серьёзных глюков в программах.

-- 31.03.2022, 18:10 --

Dmitriy40 в сообщении #1551532 писал(а):

Попытаюсь оценить количество 13-шек, только с ALL (без ALL все оценки будут неадекватны), по аналогии с модельным примером: $p_{13}=4 p_1^{11} p_2^2( 1-p_2)^2$ (все 11 правильны, из остальных два правильны и два неправильны). Для $p_1=0.1847; p_2=0.23$ получается за проверенный интервал 29 штук. А найдено 58.

Не прав, там коэффициент должен быть уже не $4$, а $12$ (4 варианта для одного неправильного числа и три варианта для второго): $p_{13}=12 p_1^{11} p_2^2( 1-p_2)^2$, получается втрое больше, 87шт должно быть, а найдено 58шт.

[Yadryara]

Dmitriy40 в сообщении #1551458 писал(а):

На самом деле непонятно что мешает взять и в самом PARI прогнать миллион (или миллиард) итераций по любому паттерну без проверок 11-ти чисел и проверить сколько раз на непроверяемых местах будет ровно 12 делителей. Это и будет независимая вероятность $4p_2$

Опять-таки "на непроверяемых местах". А у меня на любых местах из 15-ти. Это разные вероятности.

Dmitriy40 в сообщении #1551532 писал(а):

Или Вы не согласны что полнокомплектные цепочки любой длины с меткой ALL дают именно вероятность $p_1^{11}$ так как в них найдены именно что все 11 чисел?

Не согласен, причём по той же причине. Полнокомплектность, по определению, означает нахождение 11 одиночных простых на конкретных местах. А у меня $p_1^{11}$ означает вероятность нахождения 11 одиночных простых на любых конкретных местах из 15-ти.

[Dmitriy40]

Yadryara в сообщении #1551533 писал(а):

Не согласен, причём по той же причине. Полнокомплектность, по определению, означает нахождение 11 одиночных простых на конкретных местах. А у меня $p_1^{11}$ означает вероятность нахождения 11 одиночных простых на любых конкретных местах из 15-ти.

Для модельного примера полнокомплектность и метка ALL означают формат чисел 5AAAxx, таких чисел ровно 800 из ста тысяч, кубический корень из отношения даёт ровно вероятность двух допустимых цифр из десяти, т.е. $p_1=2/10$. Соответственно и $(2/10)^3=0.008$ даёт обратно то же количество. Что опять не так то?!

[Yadryara]

Насколько я понимаю, в Вашем модельном паттерне вероятности априорные, а не эмпирические. То есть, грубо говоря, задаются, а не вычисляются по результатам экспериментов.

-- 31.03.2022, 18:50 --

А Вы пробовали сделать обратные оценки?

Какова вероятность обнаружить одиночное простое на непроверяемом месте? 0.07 ?

Какова вероятность обнаружить пару различных простых на проверяемом месте? 0.41 ?

[Dmitriy40]

Yadryara в сообщении #1551537 писал(а):

Насколько я понимаю, в Вашем модельном паттерне вероятности априорные, а не эмпирические. То есть, грубо говоря, задаются, а не вычисляются по результатам экспериментов.

Нет, я все числа сверял программой на PARI. Не всегда получалось реализовать логику с первого раза, но в итоге все числа получаются из перебора всего диапазона и реальным подсчётом "хороших" комбинаций.

Запишу вероятности для цепочек с ALL (без ALL призываю игнорировать!) с valids=11..14 (с пояснением комбинаций на модельном примере с одним A, в который свёрнуты все $p_1^{11}$, и 4-я непроверяемыми местами B):
Для 14-ки: 5ABBBz, 5ABBzB, 5ABzBB, 5AzBBB и $p_{14}=4p_1^{11}p_2^3(1-p_2)$.
Для 13-ки: 5ABBzz, 5ABzBz, 5ABzzB, 5AzBBz, 5AzBzB, 5AzzBB и $p_{13}=6p_1^{11}p_2^2(1-p_2)^2$ (и выше был снова неправ про 87шт, их вдвое меньше, 43шт, при реальных 58).
Для 12-ки: 5ABzzz, 5AzBzz, 5AzzBz, 5AzzzB и $p_{12}=4p_1^{11}p_2(1-p_2)^3$.
Для 11-ки: 5Azzzz и $p_{11}=p_1^{11}(1-p_2)^4$.
Чтобы получить любую из них, как у нас 233 цепочки ALL, надо это всё видимо сложить: $p_{all}=p_1^{11}[(1-p_2)^4 + 4p_2(1-p_2)^3 + 6p_2^2(1-p_2)^2 + 4p_2^3(1-p_2)]=p_1^{11}[1-p_2^4]$. Хм, вычитается 15-ка ... Ну логично, чо. Но разница $(1-p_2^4)$ и единицы пока достаточно мала (меньше одной штуки для 233 цепочек) и для оценки $p_1^{11}$ её вполне можно проигнорировать.
Выходит я вполне правильно понимаю $p_1$ и все вероятности N-шек. Осталось понять правильно ли посчитал $p_2$.

Yadryara в сообщении #1551537 писал(а):

Какова вероятность обнаружить одиночное простое на непроверяемом месте?

А почему она должна отличаться от вероятности обнаружить одиночное простое на проверяемом месте? Я уже отказался от таких утверждений, Вы и модельный пример и тестовая программа на PARI меня убедили, $p_1, p_2$ уже не зависят от места, только от процента допустимых вариантов ко всем.

-- 31.03.2022, 21:01 --

Dmitriy40 в сообщении #1551545 писал(а):

Осталось понять правильно ли посчитал $p_2$.

Предварительно запишем отношения $p_{15}/p_{14}, p_{14}/p_{13}, p_{13}/p_{12}, p_{12}/p_{11}$:

$\frac{p_{15}}{p_{14}} = \frac{p_1^{11}p_2^4}{4p_1^{11}p_2^3(1-p_2)} = \frac{1}{4}\frac{p_2}{1-p_2}$

$\frac{p_{14}}{p_{13}} = \frac{4p_1^{11}p_2^3(1-p_2)}{6p_1^{11}p_2^2(1-p_2)^2} = \frac{2}{3}\frac{p_2}{1-p_2}$

$\frac{p_{13}}{p_{12}} = \frac{6p_1^{11}p_2^2(1-p_2)^2}{4p_1^{11}p_2(1-p_2)^3} = \frac{3}{2}\frac{p_2}{1-p_2}$

$\frac{p_{12}}{p_{11}} = \frac{4p_1^{11}p_2(1-p_2)^3}{p_1^{11}(1-p_2)^4} = 4 \frac{p_2}{1-p_2}$

Далее, по цепочкам ALL я считал сколько раз на любом непроверяемом месте появится ровно 12 делителей, т.е. в терминах 5ABBBB сколько B появится в таких числах. Количество возможных мест для B составляло $233\times4=932$, из них на 232-х были обнаружены ровно 12 делителей в 152-х цепочках, $p_x=232/932=0.25$. Вопрос $p_x$ равно $p_2$ или нет ... Попытаюсь из $p_x$ и 233 получить 152. Цифра B может появиться в цепочке в следующих вариантах: 5ABzzz, 5AzBzz, 5AzzBz, 5AzzzB, 5ABBzz, 5ABzBz, 5ABzzB, 5AzBBz, 5AzBzB, 5AzzBB, 5ABBBz, 5ABBzB, 5ABzBB, 5AzBBB, 5ABBBB. Если просуммировать вероятности этих вариантов, по группам, получим $p_?=4p_x(1-p_x)^3 + 6p_x^2(1-p_x)^2 + 4p_x^3(1-p_x) + p_x^4=1-(1-p_x)^4=0.6836$, при домножении на 233 даёт 159 вместо 152. Непонятно. Хотя и близко. Чтобы попасть точно в 152 надо взять $p_x=0.23214$, что для такой небольшой выборки буду считать вполне допустимой погрешностью.
Итого $p_x=p_2$ и посчитано практически правильно.

-- 31.03.2022, 21:10 --

Теперь подставлю $p_2=0.23$ (как более надёжное и полученное на существенно бОльшей выборке) в отношения вероятностей разных valids цепочек с ALL:
$p_{15}/p_{14}=(0.23)/(4(1-0.23))=0.075$
$p_{14}/p_{13}=(2\cdot0.23)/(3(1-0.23))=0.2$
$p_{13}/p_{12}=(3\cdot0.23)/(2(1-0.23))=0.45$
$p_{12}/p_{11}=(4\cdot0.23)/(1-0.23)=1.2$
Реально же найдено $0/11=0.0$, $11/58=0.2$, $58/83=0.7$, $83/81=1.0$. Совпадение хорошее, но не идеальное.

-- 31.03.2022, 21:19 --

Желающие могут по МНК подобрать лучшее значение $p_2$ исходя из отношений разных valids. Мне нравится и $p_2=0.23$.

-- 31.03.2022, 21:20 --

Соответственно оценка пятнашки остаётся адекватной:

Dmitriy40 в сообщении #1551523 писал(а):

Да, ну и оценка по пятнашке: $p_1^{11}p_2^4$, при этом $p_1^{11}$ мы знаем, это 233/27.3e9, $p_2$ я оценил выше в $0.23$ (или в $0.25$ другим способом), значит вероятность пятнашки $p_{15}=\frac{233}{27.3\cdot10^9}0.23^4=2.4\cdot10^{-11}$ или одна на 42млрд попыток или одна на 4.6e37. В среднем.

Уф.
На этом вопрос оценок вероятностей для себя считаю закрытым. Формулы получены, коэффициенты посчитаны, с реальностью неплохо совпадают, будем ждать или 15-ку , или увеличения объёма исходных данных для статистики.

[EUgeneUS]

Dmitriy40 в сообщении #1551532 писал(а):

снова ещё раз всех призываю: ну не пользуйтесь вы для статистики цепочками без метки ALL! Их пропущено (не найдено) неизвестное количество с неизвестным распределением! Пользуйтесь только цифрами по цепочкам с ALL. Они найдены гарантированно все, без пропусков. Конечно если не осталось серьёзных глюков в программах.

Если подходить "с точки зрения статистики", то без разницы какой мир - статистика это покажет.
Важно, чтобы при сборе статистики мир не менялся.

[Dmitriy40]

EUgeneUS в сообщении #1551549 писал(а):

Если подходить "с точки зрения статистики", то без разницы какой мир - статистика это покажет.

Нет, ещё нужно чтобы распределение пропущенных цепочек не менялось (и возможно оставалось симметричным или ещё каким специальным), а этого гарантировать нельзя.

[EUgeneUS]

Dmitriy40 в сообщении #1551550 писал(а):

Нет, ещё нужно чтобы распределение пропущенных цепочек не менялось (и возможно оставалось симметричным или ещё каким специальным), а этого гарантировать нельзя.

Так про это и была вторая часть:

EUgeneUS в сообщении #1551549 писал(а):

Важно, чтобы при сборе статистики мир не менялся.

Но пока, вроде бы, со сбором статистики $a_i$ имеют тенденцию к тому, чтобы зафиксироваться, а не уползать куда-то.
Кроме $a_{14}$, который, вроде бы, уползает вниз.

"Статистический подход" имеет и такой минус: пока собираем статистику для адекватной оценки $a_{14}$ пятнашка может и найтись.

[Dmitriy40]

Коэффициент $p_{15}/p_{14}=0.075$ говорит что одна 15-ка приходится на 13.4 полнокомплектных (с ALL) 14-ки. А мы нашли пока только (или уже) 11 ... И этому в общем можно верить, ведь наибольшую ошибку даёт отношение $p_{13}/p_{12}$.

-- 31.03.2022, 21:52 --

EUgeneUS
Мне чудится или формулы выше $p_i/p_{i-1}$ дают как раз теоретическую оценку ваших $a_i$? Если последние пересчитать только по ALL цепочкам.
И соответственно ваши $a_i$ зависят только от диапазона — $p_2$ немного плывёт от величины чисел, например меняется с $0.2324$ для 3e37 до $0.2218$ для 3e39 (оценка по 12-ти группам паттернов N2, всего 8640 паттернов). А на близких диапазонах они и будут (должны быть) константами. Так что я можно сказать вывел/подтвердил эту Вашу гипотезу.

-- 31.03.2022, 22:01 --

Где-то в начале темы поднимался вопрос чаще ли пары простых дают ровно 12 делителей чем одиночное большое, если я правильно понимаю, то это прямо сравнение $p_2=0.23$ и $p_1=0.1847$ соответственно. Совсем не сильно чаще, никаких раз и тем более порядков. Правда это уже при анализе лишь по паттернам, а не всех подряд чисел. Но могу и неправильно понимать вопрос ...

[EUgeneUS]

Dmitriy40 в сообщении #1551552 писал(а):

Если последние пересчитать только по ALL цепочкам.

Не считал по ALL цепочкам, так как их количество мало для статистических выводов.

Dmitriy40 в сообщении #1551552 писал(а):

И соответственно ваши $a_i$ зависят только от диапазона — $p_2$ немного плывёт от величины чисел, например меняется с $0.2324$ для 3e37 до $0.2218$ для 3e39 (оценка по 12-ти группам паттернов N2, всего 8640 паттернов).

Да, "мои" $a_i$, плывут от диапазона. Но вроде бы в связи с "эффектом начала диапазона". То есть вначале они больше, а потом уменьшаются.
Вопрос: они уменьшаются, стремясь к некому пределу, или медленно, но неуклонно - остаётся для меня открытым.

UPD:
Впрочем, пример $a_{12}$, которое довольно надежно зафиксировалось, позволяет думать, что у всех $a_i$ есть некоторое предельное значение.

Также стоит учитывать, что "статистика" будет оценивать предельные значения $a_i$ (если таковые существуют), а в начале они могут быть заметно выше.

[Dmitriy40]

EUgeneUS
Это оценка не от начала диапазона, а всего по одному кандидату в цепочку для 8640 паттернов где-то около 3e37 и около 3e39:

Dmitriy40 в сообщении #1551552 писал(а):

$p_2$ немного плывёт от величины чисел, например меняется с $0.2324$ для 3e37 до $0.2218$ для 3e39 (оценка по 12-ти группам паттернов N2, всего 8640 паттернов)

Т.е. для неё бралось ровно одно значение $n=n_0+km$ (для каждого паттерна своё, но в пределах одного шага m=4.4e26) и проверялось есть ли 12 делителей на непроверяемых местах.
Возможные претензии что всего одно значение отвергаю: увеличение количества значений практически не меняет $p_2$, это проверял, там все числа просто кратно возрастают.
И если что: всего на 8640 паттернов нашлось почти 8000 подходящих пар простых, это уже не 932 возможных места, тут их 34560. А по всем 46080 паттернам возможных мест было 184320. Почему и считаю эту оценку $p_2=0.23$ существенно более надёжной, из-за намного большей выборки и усреднения по всем паттернам. И применимой от 1e35 (не проверял но верю) до 1e40 и дальше.
Чем и ценно, что два разных метода дали почти одинаковое значение $p_2$.

-- 31.03.2022, 22:31 --

EUgeneUS в сообщении #1551553 писал(а):

Вопрос: они уменьшаются, стремясь к некому пределу, или медленно, но неуклонно - остаётся для меня открытым.

Раз они зависят от $p_2$, которое по идее должно уменьшаться с ростом чисел (простых становится меньше), то тоже будут уменьшаться ($x/(1-x)$ для $x<0.5$ является возрастающей функцией, график).