Симметричные кортежи из последовательных простых чисел

[Yadryara]

Ну я всё-таки вытащу кое-что из оффтопа. И обсуждать буду как обычно задачи, а не личности.

Dmitriy40 в сообщении #1653506 писал(а):

потому что полноту спектра гарантирует недоказанная математическая гипотеза, которая ну очень похожа на правду и нарушений которой неизвестно

Диксона, да. Не раз уже говорили.

Dmitriy40 в сообщении #1653506 писал(а):

Надежда на "авось повезёт". Ну, как одна из стратегий - да, возможно, вдруг и правда повезёт. Страшно неэффективно, но возможно.

Ну так вместо того чтобы чужие компы страшно неэффективно гонять по сути по той же задаче, лучше отказаться в Вашу пользу. Чтоб найти 19-252 года Вам должно хватить с запасом.

Демис, если Вы прочитали последние посты, прошу: свяжитесь сами знаете с кем и передайте мою просьбу. Подчёркиваю: это лично моя инициатива. Мне просить нетрудно, я это делаю не для себя.

Dmitriy40 в сообщении #1653506 писал(а):

Тут 90 лет взято откровенно с потолка (наврано), у неё выложены времена проверки одной её "вушки", можно взять и посчитать, у меня когда прикидывал получалось что-то типа 9000 лет (в тысячи раз медленнее), не 90.

Ну этот случай вообще вопиющий, потому что период всего лишь 37#. Хорошо хоть не 17# и не 13#, как раньше

[Dmitriy40]

Yadryara в сообщении #1653520 писал(а):

Ну так вместо того чтобы чужие компы страшно неэффективно гонять по сути по той же задаче, лучше отказаться в Вашу пользу.

Лучше. Но кто и когда поступал из соображений как лучше для кого-то другого или даже просто для решения конкретной задачи?
И ещё: отказываться вовсе не обязательно, я выше говорил "присоединяйтесь", совсем не сложно, договориться со мной какие поддиапазоны взять и считать их самостоятельно, мне никакого управления передавать не надо. Как мы с вами считали пентадекатлон, никто же никому управления компами не передавал. И мне тоже так удобнее, не париться с компами, а просто договориться кто что считает.
Единственное но, для последней версии программы скорость выбрана 11ч в одном потоке - вот так мне удобнее. Будут желающие - можно будет и переделать ...

Yadryara в сообщении #1653520 писал(а):

Чтоб найти 19-252 года Вам должно хватить с запасом.

Неа, не хватит. 9 месяцев мне надо на 67# и если решения не будет, то в среднем года два на одну 19-252 в 71#. Но это простите в 25 эффективных потоков! Реальных физических ещё больше, но сравнивать скорости удобнее по эталону. Значит для снижения до менее года надо ещё столько же потоков, под три десятка. Потому добавка 2-4 потоков - мороки больше чем выигрыша. И под потоками смело можно понимать ядра, гипертрейдинг влияет слабо. Поэтому не нагружаю несколько имеющихся дома ноутов - и жалко их (греются), и заняты, и добавка небольшая.

Yadryara в сообщении #1653520 писал(а):

Демис, если Вы прочитали последние посты, прошу: свяжитесь сами знаете с кем и передайте мою просьбу.

У Вас есть его почта, логичнее это написать туда. Но он ещё в прошлый раз сказал что не будет в это г<censored>о лезть. И я его понимаю, тоже не хочу лезть. Хотите лезть сами - попросите почту владельца компов (кажется она даже есть где-то публично) и пишите объяснения прямо ему. Впрочем Демиса я дёрну чтоб глянул эту тему, но уверен толка не будет.

Yadryara в сообщении #1653520 писал(а):

Ну этот случай вообще вопиющий, потому что период всего лишь 37#. Хорошо хоть не 17# и не 13#, как раньше

Так потому и 9000 лет, а не пара тысяч лет, в 4.5 раза выигрыш от перехода с 37# (моя старая программа) к 67# (моя же этого лета) как раз. Но кое-кого миллионы лет не пугают и нет нужды считать впятеро быстрее (а на PARI это совсем легко, у неё даже уже есть и такой вариант, почему пользуется старым мне неведомо).

[Yadryara]

Dmitriy40 в сообщении #1653528 писал(а):

9 месяцев мне надо на 67# и если решения не будет, то в среднем года два на одну 19-252 в 71#.

А почему 2 года-то? Вы учли, что если идти от грязных к чистым, то можно получить выигрыш где-то в 1.8-1.9 раза? Точнее считать пока лень.

Dmitriy40 в сообщении #1653528 писал(а):

надо ещё столько же потоков, под три десятка.

О чём и речь.

Dmitriy40 в сообщении #1653528 писал(а):

У Вас есть его почта, логичнее это написать туда.

Мне Важно было сказать это публично. Не хочу я закулисно шушукаться.

Dmitriy40 в сообщении #1653528 писал(а):

Впрочем Демиса я дёрну чтоб глянул эту тему, но уверен толка не будет.

А я надеюсь, что будет.

[Dmitriy40]

Yadryara в сообщении #1653538 писал(а):

А почему 2 года-то? Вы учли, что если идти от грязных к чистым, то можно получить выигрыш где-то в 1.8-1.9 раза?

Вроде бы учёл, без этого было лет 5.
Но можно снова прикинуть: предположим скорость перебора 71# такая же как и 67# (не факт, но заметно отличаться не должна), в 71# должно быть около 11 цепочек, но перебрать надо в 52 раза больше, т.е. в среднем до первой из них в 52/11=4.7 раз больше. 4.7 раза по 9 месяцев это 42 месяца или 3.5 года. Делим на Ваши 1.8 и получаем 2 года. Плюс-минус.

Но пока я не уверен что реально наблюдаю это вот ускорение нахождения цепочек при переборе от грязных к чистым. Что-то есть, но величина эффекта и корректность оценки именно для нахождения 19-252 пока под вопросом (для меня). Ну, пока посчиталось лишь 4 последние группы, пятая будет к октябрю, да и группы не 67#, а 29#/17, это даёт ощутимую разницу, вот как распределены найденные цепочки из последних четырёх групп (и пятой справа на 8.6%) 29#/17 по группам обеих типов (слева чистые), данные на вчерашнее утро, сегодня не проверял:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 48298, 195197, 50003, 14201, 1642], sum=309341
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 42, 237, 1359, 5330, 16461, 36501, 58868, 70085, 60487, 37691, 16260, 4929, 961, 126, 3], sum=309341
Напомню ёмкость групп в кортежах/паттернах:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 68, 278, 800, 1896, 3140, 3578, 2400, 1208, 352, 78, 20, 2], sum=13824
А вот та цепочка что одна самая левая в 67# (слева из какой она группы в 29#/17):
19+29:6081058498252750393601147: [ 0, +6, +12, 30, 42, 72, 90, +96,-104, 120,+126,+132,-140, 156, 162,-170,-176, 180,-204, 210, 222, 240,+246,+252], len=17, valids=12
Как видите не блещет ни длиной, ни valids.
Ну и до кучи три самых правых цепочки:
19+31:5179860191910364133077271: [ 0, 6, 12, 30, 42, -68, +72, -86, +90, -92, 96,-108,-110,+120,+126,+132,+156,+162,-168, 180,-182,-206,+210,+222, 240,+246, 252], len=17, valids=9
19+32:7723089484181239938929827: [ +0, 6, +12, 30, -40, 42, -64, 72, +90, 96,+120,+126,+132,-142, 156, 162, 180, 210,+222,-226, 240,-244, 246, 252], len=17, valids=12
19+33:579087250513739773005281: [ 0, -2, +6, 12, -20, 30, 42, -60, 72, 90, 96,+120, 126,+132,+156,+162, 180,-182,-200, 210, 222,+240,+246, 252], len=17, valids=12
Тоже совсем не фонтан.
Для сравнения, та же статистика по левым группам (две полностью и 75% третьей):
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 634, 12471, 42174], sum=55279
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 8, 126, 629, 2293, 5823, 10729, 13496, 11677, 6986, 2724, 689, 94, 5], sum=55279
Видим аж 8 цепочек из группы 19+11, что сильно ближе к искомой 19+0. При вшестеро меньшем количестве цепочек и вдвое меньшем количестве кортежей из групп 29#/17 (слева перебрано 264 варианта, справа 556 вариантов). Цепочек справа заметно больше, но они сильно дальше от чистой (19+29 vs 19+11).
С другой стороны с valids=18 найдено 5 цепочек из левых групп 29#/17 и 15 цепочек из правых групп, тоже не вдвое разница, но уже и не вшестеро, вот их распределение по группам:
Левые:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5], sum=5
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0, 1, 1], sum=5
Правые:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 8, 2, 0, 1], sum=15
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 4, 1, 3, 3, 1, 1], sum=15
Тоже вполне очевидно что к 19+0 ближе таки левые, хоть их и меньше.

Что из этого (больше цепочек или более чистые) важнее для нахождения 19-252 я пока не определюсь.

Я перестал понимать даже будет ли решение 19-252 реально из группы 19+0 из 67# (71#) или вполне может быть и например из группы 19+8 (ведь valids=18 вон вполне себе из весьма далёких групп бывают, а их длина len от 19 до 25, т.е. это ну почти совсем решения).

До кучи инфа: найдено 7 центральных 13-ек (большинство из правых групп, две с двумя другими паттернами), но пока ни одной центральной 15-ки.

Yadryara в сообщении #1653538 писал(а):

О чём и речь.

Если я правильно понимаю о каком компе Вы говорите, то там порядка 15 потоков. Потоков или ядер я не в курсе, но подозреваю не ядер, потому что 8-ядерные процы с гипертрейдингом широко доступны, а вот более ядерные - очень сильно менее, по крайней мере интел, а как быстро оно будет работать на амд я без понятия. В итоге это будет эквивалентно 6-10 потокам (в зависимости от частоты ядер), всего четверть-треть от нужного, на пару лет или более. Визгу же ... Знаете, свои нервы дороже лишних полугода счёта. Я не полезу. Но и от вменяемой помощи конечно не откажусь.

[Yadryara]

Dmitriy40, чтобы не запутаться, дайте пожалуйста стату только по длине 19. Если их очень мало пока, то ещё и по 18, и по 17. Попробуем забыть пока про валидс.

Зато про то, что надо ориентироваться не по единичным, а по сотням-тысячам цепочек, забывать не будем.

Во здесь смотрел только по длине. И даже на тысячах кэф под конец гульнул: $0.802 \to 0.851$. И следующее 0.765 тоже мне не нравится.

Можете такую же табличку показать для новых данных?

Yadryara в сообщении #1652274 писал(а):

А вот та стата, что была выше для всех цепочек, для 67#. Теперь уже только для цепочек длины 19.

Группа               vc[]      Факт  Ф*10^13/vc  Pred/Posl
19+11       17483063702860         1      0.572      0.000
19+12      119249071095310         8      0.671      0.853
19+13      615440511892708        81      1.316      0.510
19+14     2432725989818718       449      1.846      0.713
19+15     7447022885574328      1878      2.522      0.732
19+16    17813512167763926      6320      3.548      0.711
19+17    33491264807265158     16071      4.799      0.739
19+18    49603797522180000     32055      6.462      0.743
19+19    57819061781785358     49000      8.475      0.763
19+20    52856050981018074     58574     11.082      0.765
19+21    37699907542234036     53464     14.181      0.781
19+22    20848732917709526     37274     17.878      0.793
19+23     8879811423403526     19767     22.261      0.803
19+24     2895245491002764      8038     27.763      0.802
19+25      719253136438230      2346     32.617      0.851
19+26      135295969437234       577     42.647      0.765
19+27       18878969508802        99     52.439      0.813
19+28        1836531247768         8     43.560      1.204

[Dmitriy40]

Yadryara в сообщении #1653560 писал(а):

Можете такую же табличку показать для новых данных?

Вот данные только по цепочкам с len=19:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 34, 760, 2943, 0, 0, 0, 0, 0, 5870, 16801, 4491, 1326, 160], sum=32385
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 7, 31, 137, 330, 684, 1004, 1264, 1963, 3416, 5409, 6568, 5669, 3621, 1613, 544, 109, 16], sum=32385
По len=18:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 132, 2844, 9625, 0, 0, 0, 0, 0, 17111, 48238, 12503, 3530, 408], sum=94391
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 25, 128, 462, 1237, 2485, 3463, 4169, 6020, 10191, 16007, 18463, 15920, 10065, 4171, 1291, 265, 28], sum=94391
По len=17:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 458, 8588, 28842, 0, 0, 0, 0, 0, 45218, 122971, 31009, 8756, 1008], sum=246850
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 7, 94, 469, 1667, 4217, 7667, 10326, 11993, 16923, 28217, 41225, 47318, 39487, 23638, 10065, 2927, 534, 73, 3], sum=246850
Суммировать вектора умеет сам PARI. Превратить вторые вектора в табличку может Ваш код.

[Yadryara]

Для Вашего удобства посчитано именно по Вашему разбиению на малопростые, то бишь по 29#/17.

Недосчитанную группу 19+29 нормализовать не стал. Показатель P/P опять гульнул и вверху, и внизу для всех трёх длин.

                            Len = 19

Group                   vc      Fact    Fact/vc  Pred/Posl
19+21                    4        34      8.500      
19+22                   68       760     11.176      0.761
19+23                  278      2943     10.586      1.056
19+24                  800
19+25                 1896
19+26                 3140
19+27                 3578
19+28                 2400
19+29                 1208      5870      4.859
19+30                  352     16801     47.730      0.102
19+31                   78      4491     57.577      0.829
19+32                   20      1326     66.300      0.868
19+33                    2       160     80.000      0.829


                            Len = 18

Group                   vc      Fact    Fact/vc  Pred/Posl
19+21                    4       132     33.000
19+22                   68      2844     41.824      0.789
19+23                  278      9625     34.622      1.208
19+24                  800
19+25                 1896
19+26                 3140
19+27                 3578
19+28                 2400
19+29                 1208     17111     14.165
19+30                  352     48238    137.040      0.103
19+31                   78     12503    160.295      0.855
19+32                   20      3530    176.500      0.908
19+33                    2       408    204.000      0.865


                            Len = 17

Group                   vc      Fact    Fact/vc  Pred/Posl
19+21                    4       458    114.500     
19+22                   68      8588    126.294      0.907
19+23                  278     28842    103.748      1.217
19+24                  800
19+25                 1896
19+26                 3140
19+27                 3578
19+28                 2400
19+29                 1208     45218     37.432      
19+30                  352    122971    349.349      0.107
19+31                   78     31009    397.551      0.879
19+32                   20      8756    437.800      0.908
19+33                    2      1008    504.000      0.869

[Yadryara]

Dmitriy40 в сообщении #1653552 писал(а):

Но пока я не уверен что реально наблюдаю это вот ускорение нахождения цепочек при переборе от грязных к чистым.

По-моему прекрасно видно, что среди грязных групп цепочек нужной длины гораздо больше, чем среди чистых. Для самой чистой группы 19+21 их в среднем 8.5 штук, а для самой грязной группы 19+33 их в среднем 80 штук. В 9 раз больше. И возрастание это неуклонное, за единственным исключением. Это видно по отношению P/P (предыдущего к последующему).

Теперь вернёмся к валидс. Какие самые популярные валидсы для длины 19? Давайте посмотрим такую же стату по 3-4 самым популярным валидсам для этой длины. Отдельно для каждого валидс. Сильно подозреваю, что картина не изменится: грязные группы для всех валидс уделают чистые.

[Dmitriy40]

Yadryara в сообщении #1653597 писал(а):

По-моему прекрасно видно, что среди грязных групп цепочек нужной длины гораздо больше, чем среди чистых.

Это конечно видно, и раньше было. Непонятно (мне) связано ли это напрямую с вероятностью нахождения 19-252. Вроде как да, чем больше вариантов проверено (да ещё и нужной длины) тем вероятнее, но очевидно же смотря каких вариантов, и вот с этим затык, не уверен что много грязных вариантов лучше меньших более чистых.

Yadryara в сообщении #1653597 писал(а):

Теперь вернёмся к валидс. Какие самые популярные валидсы для длины 19? Давайте посмотрим такую же стату по 3-4 самым популярным валидсам для этой длины. Отдельно для каждого валидс.

Вот все варианты valids для len=19 на сегодняшнее утро:

valids=5:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1], sum=2
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1], sum=2
valids=6:
29#/17: [0], sum=0
67#: [0], sum=0
valids=7:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 6, 22, 10, 2], sum=41
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 3, 11, 8, 8, 7, 2], sum=41
valids=8:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 4, 0, 0, 0, 0, 0, 31, 101, 38, 17, 1], sum=193
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 5, 2, 13, 29, 32, 39, 36, 19, 14, 3], sum=193
valids=9:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 22, 0, 0, 0, 0, 0, 169, 455, 141, 49, 6], sum=845
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 8, 15, 21, 62, 126, 175, 194, 124, 72, 38, 9], sum=845
valids=10:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 18, 106, 0, 0, 0, 0, 0, 546, 1450, 428, 137, 15], sum=2701
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 5, 10, 30, 52, 89, 229, 415, 592, 580, 421, 197, 64, 13, 3], sum=2701
valids=11:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 69, 310, 0, 0, 0, 0, 0, 1224, 2998, 860, 273, 34], sum=5771
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 3, 28, 51, 97, 170, 288, 524, 951, 1269, 1143, 734, 377, 112, 21, 1], sum=5771
valids=12:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 150, 584, 0, 0, 0, 0, 0, 1834, 4165, 1107, 329, 56], sum=8229
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 3, 21, 45, 131, 204, 279, 479, 865, 1427, 1779, 1439, 951, 422, 141, 34, 8], sum=8229
valids=13:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 14, 201, 845, 0, 0, 0, 0, 0, 1870, 4037, 1030, 280, 28], sum=8305
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 13, 27, 95, 181, 305, 358, 597, 990, 1478, 1604, 1396, 838, 296, 105, 21], sum=8305
valids=14:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 7, 169, 659, 0, 0, 0, 0, 0, 1164, 2419, 625, 167, 16], sum=5226
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 45, 76, 180, 234, 258, 414, 630, 924, 975, 786, 445, 187, 56, 7, 4], sum=5226
valids=15:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 115, 355, 0, 0, 0, 0, 0, 492, 931, 199, 51, 4], sum=2148
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 4, 30, 60, 94, 116, 160, 182, 284, 377, 381, 265, 132, 48, 10, 2], sum=2148
valids=16:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 29, 110, 0, 0, 0, 0, 0, 90, 199, 49, 20], sum=501
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 4, 9, 21, 38, 33, 37, 48, 74, 84, 73, 47, 25, 5, 2], sum=501
valids=17:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 15, 0, 0, 0, 0, 0, 13, 22, 4], sum=59
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 2, 3, 8, 6, 4, 6, 4, 10, 8, 6, 1], sum=59
valids=18:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 0, 0, 0, 0, 0, 1, 1], sum=5
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 1, 1, 0, 1], sum=5

Вообще если хотите сами поразбираться, могу выложить насчитанное, 900+ файлов на 75МБ, 407К цепочек, это не под 4млн цепочек старой программы (хотя формат логов тот же).

-- 07.09.2024, 12:25 --

Yadryara в сообщении #1653595 писал(а):

Недосчитанную группу 19+29 нормализовать не стал.

Группа 19+23 тоже недосчитана, в сегодняшних данных посчитано лишь 198 вариантов из 278 или 71% (выше про 75% для неё значит просчитался, всё ж руками).

[Yadryara]

Да, интересно. С повышением valids происходит выравнивание: преимущество грязных групп тает.

         Len = 19        Valids = 11

Group                   vc      Fact    Fact/vc  Pred/Posl
19+21                    4         3      0.750      
19+22                   68        69      1.015      0.739
19+23                 198*       310      1.566      0.648
19+24                   
19+25                 
19+26                 
19+27                 
19+28                 
19+29               1208**      1224      1.013      
19+30                  352      2998      8.517      0.119
19+31                   78       860     11.026      0.772
19+32                   20       273     13.650      0.808
19+33                    2        34     17.000      0.803



         Len = 19        Valids = 12

Group                   vc      Fact    Fact/vc  Pred/Posl
19+21                    4         4      1.000      
19+22                   68       150      2.206      0.453
19+23                 198*       584      2.949      0.748
19+24                   
19+25                 
19+26                 
19+27                 
19+28  
19+29               1208**      1834      1.518      
19+30                  352      4165     11.832      0.128
19+31                   78      1107     14.192      0.834
19+32                   20       329     16.450      0.863
19+33                    2        56     28.000      0.588


         Len = 19        Valids = 13

Group                   vc      Fact    Fact/vc  Pred/Posl
19+21                    4        14      3.500      
19+22                   68       201      2.956      1.184
19+23                 198*       845      4.268      0.693
19+24                   
19+25                 
19+26                 
19+27                 
19+28  
19+29               1208**      1870      1.548      
19+30                  352      4037     11.469      0.135
19+31                   78      1030     13.205      0.869
19+32                   20       280     14.000      0.943
19+33                    2        28     14.000      1.000


         Len = 19        Valids = 14

Group                   vc      Fact    Fact/vc  Pred/Posl
19+21                    4         7      1.750      
19+22                   68       169      2.485      0.704
19+23                 198*       659      3.328      0.747
19+24                   
19+25                 
19+26                 
19+27                 
19+28
19+29               1208**      1164      0.964      
19+30                  352      2419      6.872      0.140
19+31                   78       625      8.013      0.858
19+32                   20       167      8.350      0.960
19+33                    2        16      8.000      1.044

Об остальном позже.

[Dmitriy40]

Про группу 19+29, в правых группах посчитан 641 вариант, т.е. в пятой справа группе 641-2-20-78-352=189 вариантов из 1208 или 15.6%.

[Yadryara]

Мысли читаете? Хотел спросить про это число. Просто ставим 189 в табличку — вот и вся нормализация.

Dmitriy40 в сообщении #1653639 писал(а):

Вообще если хотите сами поразбираться, могу выложить насчитанное, 900+ файлов на 75МБ, 407К цепочек, это не под 4млн цепочек старой программы (хотя формат логов тот же).

Спасибо, пока не надо. Старая стата тем и ценна, что её пока намного больше.

Сейчас важно понять как ведут себя цепочки, для которых лен и валидс равны или очень близки. А это значит смотреть надо в первую очередь для длины 17, их больше всего. Даже жаль теперь, что нет статы по более коротким. Или есть?

[Dmitriy40]

Yadryara в сообщении #1653651 писал(а):

Даже жаль теперь, что нет статы по более коротким. Или есть?

Нет. Даже и len=17 столь много, что уже жалел что вывожу столь короткие когда ищем то len=19. Статистика вещь хорошая, но порядка 4ГБ текста обрабатывать не слишком легко.
Для старой программы кстати есть отдельный малюсенький кусочек с len от 15 (в основные логи он не попал), но там всего менее 15К цепочек, это диапазон 901e21. Запускалось год назад скорее для теста, ничего интересного обнаружено не было.

[Yadryara]

Dmitriy40 в сообщении #1653654 писал(а):

Статистика вещь хорошая, но порядка 4ГБ текста обрабатывать не слишком легко.

Ну так нужна только такая вот суперкороткая стата, только для длины 17 для валидс от 12 до 17 включительно:

Dmitriy40 в сообщении #1653639 писал(а):

Вот все варианты valids для len=19 на сегодняшнее утро:

[Dmitriy40]

Я плохо выразился, я не особо готов чисто ради статистики (которой мы весной 2023г не сильно заморачивались) терпеть увеличение логов с 4ГБ до 40ГБ (если хранить не с len=17, а с len=15), а тем более ещё короче цепочки.

Статистика по valids для len=17:

valids=5:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 6, 10, 5], sum=21
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 4, 6, 4, 3, 0, 1, 1], sum=21
valids=6:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 2, 0, 0, 0, 0, 0, 33, 104, 50, 7, 3], sum=201
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 4, 5, 10, 18, 48, 50, 33, 20, 10, 2], sum=201
valids=7:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 8, 24, 0, 0, 0, 0, 0, 297, 738, 211, 72, 7], sum=1357
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 8, 16, 48, 81, 193, 301, 284, 241, 128, 42, 10, 3], sum=1357
valids=8:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 52, 215, 0, 0, 0, 0, 0, 1245, 3273, 947, 301, 46], sum=6080
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 20, 29, 69, 105, 226, 472, 932, 1321, 1340, 908, 459, 157, 35, 5], sum=6080
valids=9:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 14, 236, 1014, 0, 0, 0, 0, 0, 4172, 9919, 2910, 881, 95], sum=19241
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 15, 70, 170, 327, 511, 885, 1835, 3158, 4177, 3862, 2548, 1188, 404, 78, 9, 1], sum=19241
valids=10:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 45, 792, 3017, 0, 0, 0, 0, 0, 9414, 21676, 5826, 1610, 181], sum=42561
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 11, 84, 288, 666, 1073, 1421, 2500, 4516, 7303, 8728, 7952, 5015, 2195, 673, 119, 15], sum=42561
valids=11:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 73, 1655, 6082, 0, 0, 0, 0, 0, 14185, 31276, 7896, 2299, 270], sum=63736
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 16, 64, 250, 715, 1482, 2242, 2811, 4262, 7450, 11240, 12823, 10511, 6284, 2692, 739, 137, 18], sum=63736
valids=12:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 120, 2258, 8286, 0, 0, 0, 0, 0, 14350, 29739, 7208, 1996, 227], sum=64184
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 19, 107, 437, 1176, 2197, 2935, 3561, 4931, 7970, 11181, 12063, 9568, 5312, 2046, 572, 93, 10, 2], sum=64184
valids=13:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 116, 2148, 6552, 0, 0, 0, 0, 0, 9172, 18066, 4192, 1130, 131], sum=41507
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 31, 147, 483, 1105, 1924, 2446, 2737, 3491, 5457, 6868, 7243, 5357, 2824, 1086, 257, 39, 10], sum=41507
valids=14:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 70, 1102, 3400, 0, 0, 0, 0, 0, 3606, 6675, 1426, 385, 40], sum=16704
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 17, 99, 300, 694, 1052, 1246, 1175, 1534, 2190, 2671, 2610, 1772, 885, 357, 82, 17, 2], sum=16704
valids=15:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 17, 287, 850, 0, 0, 0, 0, 0, 748, 1360, 307, 65, 7], sum=3641
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 10, 30, 97, 196, 267, 294, 269, 363, 489, 518, 516, 345, 161, 66, 13, 6, 1], sum=3641
valids=16:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 46, 113, 0, 0, 0, 0, 0, 70, 130, 30, 10, 1], sum=402
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 11, 19, 25, 38, 38, 34, 39, 51, 49, 41, 34, 15, 8], sum=402
valids=17:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 2, 0, 0, 0, 0, 0, 6, 5, 1], sum=16
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 2, 2, 3, 3, 0, 2], sum=16

Ну чтобы два раза не вставать, и по len=18:

valids=5:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 1], sum=3
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1], sum=3
valids=6:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 5, 13, 5, 1], sum=25
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 1, 5, 3, 2, 7, 3, 1, 1], sum=25
valids=7:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 5, 0, 0, 0, 0, 0, 45, 99, 48, 22], sum=223
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 4, 8, 7, 26, 40, 46, 46, 27, 9, 4, 1], sum=223
valids=8:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 8, 32, 0, 0, 0, 0, 0, 217, 662, 210, 55, 12], sum=1196
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 3, 9, 13, 38, 71, 163, 250, 256, 224, 109, 45, 13, 1], sum=1196
valids=9:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 28, 191, 0, 0, 0, 0, 0, 905, 2375, 724, 232, 35], sum=4490
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 11, 12, 45, 101, 169, 303, 675, 968, 1008, 720, 329, 118, 26, 3], sum=4490
valids=10:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 12, 159, 603, 0, 0, 0, 0, 0, 2418, 6053, 1796, 527, 73], sum=11641
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 14, 42, 113, 214, 278, 555, 1045, 1911, 2460, 2398, 1585, 759, 214, 44, 7], sum=11641
valids=11:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 8, 360, 1536, 0, 0, 0, 0, 0, 4593, 10714, 2856, 846, 94], sum=21007
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 4, 51, 115, 357, 554, 726, 1228, 2231, 3673, 4444, 3778, 2428, 1027, 306, 73, 9], sum=21007
valids=12:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 26, 672, 2434, 0, 0, 0, 0, 0, 5658, 12479, 3126, 869, 96], sum=25360
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 20, 91, 275, 586, 906, 1123, 1698, 2955, 4477, 5038, 4209, 2609, 996, 312, 56, 4], sum=25360
valids=13:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 42, 785, 2621, 0, 0, 0, 0, 0, 4676, 9593, 2385, 618, 65], sum=20785
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 5, 36, 136, 374, 693, 960, 1167, 1609, 2592, 3662, 3830, 3080, 1753, 625, 227, 33, 2], sum=20785
valids=14:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 22, 543, 1658, 0, 0, 0, 0, 0, 2322, 4646, 1038, 283, 26], sum=10538
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 33, 100, 279, 492, 614, 714, 855, 1351, 1847, 1812, 1357, 719, 290, 55, 14, 1], sum=10538
valids=15:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 19, 228, 629, 0, 0, 0, 0, 0, 698, 1394, 262, 65, 7], sum=3302
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 6, 26, 56, 137, 233, 202, 219, 287, 415, 572, 521, 372, 187, 54, 13, 2], sum=3302
valids=16:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 55, 135, 0, 0, 0, 0, 0, 105, 193, 49, 12], sum=552
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 7, 19, 25, 38, 63, 45, 59, 77, 71, 62, 49, 27, 6, 4], sum=552
valids=17:
29#/17: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 16, 0, 0, 0, 0, 0, 18, 17, 3], sum=55
67#: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 7, 6, 6, 3, 6, 10, 9, 3, 2, 1], sum=55

Логи кстати занимают 46МБ, 18МБ, 6.4МБ текста для длин соответственно 17, 18, 19.