Можно ли вычислить " саботажника"

[stalvoron]

Не будучи профессиональным математиком ( вообще не математиком), столкнулся с практической задачей, в решении которой прошу помочь (советом, идеей , направлением к размышлению). Собственно. Имеется $n$ генераторов которые работают в режиме выдачи единичного импульса -типа $1$. Т.е. за одну сессию в которой участвует $n$ генераторов, от одного генератора получаем либо $0$ либо $1$. Согласно заявлению поставщика генераторов (и ожидаемая мной ) частота выдачи $1$ относительно $0$ составляет $33$%. Индивидуальный контроль за генераторами технически невозможен, фиксируется сумма за сессию. Отклонение от ожидаемой частоты для единичного генератора может колебаться от $0$% до $100$%, то есть одни генераторы могут постоянно не выдавать сигнала, зато другие могут работать в режиме, так сказать, нон-стоп. Я набрал определённую статистику, за некий период и вижу, что, с одной стороны, средний показатель около ожидаемого, но идет сильный разброс по результатам сессий. Есть подозрение, что какие то генераторы постоянно ( или почти постоянно) "филонят", а "удовлетворительная температура по госпиталю" вытягивается за счёт " стахановцев". Так вот вопрос. Нельзя ли, математически, на основании имеющейся статистики, определить - средний показатель, это результат относительно равноправной работы генераторов , или есть "саботажники и " активисты"? Есть ли какие либо признаки с помощью которых можно определить, он (график), показывает хаотическое распределение по множеству $n$ или есть система? Мне, как человеку не искушенному, интуитивно, кажется, что определить нельзя. Но, читав " Голос неба" С. Лема, верю, что математика может творить чудеса при поиске закономерностей в кажущемся хаосе. Подскажите пожалуйста.

[EUgeneUS]

stalvoron в сообщении #1644399 писал(а):

Имеется $n$ генераторов которые работают в режиме выдачи единичного импульса -типа $1$. Т.е. за одну сессию в которой участвует $n$ генераторов, от одного генератора получаем либо $0$ либо $1$. Согласно заявлению поставщика генераторов (и ожидаемая мной ) частота выдачи $1$ относительно $0$ составляет $33$%. Индивидуальный контроль за генераторами технически невозможен, фиксируется сумма за сессию

Что значит "сумма за сессию"?
Ниже - как я понял объяснения.
Есть $n$ генераторов, которые за сессию генерируют либо ноль, либо единицу.
Вероятность сгененировать единицу за сессию для каждого генератора - одна третья.
Результатом измерения является сумма значений всех генераторов за сессию.

Например, мат. ожидание измерения для $n=60$ генераторов будет являться $20$.

Два соображения.
Если какие-то генераторы "филонят", то "стахановцами" компенсировать никак не получится в некоторых случаях. Например, если филонять более чем две трети генераторов, то оставшейся третью стахановцев получить ожидаемое значение $20$ никак не получится.

Измеряемая величина имеет биномиальное распределение (в точности по определению).

[stalvoron]

EUgeneUS, спасибо. Вы правильно поняли.

EUgeneUS в сообщении #1644400 писал(а):

Что значит "сумма за сессию"?

Ну сумма единиц, выданных множеством $n$.

EUgeneUS в сообщении #1644400 писал(а):

Два соображения.

. Сейчас буду думать, и посмотрю, что такое "биноминальное распределение". Ситуация такая, что ожидание, как раз, в среднем соответствуют, для всей серии, но в отдельных сессиях, и не редко, имеет место быть значительное отклонение как в меньшую, так и в большую сторону. Может по частоте и значениям этих отклонений можно определить - это следствие хаотичного чередования вероятных исходов для $n$ генераторов с заданным ожиданием, либо это стабильно (относительно, конечно) есть 2 группы? Надо подумать,

[sergey zhukov]

EUgeneUS в сообщении #1644400 писал(а):

Что значит "сумма за сессию"?

Если это сумма значений генераторов за один такт генерации, то она подчиняется биномиальному распределению, и можно легко подсчитать распределение такой суммы для соответствующей вероятности $\frac{1}{3}$. Если распределение получается другое, то это указывает на то, что есть какая-то нестационарность (скажем, вероятность зависит от времени) или генераторы не идентичны.

Например, если первая половина генераторов работает с вероятностью $p$, а вторая - с вероятностью $q$, то сумма каждой половины подчиняется своему индивидуальному биномиальному распределению, а распределение суммы этих сумм (то, что мы имеем) - это некоторая свертка этих двух распределений. Это уже не биномиальное распределение.

Так что можно построить распределение суммы, убедиться, что оно соответствует теоретическому биномиальному, и надеятся, что все в порядке (надеятся потому, что, вероятно, это условие для идентичности всех генераторов необходимое, но не достаточное). Если же распределение суммы не ложится на теоретическое, то одно из двух: или все генераторы одинаково "плавают" по времени, или они разные (или и то и другое).

[StepV]

stalvoron в сообщении #1644399 писал(а):

Индивидуальный контроль за генераторами технически невозможен, фиксируется сумма за сессию.

Что значит нет индивидуальногот контроля? Вы можете выключить любой генератор? Можете выключить все с нечетными номерами и замерить результат на выходе? То же с четными номерами. Потом работать первой, второй, третьей двадцаткой и снимать результат? Наконец, если трудно анализировать так, то поработайте с генераторами по одному. Мне кажется, что при любой схеме у вас включение и выключение генераторов должно быть раздельным (или сделайте раздельным на время тестирования сами).

[Geen]

stalvoron в сообщении #1644399 писал(а):

Мне, как человеку не искушенному, интуитивно, кажется, что определить нельзя.

Берёте, к примеру, две гипотезы относительно того, как работает Ваш "генератор случайных чисел". Например, одна гипотеза состоит в том, это "сумма успехов" идентичных и независимых испытаний (схема Бернулли). Вторая гипотеза - определённое число испытаний всегда даёт "успех", а все остальные - "неудачу".
Разница, очевидно, не в среднем, а в дисперсии.
А можно построить и более сложные гипотезы - и потребуется смотреть "более высокие моменты распределений". Но это, автоматически, требует на порядки большего "числа измерений"....

stalvoron в сообщении #1644399 писал(а):

Нельзя ли, математически, на основании имеющейся статистики

Зависит от размера этой статистики.... и от того, что Вы хотите выловить (к примеру, у Вас миллион генераторов, а Вы хотите найти 10 "уклонистов" - малореальная задача)

[stalvoron]

StepV в сообщении #1644408 писал(а):

Что значит нет индивидуальногот контроля?

В том то и дело, что всё что Вы ниже описали сделать нельзя (если быть точным, можно, но связано с затруднениями, которые я хотел бы избежать) В противном случае я бы не озадачивался.

Geen в сообщении #1644413 писал(а):

Зависит от размера этой статистики.... и от того, что Вы хотите выловить (к примеру, у Вас миллион генераторов, а Вы хотите найти 10 "уклонистов" - малореальная задача)

. Спасибо за идею. Нет, у меня не миллион генераторов. Я упрощу ситуацию до, скажем $n=3$, и тупо попробую сделать на бумажке графики возможных результатов для случая выполнения ожидания при сдвижке . А потом посмотрю, как будут выглядеть графики для случая, если скажем один генератор постоянно "валяет дурака" а два других будут " нагонять" ожидаемые результат. Может соображу на что это больше похоже в моём случае.

Geen в сообщении #1644413 писал(а):

испытаний

Подскажите пожалуйста что в моём случае принимать за "испытание"? Разовая сессия для $n$ генераторов? sergey zhukov Спасибо большое, но я мало что понял .

sergey zhukov в сообщении #1644406 писал(а):

Так что можно построить распределение суммы, убедиться, что оно соответствует теоретическому биномиальному,

.Оно (распределение сумм) построено, а где взять ( и что это, в моём случае?) " теоретическое биноминальное".

sergey zhukov в сообщении #1644406 писал(а):

о одно из двух: или все генераторы одинаково "плавают" по времени, или они разные (или и то и другое).

. Да я знаю, что генераторы "плавают", режим однозначно не синхронный , в том то и вопрос, что бы определить по имеющемуся графику распределения - отклонения ожидания -это результат "плавания" или нарушение распределения события у отдельных генераторов. Собственно, меня интересуют те у которых вероятность выдачи $1$ стабильно ниже одной трети, что бы их аннигилировать (образно) для экономии ресурсов. Кстати у меня не "генератор случайных чисел" так как, условно, мы знаем вероятность результата. Ну да ладно, это не важно.

[sergey zhukov]

stalvoron в сообщении #1644423 писал(а):

а где взять ( и что это, в моём случае?) " теоретическое биноминальное".

Ну, раз "биномиальное распределение" так и не смогли посмотреть, то можно на этом и заканчивать. Видимо, не очень нужно.

[EUgeneUS]

stalvoron в сообщении #1644404 писал(а):

EUgeneUS, спасибо. Вы правильно поняли.

Если всё правильно понял, то всё прозрачно, как слеза комсомолки:

1. Есть $n$ случайных величин, имеющих распределение Бернулли, с известным (теоретически) параметром $p$.
2. Сумма $n$ случайных величин, имеющих распределение Бернулли, с известным (теоретически) параметром $p$ есть случайная величина, имеющая биномиальное распределение с параметрами, ВНЕЗАПНО, $n, p$
3. Таким образом, нулевая гипотеза $H_0$ - наблюдаемые "суммы всех генераторов" являются значениями случайной величины, имеющей биномиальное распределение с параметрами, ВНЕЗАПНО, $n, p$
4. Для подтверждения или опровержения нулевой гипотезы нужно использовать подходящий статистический критерий.
5. Так как имеются теоретические знания как о виде распределения, так и о его параметрах, можно использовать критерии из следующих групп:
а) Критерии значимости. Проверка на значимость предполагает проверку гипотезы о численных значениях известного закона распределения.
б) Критерии согласия. Проверка на согласие подразумевает проверку предположения о том, что исследуемая случайная величина подчиняется предполагаемому закону. Критерии согласия можно также воспринимать как критерии значимости.

Далее следующие варианты:

1. Если у Вас был курс теорвера\матстатистики, но он был успешно забыт, можно попытаться восстановить знания, необходимые для решения этой задачи, восстановить пробелы, и решить задачу.
2. Если у Вас не было курса теорвера\матстатистики, то решить задачу быстро Вы не сможете.
2.1. Если есть неограниченное количество времени, то можно начать изучение с книги "Математическая Статистика и Котики".
2.2. Если неограниченного количества времени нет, то нужно обратиться к людям, у которых был курс матстатистики, и они его не забыли.

-- 30.06.2024, 11:40 --

Geen в сообщении #1644413 писал(а):

Берёте, к примеру, две гипотезы относительно того, как работает Ваш "генератор случайных чисел". Например, одна гипотеза состоит в том, это "сумма успехов" идентичных и независимых испытаний (схема Бернулли). Вторая гипотеза - определённое число испытаний всегда даёт "успех", а все остальные - "неудачу".

Цитата:

При использовании критериев согласия, как правило, не задают конкурирующих гипотез: рассматривается принадлежность выборки конкретному закону, а в качестве конкурирующей гипотезы — принадлежность любому другому.

[realeugene]

stalvoron в сообщении #1644423 писал(а):

А потом посмотрю, как будут выглядеть графики для случая, если скажем один генератор постоянно "валяет дурака" а два других будут " нагонять" ожидаемые результат. Может соображу на что это больше похоже в моём случае.

Если один генератор из трёх всегда выдаёт 0, то вы никогда не получите сумму, равную 3. В рамках нулевой гипотезы о честных независимых генераторах с вероятностью срабатывания одного 1/3, вероятность одновременного срабатывания всех трёх сразу будет 1/27. Если вы проведёте 1000 экспериментов и ни разу не обнаружите в сумме тройки, вы можете быть практически абсолютно уверены, что нулевая гипотеза неверна.

Можно применять и более тонкие методы оценивания получаемой вами статистики, но с ними легче прийти к ошибочным выводам.

-- 30.06.2024, 12:39 --

stalvoron в сообщении #1644399 писал(а):

Нельзя ли, математически, на основании имеющейся статистики, определить - средний показатель, это результат относительно равноправной работы генераторов , или есть "саботажники и " активисты"?

Можно, но чем слабее саботажники и активисты отличаются от нормы, и чем меньше вам нужна вероятность ошибки, тем больше статистики потребуется набрать.

[stalvoron]

EUgeneUS, я в своё время изучал теор. вер., но кроме некоторых терминов и принципов не помню ничего. Изучал давно , и в жизни не сталкивался, но коль " всё прозрачно как слеза комсомолки", как бывший, разберусь. Время надеюсь у меня есть, и вопрос к счастью, не жизнесуществования. Так что спасибо за подсказки. Буду разбираться. Правда, не так это быстро у меня получится, как уважаемый sergey zhukov сделал мне замечание.

realeugene в сообщении #1644478 писал(а):

Если один генератор из трёх всегда выдаёт 0, то вы никогда не получите сумму, равную 3

. Это очевидно. И если в серии из скажем 30 сессий ни разу не выйдет $3$, то это была бы победа (ответ)! Но ведь если я знаю, что единичный генератор в норме работает когда выдаёт$1,0,0$ , а также $0,1,0$, а так же $1,1,0,0,0,0$ и т.д., то очевидно что сумма разовой сессии для тех же 3 нормально работающих генераторов будет довольно часто в пределах $0,1,2$ и это "прячет" "молчуна". При этом сумма $1$ соответствует ожидаемому режиму работы как для 3 так и для 2 генераторов, а отклонения можно объяснить распределением показаний единичных генераторам. Я думал - есть какой то способ определить из распределения сумм от $n$ генераторов (вот от незнания, неудачно выбрал обозначение, извиняюсь) по данным от $m$ сессий (причём, как я говорил, по факту у меня среднее по $m$ указывает на выполнение ожидания) - это следствие распределения или следствие существования неработающих генераторов? Да, если бы выпала сумма равная $n$ и выпадала бы с некоей периодичностью, пусть даже хаотически, я бы понял ,что все работают так сяк , но пока максимум, что выпадало это

$$\frac{n}{2}$$

ну и вплоть до $0$ , но чаще в окрестностях

$$\frac{n}{3}$$

. Я понимаю, что изъясняюсь с профессиональной точки зрения дикообразно, но,увы, на данный момент по другому не могу. Если утомил, не стесняйтесь. Всем спасибо. Мне надо разобраться,подумать и посмотреть чего ни то.
.

realeugene в сообщении #1644478 писал(а):

с вероятностью срабатывания одного 1/3, вероятность одновременного срабатывания всех трёх сразу будет 1/27. Если вы проведёте 1000

Намекните, если можно, "1/27" - как правильно называется в общем, а я найду и посчитаю какой должна быть серия для моих условий.

[realeugene]

stalvoron в сообщении #1644502 писал(а):

И если в серии из скажем 30 сессий ни разу не выйдет $3$, то это была бы победа (ответ)!

Нет. Вероятность такого события примерно 1/3. Слишком много, чтобы делать выводы. Вот в серии из 1000 экспериментов вероятность, что ни разу не сработают три честных независимых генератора одновременно, чуть меньше $10^{-16}$, что может дать некоторую уверенность.

-- 30.06.2024, 15:37 --

stalvoron в сообщении #1644502 писал(а):

Намекните, если можно, "1/27" - как правильно называется в общем, а я найду и посчитаю какой должна быть серия для моих условий.

Вероятность события одновременного срабатывания трёх независимых генераторов.

-- 30.06.2024, 15:48 --

stalvoron в сообщении #1644502 писал(а):

но пока максимум, что выпадало это

Вам можно для начала посчитать вероятность события, что ни разу не выпадет больше половины в серии вашей длины, и сравнить с желаемым порогом. Не гонитесь за точностью оценок, 5% возможной ошибки - это для вас очень плохо и требует понимания, что вы на самом деле считаете. Устанавливайте критерии гораздо более жесткими, особенно, если эксперименты дёшевы.

-- 30.06.2024, 15:51 --

stalvoron в сообщении #1644502 писал(а):

ну и вплоть до $0$

Асимметрия выглядит очень странно. Не зная ваших цифр сложно оценивать, но если часто выпадал нуль, и никогда больше 1/2, скорее всего на самом деле что-то не так.

[StepV]

stalvoron в сообщении #1644502 писал(а):

Я думал - есть какой то способ определить из распределения сумм от $n$ генераторов

Мне кажется, что вы начали обсуждать другую задачу. Да, по статистике вы можете понять, что часть генераторов не работает. Но в канале у вас обезличенные единицы и нули дают те же обезличенные суммы. Например, для пяти генераторов, сумму равную четырем дают пять комбинаций генераторов, но вы не можете различить, какая комбинация какими генераторами получена. Поэтому не получится решить вопрос, указанный в заголовке: какие конкретно генераторы работают неправильно.

[sergey zhukov]

stalvoron
Даже если мы ничего не знаем о теории вероятности, просто делаем вычислительный эксперимент. Возьмем, например, 600 случайных бинарных величин с $P(1)=\frac{1}{3}$ и $P(0)=\frac{2}{3}$ и сложим их. Получим какой-то случайный результат. Повторим этот эксперимент, например, 12 000 раз и построим частоту, с которой каждая сумма нам встречалась (т.е. построим плотность распределения суммы 600 случайных величин. Точнее, гистограмму, т.к. это дискретная случайная величина):

Отсюда можно сделать вывод о том, что если с нашими генераторами все в порядке и они все работают одинаково хорошо, то с вероятностью 0,035 сумма будет равна 200, с вероятностью 0,015 сумма будет равна 185 и с вероятностью 0,005 сумма будет равна 178. И в данном случае она ни разу за все 12 000 попыток не была больше 250 или меньше 150. Вот это приблизительно то, что можно ожидать от "хороших" генераторов. Никаких $\frac{N}{2}$ и уж тем более нуля тут ждать не приходится. В случае 600 генераторов, конечно. Если их, скажем, всего три или пять, то вполне себе можно ожидать что угодно при таком числе испытаний.

[stalvoron]

sergey zhukov в сообщении #1644518 писал(а):

Если их, скажем, всего три или пять, то вполне себе можно ожидать что угодно при таком числе испытаний.

sergey zhukov, Вы как в воду глядели.Я тут чего то посчитал, чего то нарисовал, и теперь могу кое какие цифры показать. Не знаю, правильной ли дорогой я пошёл, но мне кажется, что из того, что я получил, всё таки какие то предварительные выводы сделать можно. А именно . Никакого биноминального распределения пока не имеется, а следовательно и постоянной вероятности, и уж никак не 1/3. Дисперсию не считал, но и так понятно, что она большая ненормально. Судя по всему имеется случайный процесс ( 2 раза ни один генератор не включился , паразит), но в общем с положительной динамикой. В любом случае, огромное спасибо за науку, стало очень интересно. Увлёкся слегка, даже домашние занервничали .Буду дальше смотреть, что будет получаться по мере накопления. Может какие нибудь стабильная закономерность и начнёт проявлятся. На данный момент может даже быть какое то локальное влияния есть, на "пусковом" периоде (я даже не подумал об этом). И про " саботажника". В таком хаосе они там все, в той, или иной, мере когда саботажники когда стахановцы. Так что вопрос этот пока снят, пусть "устаканятся", подожду. Всем мира!