Можно ли вычислить " саботажника"

stalvoron · 17/03/20 256

Не будучи профессиональным математиком ( вообще не математиком), столкнулся с практической задачей, в решении которой прошу помочь (советом, идеей , направлением к размышлению). Собственно. Имеется $n$ генераторов которые работают в режиме выдачи единичного импульса -типа $1$ . Т.е. за одну сессию в которой участвует $n$ генераторов, от одного генератора получаем либо $0$ либо $1$ . Согласно заявлению поставщика генераторов (и ожидаемая мной ) частота выдачи $1$ относительно $0$ составляет $33$ %. Индивидуальный контроль за генераторами технически невозможен, фиксируется сумма за сессию. Отклонение от ожидаемой частоты для единичного генератора может колебаться от $0$ % до $100$ %, то есть одни генераторы могут постоянно не выдавать сигнала, зато другие могут работать в режиме, так сказать, нон-стоп. Я набрал определённую статистику, за некий период и вижу, что, с одной стороны, средний показатель около ожидаемого, но идет сильный разброс по результатам сессий. Есть подозрение, что какие то генераторы постоянно ( или почти постоянно) "филонят", а "удовлетворительная температура по госпиталю" вытягивается за счёт " стахановцев". Так вот вопрос. Нельзя ли, математически, на основании имеющейся статистики, определить - средний показатель, это результат относительно равноправной работы генераторов , или есть "саботажники и " активисты"? Есть ли какие либо признаки с помощью которых можно определить, он (график), показывает хаотическое распределение по множеству $n$ или есть система? Мне, как человеку не искушенному, интуитивно, кажется, что определить нельзя. Но, читав " Голос неба" С. Лема, верю, что математика может творить чудеса при поиске закономерностей в кажущемся хаосе. Подскажите пожалуйста.

EUgeneUS · 11/12/16 13812 уездный город Н

stalvoron в сообщении #1644399 писал(а):

Имеется $n$ генераторов которые работают в режиме выдачи единичного импульса -типа $1$ . Т.е. за одну сессию в которой участвует $n$ генераторов, от одного генератора получаем либо $0$ либо $1$ . Согласно заявлению поставщика генераторов (и ожидаемая мной ) частота выдачи $1$ относительно $0$ составляет $33$ %. Индивидуальный контроль за генераторами технически невозможен, фиксируется сумма за сессию

Что значит "сумма за сессию"?
Ниже - как я понял объяснения.
Есть $n$ генераторов, которые за сессию генерируют либо ноль, либо единицу.
Вероятность сгененировать единицу за сессию для каждого генератора - одна третья.
Результатом измерения является сумма значений всех генераторов за сессию.

Например, мат. ожидание измерения для $n=60$ генераторов будет являться $20$ .

Два соображения.
Если какие-то генераторы "филонят", то "стахановцами" компенсировать никак не получится в некоторых случаях. Например, если филонять более чем две трети генераторов, то оставшейся третью стахановцев получить ожидаемое значение $20$ никак не получится.

Измеряемая величина имеет биномиальное распределение (в точности по определению).

stalvoron · 17/03/20 256

EUgeneUS, спасибо. Вы правильно поняли.

EUgeneUS в сообщении #1644400 писал(а):

Что значит "сумма за сессию"?

Ну сумма единиц, выданных множеством $n$ .

EUgeneUS в сообщении #1644400 писал(а):

Два соображения.

. Сейчас буду думать, и посмотрю, что такое "биноминальное распределение". Ситуация такая, что ожидание, как раз, в среднем соответствуют, для всей серии, но в отдельных сессиях, и не редко, имеет место быть значительное отклонение как в меньшую, так и в большую сторону. Может по частоте и значениям этих отклонений можно определить - это следствие хаотичного чередования вероятных исходов для $n$ генераторов с заданным ожиданием, либо это стабильно (относительно, конечно) есть 2 группы? Надо подумать,

sergey zhukov · 17/10/16 4759

EUgeneUS в сообщении #1644400 писал(а):

Что значит "сумма за сессию"?

Если это сумма значений генераторов за один такт генерации, то она подчиняется биномиальному распределению, и можно легко подсчитать распределение такой суммы для соответствующей вероятности $\frac{1}{3}$ . Если распределение получается другое, то это указывает на то, что есть какая-то нестационарность (скажем, вероятность зависит от времени) или генераторы не идентичны.

Например, если первая половина генераторов работает с вероятностью $p$ , а вторая - с вероятностью $q$ , то сумма каждой половины подчиняется своему индивидуальному биномиальному распределению, а распределение суммы этих сумм (то, что мы имеем) - это некоторая свертка этих двух распределений. Это уже не биномиальное распределение.

Так что можно построить распределение суммы, убедиться, что оно соответствует теоретическому биномиальному, и надеятся, что все в порядке (надеятся потому, что, вероятно, это условие для идентичности всех генераторов необходимое, но не достаточное). Если же распределение суммы не ложится на теоретическое, то одно из двух: или все генераторы одинаково "плавают" по времени, или они разные (или и то и другое).

StepV · 23/05/20 378 Беларусь

stalvoron в сообщении #1644399 писал(а):

Индивидуальный контроль за генераторами технически невозможен, фиксируется сумма за сессию.

Что значит нет индивидуальногот контроля? Вы можете выключить любой генератор? Можете выключить все с нечетными номерами и замерить результат на выходе? То же с четными номерами. Потом работать первой, второй, третьей двадцаткой и снимать результат? Наконец, если трудно анализировать так, то поработайте с генераторами по одному. Мне кажется, что при любой схеме у вас включение и выключение генераторов должно быть раздельным (или сделайте раздельным на время тестирования сами).

Geen · 01/09/13 4656

stalvoron в сообщении #1644399 писал(а):

Мне, как человеку не искушенному, интуитивно, кажется, что определить нельзя.

Берёте, к примеру, две гипотезы относительно того, как работает Ваш "генератор случайных чисел". Например, одна гипотеза состоит в том, это "сумма успехов" идентичных и независимых испытаний (схема Бернулли). Вторая гипотеза - определённое число испытаний всегда даёт "успех", а все остальные - "неудачу".
Разница, очевидно, не в среднем, а в дисперсии.
А можно построить и более сложные гипотезы - и потребуется смотреть "более высокие моменты распределений". Но это, автоматически, требует на порядки большего "числа измерений"....

stalvoron в сообщении #1644399 писал(а):

Нельзя ли, математически, на основании имеющейся статистики

Зависит от размера этой статистики.... и от того, что Вы хотите выловить (к примеру, у Вас миллион генераторов, а Вы хотите найти 10 "уклонистов" - малореальная задача)

stalvoron · 17/03/20 256

StepV в сообщении #1644408 писал(а):

Что значит нет индивидуальногот контроля?

В том то и дело, что всё что Вы ниже описали сделать нельзя (если быть точным, можно, но связано с затруднениями, которые я хотел бы избежать) В противном случае я бы не озадачивался.

Geen в сообщении #1644413 писал(а):

Зависит от размера этой статистики.... и от того, что Вы хотите выловить (к примеру, у Вас миллион генераторов, а Вы хотите найти 10 "уклонистов" - малореальная задача)

. Спасибо за идею. Нет, у меня не миллион генераторов. Я упрощу ситуацию до, скажем $n=3$ , и тупо попробую сделать на бумажке графики возможных результатов для случая выполнения ожидания при сдвижке . А потом посмотрю, как будут выглядеть графики для случая, если скажем один генератор постоянно "валяет дурака" а два других будут " нагонять" ожидаемые результат. Может соображу на что это больше похоже в моём случае.

Geen в сообщении #1644413 писал(а):

испытаний

Подскажите пожалуйста что в моём случае принимать за "испытание"? Разовая сессия для $n$ генераторов? sergey zhukov Спасибо большое, но я мало что понял .

sergey zhukov в сообщении #1644406 писал(а):

Так что можно построить распределение суммы, убедиться, что оно соответствует теоретическому биномиальному,

.Оно (распределение сумм) построено, а где взять ( и что это, в моём случае?) " теоретическое биноминальное".

sergey zhukov в сообщении #1644406 писал(а):

о одно из двух: или все генераторы одинаково "плавают" по времени, или они разные (или и то и другое).

. Да я знаю, что генераторы "плавают", режим однозначно не синхронный , в том то и вопрос, что бы определить по имеющемуся графику распределения - отклонения ожидания -это результат "плавания" или нарушение распределения события у отдельных генераторов. Собственно, меня интересуют те у которых вероятность выдачи $1$ стабильно ниже одной трети, что бы их аннигилировать (образно) для экономии ресурсов. Кстати у меня не "генератор случайных чисел" так как, условно, мы знаем вероятность результата. Ну да ладно, это не важно.

sergey zhukov · 17/10/16 4759

stalvoron в сообщении #1644423 писал(а):

а где взять ( и что это, в моём случае?) " теоретическое биноминальное".

Ну, раз "биномиальное распределение" так и не смогли посмотреть, то можно на этом и заканчивать. Видимо, не очень нужно.

EUgeneUS · 11/12/16 13812 уездный город Н

stalvoron в сообщении #1644404 писал(а):

EUgeneUS, спасибо. Вы правильно поняли.

Если всё правильно понял, то всё прозрачно, как слеза комсомолки:

1. Есть $n$ случайных величин, имеющих распределение Бернулли, с известным (теоретически) параметром $p$ .
2. Сумма $n$ случайных величин, имеющих распределение Бернулли, с известным (теоретически) параметром $p$ есть случайная величина, имеющая биномиальное распределение с параметрами, ВНЕЗАПНО, $n, p$
3. Таким образом, нулевая гипотеза $H_0$ - наблюдаемые "суммы всех генераторов" являются значениями случайной величины, имеющей биномиальное распределение с параметрами, ВНЕЗАПНО, $n, p$
4. Для подтверждения или опровержения нулевой гипотезы нужно использовать подходящий статистический критерий.
5. Так как имеются теоретические знания как о виде распределения, так и о его параметрах, можно использовать критерии из следующих групп:
а) Критерии значимости. Проверка на значимость предполагает проверку гипотезы о численных значениях известного закона распределения.
б) Критерии согласия. Проверка на согласие подразумевает проверку предположения о том, что исследуемая случайная величина подчиняется предполагаемому закону. Критерии согласия можно также воспринимать как критерии значимости.

Далее следующие варианты:

1. Если у Вас был курс теорвера\матстатистики, но он был успешно забыт, можно попытаться восстановить знания, необходимые для решения этой задачи, восстановить пробелы, и решить задачу.
2. Если у Вас не было курса теорвера\матстатистики, то решить задачу быстро Вы не сможете.
2.1. Если есть неограниченное количество времени, то можно начать изучение с книги "Математическая Статистика и Котики".
2.2. Если неограниченного количества времени нет, то нужно обратиться к людям, у которых был курс матстатистики, и они его не забыли.

-- 30.06.2024, 11:40 --

Geen в сообщении #1644413 писал(а):

Берёте, к примеру, две гипотезы относительно того, как работает Ваш "генератор случайных чисел". Например, одна гипотеза состоит в том, это "сумма успехов" идентичных и независимых испытаний (схема Бернулли). Вторая гипотеза - определённое число испытаний всегда даёт "успех", а все остальные - "неудачу".

Цитата:

При использовании критериев согласия, как правило, не задают конкурирующих гипотез: рассматривается принадлежность выборки конкретному закону, а в качестве конкурирующей гипотезы — принадлежность любому другому.

realeugene · 27/08/16 10151

stalvoron в сообщении #1644423 писал(а):

А потом посмотрю, как будут выглядеть графики для случая, если скажем один генератор постоянно "валяет дурака" а два других будут " нагонять" ожидаемые результат. Может соображу на что это больше похоже в моём случае.

Если один генератор из трёх всегда выдаёт 0, то вы никогда не получите сумму, равную 3. В рамках нулевой гипотезы о честных независимых генераторах с вероятностью срабатывания одного 1/3, вероятность одновременного срабатывания всех трёх сразу будет 1/27. Если вы проведёте 1000 экспериментов и ни разу не обнаружите в сумме тройки, вы можете быть практически абсолютно уверены, что нулевая гипотеза неверна.

Можно применять и более тонкие методы оценивания получаемой вами статистики, но с ними легче прийти к ошибочным выводам.

-- 30.06.2024, 12:39 --

stalvoron в сообщении #1644399 писал(а):

Нельзя ли, математически, на основании имеющейся статистики, определить - средний показатель, это результат относительно равноправной работы генераторов , или есть "саботажники и " активисты"?

Можно, но чем слабее саботажники и активисты отличаются от нормы, и чем меньше вам нужна вероятность ошибки, тем больше статистики потребуется набрать.

stalvoron · 17/03/20 256

EUgeneUS, я в своё время изучал теор. вер., но кроме некоторых терминов и принципов не помню ничего. Изучал давно , и в жизни не сталкивался, но коль " всё прозрачно как слеза комсомолки", как бывший, разберусь. Время надеюсь у меня есть, и вопрос к счастью, не жизнесуществования. Так что спасибо за подсказки. Буду разбираться. Правда, не так это быстро у меня получится, как уважаемый sergey zhukov сделал мне замечание.

realeugene в сообщении #1644478 писал(а):

Если один генератор из трёх всегда выдаёт 0, то вы никогда не получите сумму, равную 3

. Это очевидно. И если в серии из скажем 30 сессий ни разу не выйдет $3$ , то это была бы победа (ответ)! Но ведь если я знаю, что единичный генератор в норме работает когда выдаёт $1,0,0$ , а также $0,1,0$ , а так же $1,1,0,0,0,0$ и т.д., то очевидно что сумма разовой сессии для тех же 3 нормально работающих генераторов будет довольно часто в пределах $0,1,2$ и это "прячет" "молчуна". При этом сумма $1$ соответствует ожидаемому режиму работы как для 3 так и для 2 генераторов, а отклонения можно объяснить распределением показаний единичных генераторам. Я думал - есть какой то способ определить из распределения сумм от $n$ генераторов (вот от незнания, неудачно выбрал обозначение, извиняюсь) по данным от $m$ сессий (причём, как я говорил, по факту у меня среднее по $m$ указывает на выполнение ожидания) - это следствие распределения или следствие существования неработающих генераторов? Да, если бы выпала сумма равная $n$ и выпадала бы с некоей периодичностью, пусть даже хаотически, я бы понял ,что все работают так сяк , но пока максимум, что выпадало это $\frac{n}{2}$ ну и вплоть до $0$ , но чаще в окрестностях $\frac{n}{3}$ . Я понимаю, что изъясняюсь с профессиональной точки зрения дикообразно, но,увы, на данный момент по другому не могу. Если утомил, не стесняйтесь. Всем спасибо. Мне надо разобраться,подумать и посмотреть чего ни то.
.

realeugene в сообщении #1644478 писал(а):

с вероятностью срабатывания одного 1/3, вероятность одновременного срабатывания всех трёх сразу будет 1/27. Если вы проведёте 1000

Намекните, если можно, "1/27" - как правильно называется в общем, а я найду и посчитаю какой должна быть серия для моих условий.

realeugene · 27/08/16 10151