Задача про перекрёсток и счётчики

[Sender]

Rak so dna в сообщении #1596102 писал(а):

Ну всё-таки в этом случае есть ситуации, когда мы точно можем определить неисправный счётчик.

Тут следует уточнить, что я говорил о данных, приведённых в таблице, там явно не тот случай. Можно ещё последовательно перекрывать въезды/выезды, добиваясь правильности показаний. Ну или таки разориться на контрольные счётчики для сверки.

[oneofother]

Rak so dna в сообщении #1596057 писал(а):

(Просто любопытно)

oneofother в сообщении #1596019 писал(а):

Два дня проб в excel ничего не дали.

А что конкретно вы пробовали два дня?

В общем идея была такой - если все счётчики поначалу считают верно, то неделя за неделей данные по вторнику, среде и четвергу будут самыми стабильными, остальные дни отбросим (я просто нагенерировал случайных чисел, сейчас, кстати буду генератор переделывать, в нём не учитывается возникающая разница "въезд-выезд", возможно один из способов и работал, но из-за чрезмерно большого разброса ошибки могли быть не видны). И по этим данным пытался найти такие соотношения, которые резко изменялись бы при изменении поведения счётчика. В excel очень много статистических функций, но я ими раньше не интересовался, поэтому, по большей части, шёл наобум.

-- 02.06.2023, 10:32 --

Rak so dna в сообщении #1596102 писал(а):

Sender в сообщении #1596052 писал(а):

Даже если достоверно известно, что неисправен ровно один счётчик, и он всегда за день завышает въезд ровно на единицу, не трогая выезд, мы всё равно никак не можем понять, какой именно, с равным успехом это может оказаться любой.

Ну всё-таки в этом случае есть ситуации, когда мы точно можем определить неисправный счётчик. Например, когда у трёх счётчиков показания по въезду равны нулю.

-- 02.06.2023, 08:44 --

Alex Krylov в сообщении #1596056 писал(а):

Любые проверки, попытки коррекции (за счет внутренних связей и избыточности) будут иметь смысл, если при определенных условиях (плотный трафик, освещенность, гидрометеоры итд) ошибки не возникают во всех (или во многих) счетчиках сразу. А у ТС ничего не говорится о характере ошибок, их причине, статистике.

Никакие проверки не будут иметь никакого смысла, пока у нас не будет информации про входящий/исходящий трафик. Иначе вы никак не различите правильные показания от случайно сгенерированных. В вашем случае, когда мы знаем, что ровно один счетчик неисправен, просто наугад выбираем любой из четырёх и с его помощью корректируем данные по трафику как нам надо.

Я уже порядочно над этим думал и тут вот какая есть вещь - дороги статистически неравнозначны. В какие-то из них люди едут преимущественно. Не знаю пока как это использовать, но подозреваю, что это возможно.

-- 02.06.2023, 10:35 --

Sender в сообщении #1596106 писал(а):

Rak so dna в сообщении #1596102 писал(а):

Ну всё-таки в этом случае есть ситуации, когда мы точно можем определить неисправный счётчик.

Тут следует уточнить, что я говорил о данных, приведённых в таблице, там явно не тот случай. Можно ещё последовательно перекрывать въезды/выезды, добиваясь правильности показаний. Ну или таки разориться на контрольные счётчики для сверки.

Но это же задачка на логику и статистику, а не на организационные приёмы )

[Alex Krylov]

oneofother в сообщении #1596112 писал(а):

Rak so dna в сообщении #1596057 писал(а):

(Просто любопытно)

oneofother в сообщении #1596019 писал(а):

Два дня проб в excel ничего не дали.

А что конкретно вы пробовали два дня?

В общем идея была такой - если все счётчики поначалу считают верно, то неделя за неделей данные по вторнику, среде и четвергу будут самыми стабильными, остальные дни отбросим (я просто нагенерировал случайных чисел, сейчас, кстати буду генератор переделывать, в нём не учитывается возникающая разница "въезд-выезд", возможно один из способов и работал, но из-за чрезмерно большого разброса ошибки могли быть не видны). И по этим данным пытался найти такие соотношения, которые резко изменялись бы при изменении поведения счётчика. В excel очень много статистических функций, но я ими раньше не интересовался, поэтому, по большей части, шёл наобум.

-- 02.06.2023, 10:32 --

Rak so dna в сообщении #1596102 писал(а):

Sender в сообщении #1596052 писал(а):

Даже если достоверно известно, что неисправен ровно один счётчик, и он всегда за день завышает въезд ровно на единицу, не трогая выезд, мы всё равно никак не можем понять, какой именно, с равным успехом это может оказаться любой.

Ну всё-таки в этом случае есть ситуации, когда мы точно можем определить неисправный счётчик. Например, когда у трёх счётчиков показания по въезду равны нулю.

-- 02.06.2023, 08:44 --

Alex Krylov в сообщении #1596056 писал(а):

Любые проверки, попытки коррекции (за счет внутренних связей и избыточности) будут иметь смысл, если при определенных условиях (плотный трафик, освещенность, гидрометеоры итд) ошибки не возникают во всех (или во многих) счетчиках сразу. А у ТС ничего не говорится о характере ошибок, их причине, статистике.

Никакие проверки не будут иметь никакого смысла, пока у нас не будет информации про входящий/исходящий трафик. Иначе вы никак не различите правильные показания от случайно сгенерированных. В вашем случае, когда мы знаем, что ровно один счетчик неисправен, просто наугад выбираем любой из четырёх и с его помощью корректируем данные по трафику как нам надо.

Я уже порядочно над этим думал и тут вот какая есть вещь - дороги статистически неравнозначны. В какие-то из них люди едут преимущественно. Не знаю пока как это использовать, но подозреваю, что это возможно.

-- 02.06.2023, 10:35 --

Sender в сообщении #1596106 писал(а):

Rak so dna в сообщении #1596102 писал(а):

Ну всё-таки в этом случае есть ситуации, когда мы точно можем определить неисправный счётчик.

Тут следует уточнить, что я говорил о данных, приведённых в таблице, там явно не тот случай. Можно ещё последовательно перекрывать въезды/выезды, добиваясь правильности показаний. Ну или таки разориться на контрольные счётчики для сверки.

Но это же задачка на логику и статистику, а не на организационные приёмы )

Когда для детекции/коррекции СЛУЧАЙНЫХ(!) ошибок вы можете использовать только данные с одного перекрестка, и когда на этом перекрестке используется по одному счетчику на одно ответвление этого перекрестка, то у вас на самом деле нет возможности локализовывать ошибки, так как в этом случае у вас нет никакой избыточности!

И еще раз замечу, что начинать говорить о детекции/локализации ошибок можно только тогда, когда известно, что ошибка носит СЛУЧАЙНЫЙ, а не систематический характер (обусловленный, например, алгоритмическим и(или) аппаратным несовершенством), отсутствует корреляция между счетчиками (когда при определенных внешних условиях ошибки начинают возникать сразу во всех счетчиках). Если вышеперечисленные вещи не выполняются, то вам никакая избыточность и прочая мажоритарная логика не помогут.

[oneofother]

Alex Krylov в сообщении #1596163 писал(а):

Когда для детекции/коррекции СЛУЧАЙНЫХ(!) ошибок вы можете использовать только данные с одного перекрестка, и когда на этом перекрестке используется по одному счетчику на одно ответвление этого перекрестка, то у вас на самом деле нет возможности локализовывать ошибки, так как в этом случае у вас нет никакой избыточности!

И еще раз замечу, что начинать говорить о детекции/локализации ошибок можно только тогда, когда известно, что ошибка носит СЛУЧАЙНЫЙ, а не систематический характер (обусловленный, например, алгоритмическим и(или) аппаратным несовершенством), отсутствует корреляция между счетчиками (когда при определенных внешних условиях ошибки начинают возникать сразу во всех счетчиках). Если вышеперечисленные вещи не выполняются, то вам никакая избыточность и прочая мажоритарная логика не помогут.

А вот такое рассуждение - на въезде у нас Х машин, на выезде Y. В какой-то момент Y становится меньше X на пять процентов (к примеру). Мы же можем посмотреть предыдущие записи и выяснить в каком коридоре гуляло отношение Y к X? Вот и выявили, что что-то случилось. Далее я думал взять какую-то конструкцию, которая показывала бы что некий счётчик в таком коридоре отношений гуляет (например СчетчикНомер1Выезд/ОбщийВъезд), другой в другом, а третий взял и за пределы своей нормы вышел. Раньше был 0,25 от входа, а стал, например 0,2 от входа. Значит вот он и попался, идём к нему и даём подзатыльник. Но это большое число, так любой может. А что если коридор обычных колебаний широкий, а ошибка маленькая, но регулярная? Вот тут мне интересно - существует ли функция или приём взять и заметно мультиплицировать ошибку? По идее видно же, что некое среднее уползло вверх?

[Alex Krylov]

oneofother в сообщении #1596173 писал(а):

Alex Krylov в сообщении #1596163 писал(а):

Когда для детекции/коррекции СЛУЧАЙНЫХ(!) ошибок вы можете использовать только данные с одного перекрестка, и когда на этом перекрестке используется по одному счетчику на одно ответвление этого перекрестка, то у вас на самом деле нет возможности локализовывать ошибки, так как в этом случае у вас нет никакой избыточности!

И еще раз замечу, что начинать говорить о детекции/локализации ошибок можно только тогда, когда известно, что ошибка носит СЛУЧАЙНЫЙ, а не систематический характер (обусловленный, например, алгоритмическим и(или) аппаратным несовершенством), отсутствует корреляция между счетчиками (когда при определенных внешних условиях ошибки начинают возникать сразу во всех счетчиках). Если вышеперечисленные вещи не выполняются, то вам никакая избыточность и прочая мажоритарная логика не помогут.

А вот такое рассуждение - на въезде у нас Х машин, на выезде Y. В какой-то момент Y становится меньше X на пять процентов (к примеру). Мы же можем посмотреть предыдущие записи и выяснить в каком коридоре гуляло отношение Y к X? Вот и выявили, что что-то случилось. Далее я думал взять какую-то конструкцию, которая показывала бы что некий счётчик в таком коридоре отношений гуляет (например СчетчикНомер1Выезд/ОбщийВъезд), другой в другом, а третий взял и за пределы своей нормы вышел. Раньше был 0,25 от входа, а стал, например 0,2 от входа. Значит вот он и попался, идём к нему и даём подзатыльник. Но это большое число, так любой может. А что если коридор обычных колебаний широкий, а ошибка маленькая, но регулярная? Вот тут мне интересно - существует ли функция или приём взять и заметно мультиплицировать ошибку? По идее видно же, что некое среднее уползло вверх?

Цитата:

А вот такое рассуждение - на въезде у нас Х машин, на выезде Y.

Да, это (неравенство величины $\left\lvert X-Y\right\rvert$ нулю или превышение ею некоторого порога) позволит детектировать часть ошибок. Но не локализовать (т.е. выяснить какой счетчик (или счетчики) дает(ют) сбой)!

Цитата:

Мы же можем посмотреть предыдущие записи и выяснить в каком коридоре гуляло отношение Y к X?

Да, для случая, когда заведомо известно, что все счетчики работоспособны, вы можете по экспериментальным данным построить гистограмму для величины $\left\lvert X-Y\right\rvert$. И исходя из этого выбрать порог!