Вероятность по таблице

[Александрович]

AndyJ в сообщении #1539642 писал(а):

Да и нет в них пока даже 100 записей для начала анализа.

Давайте сколько есть.

AndyJ в сообщении #1539642 писал(а):

Поэтому учусь на чистом рандоме.

По какому закону распределена св?

[AndyJ]

Pphantom в сообщении #1539643 писал(а):

То, что нужно делать, зависит от распределения, которое получается в реальности, так что его получение - первая задача.

Распределение может быть абсолютно разным! От равномерного белого шума до идеальной Гауса. От синусоиды (датчик освещения на улице - в среднем 0.5 от дневной яркости) до одинакового числа по всей таблице ("температура тела обычно где-то между 36,6 и 36,6, но в среднем 36,6").

Ради "одноразового решения", которое можно "на глаз" разделить на "полезное и ненужное" я бы не обращался в "лигу математиков" )))

Мне нужен алгоритм, который... как-то (формулами) проанализировав таблицу конечной длины, выдаст не только среднее арифметическое от значений, но и выдаст мне некий верхний и нижний предел, внутри которого помещаются 70% от всех значений.

50% от всех значений я уже успешно получил, сначала получив среднее арифметическое, а потом получив среднее арифметическое от того что выше и ниже первого средне-арифметического...

Сейчас экспериментирую с этим "вторыми" "средними", пытаясь их на коефициенты множить... Спорная идея, но может и пройдет! сейчас проверяю...

Александрович в сообщении #1539644 писал(а):

По какому закону распределена св?

Изначально формулой для рандома была (в екселе)
=50+ROUND(50*RAND())
Отклонение от "нормали" было не большим, но иногда в пределах 3-5% от 50%. Этого хватало чтобы на графике можно было "смещение" заметить. (именно это было на картинке)

Сейчас для тестов добавил к рандому еще коефициент в виде "счетчика в квадрате" - это сильно задрало один бок и сдвинуло средне-арифметическую..

Александрович в сообщении #1539644 писал(а):

Давайте сколько есть.

Для тестов вполне хватит рандомных значений с белым шумом! Парсингом займусть только когда пойму ради чего стараюсь...

[Александрович]

AndyJ в сообщении #1539645 писал(а):

=50+ROUND(50*RAND())

Это даёт равномерно распределённую дискретную св. Ну и ограничивайте слева и справа до требуемой квантили.

[AndyJ]

Александрович в сообщении #1539647 писал(а):

Это даёт равномерно распределённую дискретную св.

В реале даже обычный рандом дает далеко не "равное распределение". Уровень погрешности даже на 49 значений дает сдвиг центра где-то между 43-56%

Александрович в сообщении #1539647 писал(а):

Ну и ограничивайте слева и справа до требуемой квантили.

Вопрос как раз и заключается в том "КАК ограничить эту квантиль?".
Есть "горизонтальная труба" на графике, заполненная случайными точками. Как выяснить насколько эту трубу нужнож сжать снизу и сверху от средне-арифметической горизонтали чтобы чтобы ниже средне-арифметической получилось 35% всех точек и выше 35% (=70%). Причем за минимальное количество "телодвижений" процессора...

[Александрович]

AndyJ в сообщении #1539649 писал(а):

В реале даже обычный рандом дает далеко не "равное распределение".

Далеко это как? На каком уровне значимости проверки гипотезы о равномерности?

AndyJ в сообщении #1539649 писал(а):

даже на 49 значений дает сдвиг центра где-то между 43-56%

Вы возможно хотели сказать не о сдвиге центра распределения, а о доверительном интервале для доли в 50%?

[kotenok gav]

AndyJ в сообщении #1539634 писал(а):

Хочу чтобы конечный пользователь программы (когда я ее закончу) мог бы хоть немного прогнозировать свое время, а не скучать перед монитором ожидая что "во-вот закончит" (как сейчас мучаюсь я)...

Просто выводите на экран прогресс-бар.

-- 18 ноя 2021, 14:18 --

Кстати, большинство библиотек для создания прогресс-баров ещё и ETA (примерное время для конца) выводят.

[AndyJ]

kotenok gav в сообщении #1539658 писал(а):

Просто выводите на экран прогресс-бар.

Для интервалов больше 5-10 минут прогресс бар становится бесполезным. Даже при огромной длине ползунок движется крайне медленно чтобы мозг успевал делать прогноз. На времени больше 40 минут он визуально "висит". Можно выводить проценты с дробными, но никто не хочет считать сто значит 0.01% в 2-3 секунды.

kotenok gav в сообщении #1539658 писал(а):

Кстати, большинство библиотек для создания прогресс-баров ещё и ETA (примерное время для конца) выводят.

Во первых это обычно прогноз на основе текущей скорости. Берется например 3-5 секунд и смотрится какой % задачи выполнен. Обратным процессом получаем сколько времени на 100% и на оставшиеся %. Точность крайне хромает, если процесс не линейный. Например состоит из нескольких десятков разных операций, работающих с разными скоростями. Или на не стабильном/перегруженном интернете работать - скорость прыгает от нуля до "выше лимита за счет кеширования".

А во вторых я хочу на основе истории ПРОШЛЫХ подобных операций делать "прогноз" и "озвучивать" его пользователю. Этот прогноз не дает никаких гарантий, но надежнее простых рассчетов. И со временем "адаптируется" под текущую задачу и "обычные" условия. Если "разброс" прогноза большой, полезно озвучить диапазон, а если маленький, то можно озвучить среднее значение.

------------

Сейчас изучаю "квантиль" (СПАСИБО - термин уже давно забылся - без вас не вспомнил бы)! Вроде... похоже на то что мне нужно! В екселе почему-то крайне убогая функция, но на нормальных языках можно "точность" задавать (но их примеры в екселе уже не потестишь - нужно отдельный тестовый полигон на нормальном языке писать)

[artempalkin]

AndyJ в сообщении #1539645 писал(а):

От синусоиды (датчик освещения на улице - в среднем 0.5 от дневной яркости)

так если синусоида, то среднее $0$ должно быть

[Александрович]

AndyJ в сообщении #1539661 писал(а):

В екселе почему-то крайне убогая функция

См. там - ПРОЦЕНТИЛЬ.

[AndyJ]

artempalkin в сообщении #1539667 писал(а):

так если синусоида, то среднее $0$ должно быть

И что? Это ведь тоже ответ на вопрос "какой ожидаемый результат?". Но меня не среднее интересует! А в каких пределах ожидается "разброс значения".
В чистой синусоиде где максимум/минимум +/-1 "ожидаемый результат" будет где-нибудь в диапазоне... +/-75-80? остальное заберет "погрешность". И =4+sin(a) это тоже синусоида, но со средним в 4. А если взять крайне маленький диапазон, то среднее может сместиться...

...начал писать полигон для отладки... с "блэкджеком" и графиками... Перенесу наработки из экселя туда.

Спасибо за ПРОЦЕНТИЛЬ! Погуглю...

Нашел несколько реализаций алгоритма для квантиля. Буду тестировать! (работы на несколько дней, а учитывая что это проект "для себя", а не для работы, то может и намного дольше)

Думаю пока вопрос можно закрыть! Если не получится, попрошу помощи еще раз!

Всем спасибо!!!

[artempalkin]

AndyJ в сообщении #1539670 писал(а):

И что? Это ведь тоже ответ на вопрос "какой ожидаемый результат?". Но меня не среднее интересует! А в каких пределах ожидается "разброс значения".
В чистой синусоиде где максимум/минимум +/-1 "ожидаемый результат" будет где-нибудь в диапазоне... +/-75-80? остальное заберет "погрешность". И =4+sin(a) это тоже синусоида, но со средним в 4. А если взять крайне маленький диапазон, то среднее может сместиться...

Ну, вроде бы ваши пример был о среднем освещении на улице, а если брать его в простейшем случае, то как раз среднее есть $0$ (мне просто показалось, вы именно это хотите привести в пример. $\frac 12$ - это среднее значение не синуса, а квадрата синуса). Но пример ваш, так что если вы считаете так, то дело ваше.

[alisa-lebovski]

AndyJ в сообщении #1539631 писал(а):

Можешь поподробнее??? Чую что алгоритм не сложный, но не знаю с чего начать...

Еще раз. Допустим, у Вас есть 100 наблюдений. Упорядочиваете их по возрастанию. Тогда 50-ое значение можно принять за "центр", диапазон на 60% - от 20-го до 80-го значения и т.д.

[Dmitriy40]

alisa-lebovski
Медиана не всегда выдаёт наиболее вероятное значение, чего в частности хочет ТС, например для вектора $\{1,2,2,3,5,9,9,9,9\}$ медиана как легко видеть равна $5$, хотя $9$ вчетверо более вероятна.
Но здесь можно хотя бы частоты встречаемости посчитать и по ним отсортировать, а вот с $\{16,23,27,35,51,91,93,94,99\}$ это уже не проходит, повторов нет, а наиболее вероятно значение $93...94$.

[AndyJ]

Dmitriy40 в сообщении #1539748 писал(а):

например для вектора $\{1,2,2,3,5,9,9,9,9\}$

Добавьте в условие еще то что все цифры дробные с большим количеством знаков после запятой {..., 9.342, 9.423, 9.6455, 9.9984 }

Но я примерно понял направление работ! Попробую для начала на JavaScript все это из экселя перевести и на красивые графики вывести.