Биноминальное стандартное распределение

[Gandzak]

Здравствуйте, уважаемые форумчане!

Прошу помочь со следующей задачей.

Есть массив данных (веса 80 монет). Он отражает вес монет, отчеканенных в двух разных (но близких) весовых стандартах.
Т. е. распределение весов в выборке биноминально (в действительности - это два, наложенных друг на друга хвостами, нормальных распределения).
"Идеальные" средние веса, известные по другим данным - 1,44 г и 1,58 г. Гистограмма такова:



(Цвета не важны).

Вопросы.
1) как выделить средний вес и медиану в каждом нормальном распределении?
2) какой критерий укажет на то, что средний вес определен корректно?
3) как нарисовать в Excel график с двумя нормальными распределениями?

Заранее большое спасибо за помощь в исследовании.

[svv]

К сожалению, ничем не могу Вам помочь. Но очень интересно, почему монеты одного веса обозначены разными цветами. Если бы цветов было два, я бы подумал, что это монеты одного и другого стандарта, но тут их, фактически, пять.

[Gandzak]

Цветами обозначены года, когда они видны на монете. Если года не сохранилось - то вес без цвета.

Стандарта, как я писал, два - номинально 1,44 г и номинально 1,58 г. Вопрос в реальных средних.

[svv]

Ой, так это реальная задача!
Правильно ли я понимаю? Поскольку в руки исследователя попадают монеты, уже бывшие в обращении, то распределение монет каждого стандарта сильно смещается влево (и, возможно, становится несимметричным). Монеты стираются и их вес может уменьшиться, но не увеличиться (их ведь, наверное, чистят и моют перед взвешиванием, раз требуется такая точность?). Правее $1.58$ совсем ничего нет.

[Gandzak]

Да, вы правы, это реальная задача.

Монетки из одного клада, стертость невысокая, но само качество чеканки плохое (это все ручная чеканка), и вообще в это время и в этом регионе вес каждого экземпляра выдерживался не очень хорошо.

1,58 могло сместиться влево и дать 1,55, но тогда и 1,44 должно было бы сместиться влево, а у нас визуально пик в районе 1,47. Как думаете?

[Евгений Машеров]

Это задача о разделении смесей распределений. Решают часто ЕМ-алгоритмом
http://www.machinelearning.ru/wiki/inde ... 1%82%D0%BC
Есть и иные методы
https://en.wikipedia.org/wiki/Mixture_model
Не очевидно, что отклонения от номинального веса будут распределены нормально, скорее будет "скос влево".

[svv]

Gandzak в сообщении #1139178 писал(а):

Монетки из одного клада

Интересно было бы узнать чуть больше о «бэкграунде» задачи.

Да, в 1.47 пик, причём такой, который трудно объяснить совмещением двух хвостов (он больше суммы максимумов).

Вам требуется аппроксимировать гистограмму суммой двух нормальных распределений. У нас на форуме сейчас некоторое сезонное затишье, но вообще тут много специалистов по аналогичным вопросам. Как вариант — они подскажут программу, которая это легко сделает.

[Gandzak]

Уважаемый Евгений Машеров, большое спасибо за ответ. Теперь я знаю, как правильно моя задача называется и нашел много по ней литературы :) Но, увы, как это применить руками для меня совсем непонятно :(

svv в сообщении #1139212 писал(а):

Интересно было бы узнать чуть больше о «бэкграунде» задачи.

Монеты Карабахского ханства, конец XVIII в., тип А. Выглядят приблизительно вот так: http://www.zeno.ru/showphoto.php?photo=47676. Типологически единообразны, метрологически делятся на три группы - в двух из них как раз разбираемся, третья сильно отстоит по весу от них.

svv в сообщении #1139212 писал(а):

Как вариант — они подскажут программу, которая это легко сделает.

Да, это было бы идеально.

[svv]

Спасибо, очень интересно.

[Gandzak]

Вот какого типа нужен график:



И к нему же $Mo, \sigma, \mu, \mathsf{P}$. Точно делаетcя в Excel.

[Александрович]

Gandzak в сообщении #1138991 писал(а):

Гистограмма такова:

22 интервала для такого количества монет очень много. Объедините каждые 4-ре интервала в один. Проверьте на нормальность. Мне кажется здесь одно нормальное распределение, а не смесь.

[Gandzak]

Объединять точно нельзя - взвешивание производится с точностью до сотых.

График на рисунке сделан по 99 точкам, точность взвешивания также до сотых. В моем случае 74 точки, мне кажется, разница не принципиальна.

Общее одно нормальное распределение ($\mu=1,4822; \sigma=0,0503$) дает бессмысленный результат.

[Александрович]

Объединил 6 крайних левых и 5 крайних правых интервалов, остальные по 3. Гипотеза о нормальности не отвергается.

Сделал расщепление вашей смеси.

[Gandzak]

Уважаемый Александрович, большое спасибо! Результат, конечно, не тот, что ожидался, так что буду думать, как его объяснять.

А вы бы не могли мне скинуть исходный экселевский файл на почту? Был бы очень вам признателен.

[Евгений Машеров]

Попытавшись расщепить смесь распределений на два, получил, что для первого, к которому принадлежат 66 монет с весом от 1.36 до 1.53, среднее равно 1.47, при стандартном отклонении 0.04, а для второго, к которому принадлежат 8 монет с весом от 1.55 до 1.58 среднее равно 1.57 при стандартном отклонении 0.01. При этом для второй группы есть вероятность, что это "хвост" первого распределения, равная для четырёх последовательных весов от 1.55 до 1.58 соответственно 77%, 32%, 14%, 13%, в первой группе вероятность принадлежность ко второму распределению менее 1% даже для веса 1.53.

Распределение представляется сильно отклоняющимся от нормального, в частности, виден большой "левый хвост" (возможно, что основное различие веса монет связано не с производством, а с различным их износом в обращении, так что монеты, дольше пребывавшие в обороте, больше потеряли в массе, и получилась асимметрия в сторону уменьшения).

-- 25 июл 2016, 13:40 --

Кстати, в таблице 74 числа. А указано в тексте 80. Где-то ошибка?