Расщепление смеси

[Александрович]

Спасибо всем за участие в обсуждении. Но давайте всё-таки вернёмся к стартовому посту. Вопрос был следующий:

Александрович в сообщении #1436197 писал(а):

Правильный ли такой подход к расщеплению смеси?

А подход был такой. Выдвигалась гипотеза о том, что выборочное распределение представляет собой смесь двух нормальных распределений. Путём минимизации хи-квадрат определялись параметры этих распределений и их веса в смеси. По критерию хи-квадрат проверялась гипотеза о принадлежности опытного распределения к теоретическому и не была отвергнута.

Александрович в сообщении #1436197 писал(а):

Существуют ли другие методы?

Я понял что параметры можно также найти методом максимального правдоподобия.

[B@R5uk]

Александрович, мне тут не давало покоя скопление точек в районе 200, но я не понимал почему. Сейчас я придумал как построить по экспериментальным точкам некий аналог экспериментальной плотности вероятности. Это построение не использует разбиение на бины и подсчёт значений, поэтому, на мой взгляд, не теряет так много информации. Каждой точке я поставил в соответствие гауссианину фиксированной ширины и всё просуммировал:

$$f\left( x \right)=\frac{1}{\sigma \sqrt{2\pi }}\sum\limits_{k}{\exp \left( -\frac{{{\left( x-{{x}_{k}} \right)}^{2}}}{{{\sigma }^{2}}} \right)}$$

Это в некотором смысле делает то же самое интегральное усреднение, что и через разбиение на бины, где вместо гауссианины суммируются прямоугольные функции с фиксированными границами. Но в последнем случае теряется слишком много информации. В зависимости от выбора ширины суммируемых гауссов достигается компромисс между детализацией и гладкостью. У меня получилась такая картинка:



Видно, что имеется по крайней мере три максимума на фоне медленно спадающего хвоста. Причём главный максимум, судя по всему, двойной.

[Александрович]

B@R5uk, но ведь 196 точек это очень мало для расщепления пятикомпонентной смеси. Вполне возможно что это результат случайного расклада.

[B@R5uk]

Александрович, это тоже верно. Но в таком случае совет может быть только один: померить больше. Будь у меня возможность, я бы порядок числу измерений не раздумывая бы накинул.

[B@R5uk]

Всё-таки не удержался, зафитил суммой трёх базовых распределений. Кроме участка 100-130 значений случайной величины, где находится второй горб и спад главного максимума, фитится значительно лучше.

[Александрович]

B@R5uk в сообщении #1436669 писал(а):

Видно, что имеется по крайней мере три максимума

Предлагаю проделать следующее. Нагенерить 196 точек из модельного распределения двухкомпонентной смеси с моими параметрами и проделать с этой выборкой ту же процедуру. Интересно, появляются ли при Вашей обработке ложные локальные максимумы? Если вам сложно я могу нагенерить.

[Евгений Машеров]

Александрович в сообщении #1436549 писал(а):

А правомерно ли после нахождения параметров этим методом проверять гипотезу о принадлежности выборочного распределения гипотетическому по критерию хи-квадрат?

Не уверен, но мне кажется, что можно. Соответственно скорректировав число степеней свободы.

-- 24 янв 2020, 11:03 --

B@R5uk в сообщении #1436669 писал(а):

Каждой точке я поставил в соответствие гауссианину фиксированной ширины и всё просуммировал:

Это "ядерное сглаживание". Метод вполне рабочий, но там появляется выбираемый "волевым решением" параметр ширины ядра (гауссовского или иного). И если взять ширину меньше - будет и больше трёх пиков, меньше - два или даже один.

-- 24 янв 2020, 11:04 --

Александрович в сообщении #1436659 писал(а):

Я понял что параметры можно также найти методом максимального правдоподобия.

https://www.twirpx.com/file/1440330/
https://www.twirpx.com/file/1997942/

[Евгений Машеров]

Александрович в сообщении #1436587 писал(а):

А нормальные потому что можно представить в виде суммы многих случайных факторов.

А логнормальные можно представить в виде произведения многих случайных факторов...

[Александрович]

Евгений Машеров в сообщении #1436697 писал(а):

в виде произведения многих случайных факторов

Исходил из $ x\sim |\sum\limits_{i} \vec{F_i}| $.

[Emergency]

А почему вообще эти амплитуды считается случайными, а не точками синусоид(ы)?

[EUgeneUS]

Александрович в сообщении #1436699 писал(а):

Исходил из $ x\sim |\sum\limits_{i} \vec{F_i}| $.

А почему не $$ x\sim \sqrt{\sum\limits_{i} \vec{F_i}^2}$, например.

Вы измеряете какую-то случайную величину, которая не может быть отрицательной.
И вполне естественно получаете несимметричный колокол. А потом, чтобы объяснить асимметрию представляете функцию плотности как сумму двух симметричных распределений, имеющих хвосты в отрицательную область.

ИМХО, очевидно, что эти две компоненты не являются компонентами смеси (то есть не отражают влияние реально имеющихся факторов), а являются искусственным приближением.

[B@R5uk]

EUgeneUS в сообщении #1436815 писал(а):

...а являются искусственным приближением.

Ну это само собой разумеется. Я так понял вопрос стоит найти подходящую кривую с минимум параметров, хорошо ложащуюся на экспериментальные точки.

Emergency в сообщении #1436717 писал(а):

А почему вообще эти амплитуды считается случайными, а не точками синусоид(ы)?

Вот это действительно хорошее замечание. Там где есть вибрации, надо бы делать временной и частотный анализ. А уж с их результатами — статистический. У меня был замечательный пример, когда я пытался делать статистику, когда её там не было. Я экспериментировал с повышением разрядности АЦП в МК. Там смысл в том, чтобы к постоянному сигналу подмешать шум и потом усреднить по большому набору отсчётов. Я собрал простенькую тестовую схему и радовался тому, что не надо было искусственно добавлять шум в сигнал, потому что он уже там изначально был. А потом взял и построил гистограмму:



И понял что что-то тут не то. Просмотр временного графика показал наличие фона 50 Гц (низ и верх синусоиды, где напряжение "задерживается" дали два статистических пика на картинке). А заземление металлической основы макетной платы привело к тому, что весь этот шум/фон исчез, и мне нужно было добавлять гауссов шум через трансформатор со звуковой платы компьютера (так надёжнее и регулировать можно).

Однако конкретно в случае вибраций для хорошего временного и частного анализа необходимо измерять не абсолютное смещение, а все три координаты наблюдаемой точки. Иначе интерференция частотных компонент будет сильно мешать анализу (нахождение абсолютного смещения — функция то нелинейная).

[EUgeneUS]

B@R5uk в сообщении #1436817 писал(а):

Я так понял вопрос стоит найти подходящую кривую с минимум параметров, хорошо ложащуюся на экспериментальные точки.

Тут есть два вопроса:
1. А дальше что? Что предполагается делать с этим приближением?
2. Что значит "хорошо ложащуюся на экспериментальные точки"? Это вопрос связанный с первым.

Домыслы 1.
Предположим мы хотим как-то выделить факторы влияющие на размах виброперемещения. Тогда вид распределения нужно выбирать из каких-то физических предположений.

Домыслы 2.
Предположим мы хотим оценить процент брака - спрогнозировать процент количество устройств у которых уровень вибрации повышен. Тогда приближении в области максимума нас мало интересует, а интересует хвост в бесконечность. В этом случае, имхо, нужно делать так:
1. Строить функцию распределения, как делаете Вы.
2. Выбрасывать некоторое количество точек из области максимума, чтобы их "проредить", и повысить влияние на оценку качества приближения в хвостах.
3. Уже потом фитить.

[Александрович]

Emergency в сообщении #1436717 писал(а):

почему вообще эти амплитуды считается случайными, а не точками синусоид(ы)

Не понял вопроса.

[Александрович]

EUgeneUS в сообщении #1436348 писал(а):

Судя по гистограмме величина не бывает отрицательной в принципе.
А нормальные распределения дадут хвосты в отрицательную область, в данном случае вполне весомые

Температура здоровых людей может быть распределена по нормальному закону?