смешение многокомпонентных составов

[Andrey_Kireew]

К стати, на счёт ковариационных матриц - при сравнении средних и тоже нужно сравнивать, но только если различия не обнаружены.
Это существенно повысит мощность критерия. Так, если различия в средних не значимы, а ковариационные матрицы существенно отличаются - то распределения $S$ и $C$ не принадлежат одной генеральной совокупности.
Это что касается 1-го способа. На счёт того хороший от или нет - дело вкуса, но по крайней мере он представляется вполне обоснованным.

Кажется и со вторым, предложенным Вами способом я разобрался. Вы предлагаете максимазировать $L(f,\overline{C},Cov(C)|Z \cup (1-f)X+fY)$, т.е. найти такие средние, ковариационную матрицу и параметр $f$ при которых вероятность принадлежности всех наблюдений $C$ и всех линейных комбинаций $A$ и $B$ одному и тому же многомерному нормальному распределению будет максимальной?

[Andrey_Kireew]

Здесь не совсем понятно, как это осуществить, из за параметра смешения $f$. Возникает опять та же неопределенность, о которой я писал - не понятно какое наблюдение из $A$ комбинировать с каким наблюдением из $B$. Тем более, если числа наблюдений в $A$ и $B$ разные - то вычислить функцию правдоподобия будет невозможно в принципе, ведь при её вычислении используются конкретные наблюдения.
Мне кажется, для задачи в Вашей постановке ММП использовать не получится.

[AndreyL]

Andrey_Kireew в сообщении #1307957 писал(а):

К стати, на счёт ковариационных матриц - при сравнении средних и тоже нужно сравнивать, но только если различия не обнаружены.
Это существенно повысит мощность критерия. Так, если различия в средних не значимы, а ковариационные матрицы существенно отличаются - то распределения $S$ и $C$ не принадлежат одной генеральной совокупности.
Это что касается 1-го способа.

Вопрос сравнения двух многомерных средних с неравными ковариационными матрицами мы обсуждали тут, есть неплохие ссылки. Но это не относится к первому способу.

Andrey_Kireew в сообщении #1307957 писал(а):

На счёт того хороший от или нет - дело вкуса, но по крайней мере он представляется вполне обоснованным.

Они все, на первый взгляд обоснованы, а вот какой более обоснованный? Я с Вами соглашусь только в том, что этот метод самый простой. Если вкус именно в этом, то я не сторонник пренебрегать корректностью ради упрощения без особой на то необходимости. Необходимости нет, все три способа несложно реализуются.

Andrey_Kireew в сообщении #1307957 писал(а):

Кажется и со вторым, предложенным Вами способом я разобрался. Вы предлагаете максимизировать $L(f,\overline{C},Cov(C)|Z \cup (1-f)X+fY)$, т.е. найти такие средние, ковариационную матрицу и параметр $f$ при которых вероятность принадлежности всех наблюдений $C$ и всех линейных комбинаций $A$ и $B$ одному и тому же многомерному нормальному распределению будет максимальной?

Не совсем так. Я предлагаю максимизировать $L(f, Cov(C)|Z)$, а в качестве оценки для состава С принять $\hat{C}=S=f \bar{X}+(1-f) \bar{Y}$, оценки составов А и В - просто средние по соответствующим выборкам, линейная комбинация одна единственная. Не нужно комбинировать конкретные единичные определения - комбинируются средние. Запишем для этого случая функцию правдоподобия. Если обозначим $PDF\left( s, \Sigma, x\right)$ как плотность многомерного нормального распределения с центром $s$ и ковариационной матрицей $\Sigma$, взятой в точке $x$, то функция правдоподобия

$$\prod\limits_{i=1}^{n_Z} PDF\left(f \bar{X}+(1-f) \bar{Y}, \Sigma, Z_i \right)$$

где неизвестными являются $\Sigma$ и $f$, поскольку $\hat{A}=\bar{X}$ и $\hat{B}=\bar{Y}$ известны. Ради интереса, конечно, можно попробовать взять тройное произведение со всеми возможными комбинациями, т.е. вместо средних брать конкретные единичные анализы

$$\prod\limits_{i=1}^{n_Z}\prod\limits_{j=1}^{n_X} \prod\limits_{k=1}^{n_Y} PDF\left(f X_j+(1-f) Y_k, \Sigma, Z_i \right)$$

Есть подозрение, что результат будет тот же, но не уверен.

Аналогичным образом запишется функция максимального правдоподобия для третьего случая

$$\prod\limits_{i=1}^{n_Z} PDF\left(f \hat{A}+(1-f) \hat{B}, \Sigma_C, Z_i \right) \times \prod\limits_{i=1}^{n_X} PDF\left(\hat{A}, \Sigma_A, X_i \right) \times \prod\limits_{i=1}^{n_Y} PDF\left(\hat{B}, \Sigma_B, Y_i \right)$$

но здесь уже неизвестны ни центры, ни ковариационные матрицы - все оценивается максимумом правдоподобия, все выборки равнозначны.

-- Пт апр 27, 2018 5:40 pm --

Попробовал с тройным произведением - результат получился иной - вот и четвертый способ получился

[Andrey_Kireew]

Посмотрел Вашу дискуссию, правда не до конца, но всё равно интересно. Возникает подозрение, что обе темы связаны одной причиной.

В любом случае, Вы должны понимать - сравнение средних, это не самоцель, а лишь средство. Целью у Вас, как я понял, является сравнение законов распределения. При различии средних законы уже не равны, и с этим Вы согласны. Но при различии ков. матриц они то же не равны, какой смысл в этом случае пытаться сравнивать средние?

А то что Вы записали - это никакое не правдоподобие, вернее правдоподобие, но не понятно чего? Того что средние принадлежат одному нормальному закону?

-- 27.04.2018, 20:23 --

Есть подозрение в недопонимании самого понятия правдоподобия. Правдоподобие - это условная вероятность, а в Ваших записях никаких условий я лично не вижу ...

[AndreyL]

Очень просто - есть два состава А и В. Сами составы неизвестны, но они опробованы выборками. В процессе своей жизни в этих составах возникли некоторые флуктуации (можно назвать дифференциацией, когда в объеме единый состав начинает давать заметную дисперсию по компонентам, если опробовать в разных частях этого объема, т.е. внутри некоторого замкнутого объема происходит миграция компонентов), и эти флуктуации были разными, соответственно, ковариационные матрицы тоже разные. Вопрос - изначально это один и тот же состав, т.е. А=В, или это изначально разные составы? Т.е. целью является не "сравнение законов распределения", а сравнение именно средних в предположении, что флуктуации приводят к нормальным законам распределения.
Другой пример - сравнение двух аналитических методов на предмет смещенности по одной и той же пробе.
Кстати, это же относится и рассматриваемой нами задаче - после смешения жизнь у трех систем А, В и С была разная.

[Andrey_Kireew]

Ну сейчас Вы обозначили совсем другую задачу.
А применительно к настоящей теме, Вы же сравниваете не ковариационные матрицы А и B а матрицы их линейной комбинации S и смеси С. Эти матрицы должны быть равными, для того чтобы вести речь о том что С - это смесь А и B.

[AndreyL]

Andrey_Kireew в сообщении #1308044 писал(а):

Ну сейчас Вы обозначили совсем другую задачу.

Забудем про старую тему - она понятна, есть решение задачи.

Andrey_Kireew в сообщении #1308044 писал(а):

А применительно к настоящей теме, Вы же сравниваете не ковариационные матрицы А и B а матрицы их линейной комбинации S и смеси С. Эти матрицы должны быть равными, для того чтобы вести речь о том что С - это смесь А и B.

Нет! Ковариационные матрицы не обязаны быть равными (и, на самом деле, редко бывают равными). Оценивается каждая матрица. К тому-же по условию задачи нигде не было, что ковариационные матрицы одинаковые. Мало того, у А, В и С вообще нет ковариационных матриц (поскольку это точные величины, которые неизвестны), ковариационные матрицы есть только у их оценок. Вопрос стоит в получении несмещенных, и, желательно, эффективных оценок этих составов. И, конечно, проверки гипотезы о смешении. Ковариационные матрицы выборок X, Y и Z сравнивать не нужно - возьмем априори, что они не равны. Но это не отменяет задачу.

[Andrey_Kireew]

Закрывая старую тему, я так понимаю Вы соглашаетесь с бесперспективностью попыток получения ММП оценок?

И ещё, тут терминологическая путаница, под А, B в C я подразумеваю выборки и соответственно выборочные ковариационные матрицы, теперь понял, что их нужно обозначать X, Y, Z. У отдельных наблюдений разумеется никаких матриц быть не может.

А вообще, учитывая новые обстоятельства, нужно подумать, как это всё друг с другом согласуется.

[Andrey_Kireew]

Вопрос- а смесь С после смешения растворов А и Б тоже потом случайным образом изменяется, и тоже с какой то своей дисперсией? или же считается, что отклонения концентраций в С полностью определяются их отклонениями в смешиваемых растворах А и B ?

[AndreyL]

Andrey_Kireew в сообщении #1308132 писал(а):

Закрывая старую тему, я так понимаю Вы соглашаетесь с бесперспективностью попыток получения ММП оценок?

Закрывая старую тему я хотел сказать, что многомерную задачу Беренса — Фишера мы обсудили почти семь лет назад. Что же касается ММП оценок - я пока не вижу им альтернативы, а то, что их очень даже возможно получить, я уже демонстрировал.

Andrey_Kireew в сообщении #1308132 писал(а):

И ещё, тут терминологическая путаница, под А, B в C я подразумеваю выборки и соответственно выборочные ковариационные матрицы, теперь понял, что их нужно обозначать X, Y, Z. У отдельных наблюдений разумеется никаких матриц быть не может.

Тут путаница в понятиях. Я предлагал такие обозначения: А, B и C - это истинные значения составов, истинные значения не являются случайными величинами, у них нет ни дисперсий, ни ковариационных матриц. Узнать их по выборкам невозможно, поскольку вероятность совпадения истинного и выборочного мат.ожиданий равна нулю (для непрерывных случайных величин). По выборкам можно получить их оценки $\hat{A}$, $\hat{B}$ и $\hat{C}$. Любые оценки по выборкам есть случайные величины, у них есть и мат.ожидания, и дисперсии, в нашем случае ковариационные матрицы. Эти мат.ожидания и ковариационные матрицы зависят от способа оценки. И задача сводится к нахождению способа получения оценок, у которых мат.ожидание совпадает с истинными значениями (несмещенные), а дисперсии минимальны (эффективные). Еще неплохо бы, чтобы оценки были состоятельными.

Andrey_Kireew писал(а):

Вопрос- а смесь С после смешения растворов А и Б тоже потом случайным образом изменяется, и тоже с какой то своей дисперсией? или же считается, что отклонения концентраций в С полностью определяются их отклонениями в смешиваемых растворах А и B ?

Еще раз: смешиваются составы А и В, у них нет отклонений (сиречь вариаций с ковариациями). Вариации с ковариациями возникают после смешения.
Можно так - было две жидкости составов А и В. При их смешивании получилась жидкость состава С. А потом это все замерзло, и реально мы имеем дело с тремя кусками льда. Причем один состав замораживался быстро, другой медленно, а третий при замораживании вращался. Лед по составу неоднороден, в каждом куске эта неоднородность своя, поскольку условия замерзания разные (какой кусок как замерзал мы не знаем). Составы А, В и С мы не знаем, мы их не видели, мы видим только лед. Куски большие и проанализировать их целиком нет возможности, поэтому делаем выборочное опробование.

[Andrey_Kireew]

То что Вы предлагаете

AndreyL в сообщении #1308019 писал(а):

Я предлагаю максимизировать $L(f, Cov(C)|Z)$, а в качестве оценки для состава С принять $\hat{C}=S=f \bar{X}+(1-f) \bar{Y}$, оценки составов А и В - просто средние по соответствующим выборкам, линейная комбинация одна единственная. Не нужно комбинировать конкретные единичные определения - комбинируются средние. Запишем для этого случая функцию правдоподобия. Если обозначим $PDF\left( s, \Sigma, x\right)$ как плотность многомерного нормального распределения с центром $s$ и ковариационной матрицей $\Sigma$, взятой в точке $x$, то функция правдоподобия

$$\prod\limits_{i=1}^{n_Z} PDF\left(f \bar{X}+(1-f) \bar{Y}, \Sigma, Z_i \right)$$

где неизвестными являются $\Sigma$ и $f$, поскольку $\hat{A}=\bar{X}$ и $\hat{B}=\bar{Y}$ известны.

Даст Вам ММП оценку ков. матрицы Z, и матожидания выборки Z, вот и всё. А параметр смешения определяется как $f=\frac{\bar{C}-\bar{Y}}{\bar{X}+\bar{Y}}$, через матожидания выборок A и B. От того, что Вы явно вписали эту формулу в выражение для функции правдоподобия, $\bar{f}$ ММП оценкой не становится. Называть Вы можете её конечно как Вам больше нравится. Но настоящей ММП оценкой она станет только тогда, когда в её оценивании будут участвовать конкретные наблюдения выборок X и Y, а не их выборочные статистики. А Вы оцениваете средние по одним выборкам и "вставляете" их в выражение для функции правдоподобия совсем другой выборки, заявляя, что линейная комбинация этих средних, при определённом $f$ будет оценкой ММП средних выборки Z. Тогда определите условия, при каких это будет так как Вы заявляете, и проверьте данные на их соответствие. Зачем тогда акцентировать внимание на ММП. Работайте со средними.

Известно, что выборочное среднее является ММП оценкой генерального среднего, для нормального распределения. Для линейной комбинации - то же самое. Если у Вас ковариационные матрицы разные, то всё сводится только к сравнению средних. Как это сделать, мы обсудили.
Все Ваши дальнейшие идеи с ММП - это просто некорректное применение научного метода и ничем не оправданные усложнения.

[Евгений Машеров]

Достаточно тупой, но, вероятно, рабочий вариант.
Задаёмся значением f, принимая выборочные оценки среднего и ковариационной матрицы за истинные величины, получаем для данного f оценки среднего и ковариационной матрицы смесевого распределения. Затем для элементов выборки X вычисляем функцию правдоподобия. Максимизируем по f любым методом одномерной оптимизации (хотя бы простым перебором, хотя есть и лучшие; но гарантии, что функция будет одноэкстремальна, нет, так что я бы сделал перебор по сетке с уточнением чем-то получше, хотя бы "золотым сечением").

[AndreyL]

Правильно ли я понимаю, что функция правдоподобия тут будет

$$\prod\limits_{i=1}^{n_Z} PDF\left(f \bar{X}+(1-f) \bar{Y}, \Sigma, Z_i \right)$$

причем $f$ и $\Sigma$ неизвестны? Или как-то не так?

[Евгений Машеров]

Думаю, тут и ковариационную матрицу можно оценить, как взвешенное среднее. Или лучше от ковариационных матриц и средних перейти к матожиданиям начальных смешанных моментов, найти их взвешенное среднее, и затем по матрице смешанных моментов оценить ковариационную матрицу.

[AndreyL]

Правильно ли я понимаю, что ковариационную матрицу в функции правдоподобия Вы предлагаете оценить как средневзвешенную из ковариационных матриц выборок $X$ и $Y$ с весами $f$ и $1-f$?