средние величины

[student_11]

Добрый день. У меня имеются 5 векторов. первый-так называемый эталон, остальные 4-приближенные значения. нужно проагрегировать данные четырех векторов чтобы итоговый имел хорошую корреляцию с эталоном.Использую разные виды агрегации данных этих четырех векторов и пришла к такому выводу: если данные достаточно близки и эти 4 вектора хорошо коррелируют между собой, а также достаточно хорошо коррелируют с эталоном, то лучше выбирать среднее квадратическое . объяснения этому в литературе не нашла. Буду очень признательна, если кто-нибудь сможет мне это объяснить

[provincialka]

А в каком смысле вы понимаете "лучше"? Как сравниваете результаты?

[student_11]

я считаю коэффициент корреляции Пирсона между эталонным вектором и агрегированными(теми, что получены используя медиану, среднее арифметическое, среднее квадратическое, максимум, минимум и среднее геометрическое) и корреляция выше с вектором полученным при помощи среднего квадратического

[provincialka]

А откуда берутся эти 4 вектора? У вас один конкретный набор? Или генерируются как-то?

[student_11]

provincialka в сообщении #1014245 писал(а):

А откуда берутся эти 4 вектора? У вас один конкретный набор? Или генерируются как-то?

Изначально я их генерировала: эталон по равномерному.приближенные: один по равномерному, 2 по нормальному, 1 по экспоненциальному закону (либо другая комбинация данных законов), но это наблюдается и на реальных данных. у меня есть некая оценка-эталон и ряд приближенных значений(тут их 4), полученные при помощи разных алгоритмов. Вот например: 1 столбец-эталон. остальные-приближенные.(разброс достаточно большой, но это не ошибка-это просто разные алгоритмы по разному считают)
0,033 0 0,25 0 0,09
0,02 0 0,148 0 0,041
0,02 0 0,2 0 0,058
0,028 0 0,352 0,066 0,083
0,138 0,1875 0,8 0,201 0,2
0,105 0 0,285 0 0,125
0,275 0 0,695 0,182 0,125
0,105 0,1875 0,8 0,224 0,2
0,21 0 0,235 0 0,071
0,223 0 0,285 0,076 0,062
0,218 0,1875 0,714 0,728 0,2
0,42 0 0,166 0 0,047
0,42 0 0,222 0 0,125
0,415 0 0,727 0,24 0,142
0,743 0 0,2 0 0,111
0,763 0,125 0,285 0 0,142
0,705 0 0,375 0,095 0,09
0,705 0 0,695 0,207 0,125
0,903 0 0,666 0 0,125
0,778 0,3125 0,5 0,229 0,076
0,875 0,125 0,761 0,195 0,166
0,96 0,25 0,869 0,827 0,5
0,925 1 0,923 0,963 0,5
0,738 1 0,941 0,914 0,5
0,94 0,3125 0,9 0,643 0,333
0,98 1 1 1 1
0,855 1 1 1 1
0,96 0 0,631 0,243 0,125

[Евгений Машеров]

А почему они вообще должны быть связаны? Если они генерируются, как независимые величины, то дело вообще может быть в том, что взят наихудший способ усреднения...

[student_11]

Евгений Машеров в сообщении #1014317 писал(а):

А почему они вообще должны быть связаны? Если они генерируются, как независимые величины, то дело вообще может быть в том, что взят наихудший способ усреднения...

а почему наихудший способ дает хорошую корреляцию? и в каком плане независимы? они обозначают одну и ту же величину, просто получены разными методами.

[Евгений Машеров]

Понимаете, я могу поверить,, что в реальных данных у Вас есть основания ждать коррелированности эталона и приближений. Но в моделированных всё зависит от того, что и как Вы моделируете. Почему

student_11 в сообщении #1014248 писал(а):

один по равномерному, 2 по нормальному, 1 по экспоненциальному закону

должны быть как-то связаны с эталоном? Может быть, расскажи Вы подробнее о моделировании, было бы яснее, в чём причина?

[student_11]

Евгений Машеров в сообщении #1014419 писал(а):

Понимаете, я могу поверить,, что в реальных данных у Вас есть основания ждать коррелированности эталона и приближений. Но в моделированных всё зависит от того, что и как Вы моделируете. Почему

student_11 в сообщении #1014248 писал(а):

один по равномерному, 2 по нормальному, 1 по экспоненциальному закону

должны быть как-то связаны с эталоном? Может быть, расскажи Вы подробнее о моделировании, было бы яснее, в чём причина?

для равномерного я беру эталон+-какое то значение и новое уже генерирую из данного интервала. для нормального беру эталон как среднее значение и для экспоненциального тоже. В случае реальных данных они обозначают меру близости двух слов. Разные оценки одной меры

[Евгений Машеров]

То есть Вы генерируете одно равномерно распределённое значение со средним, равным эталону (а размах какой?), два нормально распределённых со средним, равным эталону (дисперсия?) и экспоненциальное со средним, равным эталону?
У меня такое впечатление, что дело в экспоненциальном. А если промоделировать без него?

[student_11]

Размах я меняю: от 0 до 0.6 - я пытаюсь отследить закономерность. чем меньше размах, тем больше вероятность того, что лучший результат даст ср. квадратическое. а те данные, которые я привела выше, не являются сгенерированными-это реальные данные-результаты работы методов. и там тоже среднее квадратическое дает хороший результат (там они работают на основе одной базы и корреляция между ними (без эталона) хорошая( выше 0,55)). Когда я брала только равномерно распределенные величины, то там лучшим был (макс+мин)/2 а на втором месте опять таки среднее квадратическое

[Евгений Машеров]

По представленным реальным данным - преимущество в коррелированности "агрегатов" с эталоном действительно у среднего квадратического, но оно, 56.8%, не настолько выше корреляций для среднего (55.6%) и медианы (55.2%), чтобы можно было утверждать, что это не случайное совпадение.
Вообще среднее квадратическое "подчёркивает" большие значения, они оказывают большее влияние на значение среднего по сравнению с малыми, хотя в отличие от максимума, зависящего лишь от одного наибольшего, зависят от всех. Возможно (если наблюдённый Вами эффект действителен, а не случайная флуктуация), если один из векторов лучше коррелирован с эталоном и при этом имеет большие значения, это проявится в подчёркивании его влияния средним квадратичным, которое, таким образом, оказывается более коррелированным с эталоном, поскольку более коррелирована эта, "подчёркнутая" переменная (в данном случае это имеет место - значения средних по переменным 0.203 0.558 0.287 0.227, а корреляций с эталоном 0.4871 0.545 0.526 0.512, то есть вторая переменная и наибольшая по среднему значению, и лучше коррелирована).
По моделированным данным - мне отчего-то кажется, что это артефакт, вызванным тем, что у Вас использовано, среди прочих, экспоненциальное распределение. Если для всех прочих величин, нормальное ли распределение или равномерное, дисперсия разности сгенерированной величины с эталоном постоянна, то в этом случае она растёт с увеличением значения эталона. Получается некий "выброс", сильно искажающий корреляции.
Возможно, есть резон вовсе отказаться от оценки коэффициентом корреляции, используя просто отклонение величины от "эталона" (абсолютное, или лучше квадратическое).

[student_11]

Евгений Машеров в сообщении #1015010 писал(а):

По представленным реальным данным - преимущество в коррелированности "агрегатов" с эталоном действительно у среднего квадратического, но оно, 56.8%, не настолько выше корреляций для среднего (55.6%) и медианы (55.2%), чтобы можно было утверждать, что это не случайное совпадение.
Вообще среднее квадратическое "подчёркивает" большие значения, они оказывают большее влияние на значение среднего по сравнению с малыми, хотя в отличие от максимума, зависящего лишь от одного наибольшего, зависят от всех. Возможно (если наблюдённый Вами эффект действителен, а не случайная флуктуация), если один из векторов лучше коррелирован с эталоном и при этом имеет большие значения, это проявится в подчёркивании его влияния средним квадратичным, которое, таким образом, оказывается более коррелированным с эталоном, поскольку более коррелирована эта, "подчёркнутая" переменная (в данном случае это имеет место - значения средних по переменным 0.203 0.558 0.287 0.227, а корреляций с эталоном 0.4871 0.545 0.526 0.512, то есть вторая переменная и наибольшая по среднему значению, и лучше коррелирована).
По моделированным данным - мне отчего-то кажется, что это артефакт, вызванным тем, что у Вас использовано, среди прочих, экспоненциальное распределение. Если для всех прочих величин, нормальное ли распределение или равномерное, дисперсия разности сгенерированной величины с эталоном постоянна, то в этом случае она растёт с увеличением значения эталона. Получается некий "выброс", сильно искажающий корреляции.
Возможно, есть резон вовсе отказаться от оценки коэффициентом корреляции, используя просто отклонение величины от "эталона" (абсолютное, или лучше квадратическое).

Мне просто нужно отследить , скажем так, "соизменяемость", на деле, алгоритмы часто дают оценку ниже, чем эталон и как следствие, лучшим способом агрегации получается максимум, который не может служить хорошей оценкой. Спасибо большое, я попробую еще раз промоделировать без экспоненциального. Вообще, малый размер выборки мешает делать какие-либо точные выводы

а то что Вы сказали действительно имеет место.когда я работала с 5 алгоритмами, 4 из них давали не очень большую корреляцию с эталоном и значения были не очень большими при добавлении 5го алгоритма, корреляция которого с эталоном больше и сами значения больше,лучшую оценку получало среднее квадратическое примерно в 95% случаев, остальные -максимум. Спасибо. я сама как-то не додумалась до этого...

Хотела еще спросить, а вот Вы говорите, что оно подчеркивает, но возведение в квадрат чисел от 0 до 1 наоборот уменьшает их и разницу между ними. Например, было 0,2 и 0,7. разница между ними 0,5. а в квадрате 0,04 и 0,49 и разница между ними 0,45. не так существенно , конечно, но все же. такое ощущение, что оно наоборот сглаживает данные или я ошибаюсь? или же возведение в квадрат уменьшает влияние других, не так хорошо коррелирующих, и усиливает (по сравнению с другими)

[Евгений Машеров]

(Оффтоп)

Я бы советовал, единожды процитировав, далее не цитировать. Могут быть замечания (не от меня, я не модератор). Уже понятно, к чему относится. Ну, или вместо "цитата" выделять фрагмент и нажимать "вставка", тогда вставится лишь он.

[student_11]

Хорошо. Извините) я просто первый раз обращаюсь за помощью на форум