2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2
 
 Re: Объединение выборок
Сообщение14.07.2023, 10:41 
Аватара пользователя
Не в качестве magister dixit!, а просто в порядке обмена опытом.
Я бы проверил на нормальность, скорее всего не подтвердилось бы, затем прологарифмировал, что может, хоть и не гарантирует, приближения к нормальности. Если и после логарифмирования не получается - ANOVA неприменима, но можно попытаться непараметрикой проанализировать наличие различий.

 
 
 
 Re: Объединение выборок
Сообщение15.08.2023, 18:44 
Евгений Машеров в сообщении #1600954 писал(а):
Не в качестве magister dixit!, а просто в порядке обмена опытом.
Я бы проверил на нормальность, скорее всего не подтвердилось бы, затем прологарифмировал, что может, хоть и не гарантирует, приближения к нормальности. Если и после логарифмирования не получается - ANOVA неприменима, но можно попытаться непараметрикой проанализировать наличие различий.

Прошу прощения, что пропадал. Нужно было сами алгоритмы оптимизировать.
Сейчас написал код, который считает дисперсии, логафмирует и проверяет на нормальность критерием Шапиро-Уилка (вроде как один из самых мощных критериев).
При объёме выборки 50 (у меня 50 значений дисперсий) на уровне значимости 0.01 и 0.05 процентные точки для статистики критерия Шапиро-Уилка соответственно 0.93 и 0.947.
У меня значение статистики 0.96643, то есть мои данные гипотезе нормальности не противоречат (критическая область левосторонняя).
Достаточно ли это для того, чтобы пользоваться ANOVA?
Нашёл тут исследование про мощность критерия Шапиро-Уилка относительно альтернатив (близких к нормальному распределений).
Из него вроде как следует, что ошибка второго рода для моего случая не такая уж маленькая. Или для ANOVA это некритично?

Ещё раз большое Вам спасибо, Евгений!

-- 15.08.2023, 18:53 --

Александрович в сообщении #1600928 писал(а):
А можно на эти выборки глянуть?

Они тут у меня меняются, вместе с развитием моих алгоритмов. Это я для примера именно такие привёл. Но могу их просто нагенерить, если это здесь можно. Вот, например:

3.30284 0.0434603 0.813798 0.961235 4.55093 -1.32961 3.23833 0.327355 1.38263 0.588699 2.50857 1.31886 2.68972 4.29261 -0.0802369 -0.58208 -0.530486 0.928441 1.96308 -0.435187 0.635614 1.06265 -0.291283 -2.47667 -1.41539 2.48258 1.06252 3.50456 1.64743 -0.523647 0.872464 1.57486 2.66847 -0.515654 -3.74808 3.52217 1.82922 1.05511 -0.07155 -1.17836 0.571978 1.12089 1.95093 -0.81319 -0.637101 2.78172 -2.14991 0.2749 0.403245 1.73426 2.24131 3.13573 2.0563 1.98002 3.50406 -0.741112 2.60523 1.81917 2.90429 1.75673 3.29821 2.57808 3.41215 1.70016 2.14473 -1.66326 -0.00593457 0.0925855 -0.296606 -1.15147 2.19009 0.526385 1.62195 3.44772 0.21732 1.90739 0.425816 0.890229 2.64595 2.00228 -0.583097 3.29513 4.91734 0.377642 0.690725 -2.37365 -0.579479 1.99576 0.217691 0.885003 2.05052 1.9335 -0.551694 1.58019 -0.638452 1.44476 0.990825 -1.25757 2.70303 2.76907

2.57271 0.689708 0.393608 -0.955573 3.88391 3.95441 3.24497 0.572406 4.59623 3.04112 2.96322 3.47391 4.46744 5.01097 -0.727468 1.96766 2.72702 -0.787655 6.64563 1.53632 4.50419 0.175558 2.96545 0.461016 1.94646 1.07765 2.24278 1.83825 2.79485 4.50508 2.52541 3.63217 0.898445 -0.388104 4.71839 5.89248 3.49788 3.08763 4.35182 3.64191 5.02568 0.746262 0.604082 2.10812 1.4421 0.632453 7.10892 1.4462 0.224666 3.44252 0.266003 0.0831875 1.39311 0.202627 0.949319 0.953483 -2.77819 3.43481 0.409511 -0.132132 0.645704 1.03173 3.50102 2.40012 0.95511 3.07494 2.50966 1.70264 1.4897 4.22354 -0.32824 0.517926 4.67493 1.01617 2.5075 5.93602 5.69838 1.57278 0.795864 0.826103 0.51762 2.12556 1.96644 0.47957 2.05277 -2.69906 4.47349 -0.695719 3.07853 -0.435421 1.83238 1.00149 1.68845 3.21064 0.60801 2.43386 3.16403 3.26331 -0.975808 2.40734 4.06264 4.50819 3.31526 1.58849 0.0313369 4.58486 2.27491 3.9928 0.625796 2.92119 -0.761665 2.62369 -0.764482 -1.55471 -0.438802 2.21906 5.16552 4.44209 1.931 2.02806 2.21597 2.65138 5.1898 -1.01672 3.30416 0.67912 -0.397826 2.90742 5.07376 -1.58869

4.97788 3.2804 2.45337 5.10322 2.00759 2.47529 5.5456 2.4798 3.26387 0.861268 5.21453 5.79452 1.38401 5.70304 0.528379 3.39445 2.00893 1.63987 5.13315 1.07652 2.46477 5.92715 -1.64473 5.59549 3.58558 4.15232 -1.22839 1.39196 6.21854 4.87772 2.55656 -1.99886 1.88744 3.7338 0.345106 2.03926 3.29978 3.85063 3.45981 -0.656949 3.56827 -2.45994 2.00955 7.75229 4.64927 0.640934 2.5157 2.89969 0.391052 4.85342 5.83848 3.92318 6.14159 6.35764 3.02535 3.67491 1.93302 0.730807 4.07443 2.03201 1.4878 1.1924 3.22143 -0.165627 2.32867 5.65553 5.39663 3.23123 2.77027 2.53656 -3.07521 1.51321 1.98927 0.527265 5.6825 3.70238 -0.530839 6.86722 2.87995 2.51244 3.33741 0.228438 4.32628 4.67758 3.1511 4.06404 1.22534 3.8092 3.54926 4.34986 7.45499 2.82294 4.84125 3.22116 5.346 -2.14501 0.963951 3.5712 2.96857 3.79683 1.73549 3.6412 5.76521 7.78697 3.63237 3.21558 1.69894 5.48145 2.5502 5.53291 7.12072 2.4726 3.56846 -1.98641 2.83932 2.02817 6.4153 2.54071 3.2143 4.77414 3.52925 5.78639 4.25016 3.17165 9.67152 1.23018 1.5448 2.69038 3.8739 5.13324 2.68462 2.06515 2.37617 6.08061 3.11972 3.76429 1.32949 3.38713 2.95304 6.55924 2.8403 -1.21985 0.172833 7.04333 2.03333 5.8946 1.94475 -0.0689899 5.63766 5.94814 3.01145 10.6433 2.40234 3.46554 5.43597 -0.829614 6.37589 5.87538 1.53341 7.11496

6.4674 5.1565 1.19222 5.5288 6.50881 6.23702 -0.527405 2.52456 6.10599 0.972845 3.1602 2.6825 6.81275 8.86853 7.86748 1.58847 7.88848 5.37224 7.48162 5.24057 2.52278 -0.114289 3.51006 5.72625 3.5647 4.20882 4.31766 1.05181 1.80269 5.0077 4.86698 5.09166 0.919674 3.02926 3.50897 6.72679 5.22855 5.41864 2.08175 4.63976 4.68954 0.544002 5.52765 8.99049 2.47204 10.33 6.58653 6.14171 2.64361 4.79147 6.32932 5.61259 2.01735 3.87555 2.80218 1.85139 6.98514 0.153033 2.8602 6.70875 3.52232 -1.61053 2.90373 2.59001 3.54172 1.25652 8.79422 2.66128 -0.900222 0.767501 7.82743 6.42789 5.95144 6.15654 1.29669 7.89148 4.00205 3.15141 2.25204 2.92267 3.2457 2.64945 3.69604 1.20559 2.30314 0.187503 5.48919 -1.52509 7.45169 6.89957 6.53896 3.73746 0.985869 4.73919 -2.33632 -1.06685 5.63944 2.96876 4.29012 7.68572 8.48321 6.92849 3.01883 4.23865 4.61785 3.01875 6.21841 2.61697 2.60171 5.59653 3.87907 7.49479 3.97044 3.79775 0.891206 0.423719 4.36033 3.58163 8.93146 4.41336 3.79191 7.76302 4.81298 3.44646 0.873254 6.67087 6.80382 3.61259 2.79759 1.41534 3.46266 8.57003 2.17935 4.02565 6.27099 5.65584 7.8796 2.63906 5.44275 3.22458 4.97452 5.36016 5.27525 5.34908 3.17007 -0.883923 4.00178 2.15686 5.85207 4.64035 5.49066 -2.34003 2.55006 6.49314 3.24209 9.07218 9.02065 4.15608 3.89291 9.30365 1.65434 1.40714 4.25398 5.85159 5.07942 4.84619 6.73901 3.6056 8.56054 3.08 5.31045 1.00283 5.23734 4.40744 8.50578 6.54265 5.37092 5.05672 2.69217 2.01552 4.19294 7.73583 0.194378 5.05172 6.30883 1.43489 4.12549 9.13208 5.63485 1.40388

 
 
 
 Re: Объединение выборок
Сообщение17.08.2023, 20:35 
Аватара пользователя
Думаю, ANOVA работать будет. Но вообще "практика - критерий познания" или, как формулировал другой мыслитель, "трясти надо!"

 
 
 
 Re: Объединение выборок
Сообщение18.10.2023, 18:50 
Евгений Машеров в сообщении #1605657 писал(а):
Думаю, ANOVA работать будет. Но вообще "практика - критерий познания" или, как формулировал другой мыслитель, "трясти надо!"

Да, я доделал, уже давно, потом нагрянул отпуск и я не написал здесь. Прошу прощения.
Вы мне очень помогли, Евгений. Огромное спасибо Вам!

Хотя, в итоге, для сравнения алгоритмов я использовал критерий Стьюдента для зависимых выборок, а не ANOVA (пока хватает Стьюдента),
но это всё равно благодаря Вашему совету.

ANOVA не использовал потому, что для разных алгоритмов у меня получаются очень разные дисперсии дисперсий,
а ANOVA предполагает одинаковые.

Но, возможно, дальше понадобится и ANOVA.

 
 
 
 Re: Объединение выборок
Сообщение18.10.2023, 19:55 
andreiandrei в сообщении #1599845 писал(а):
Нужно объединить эти выборки так, чтобы это объединение можно было рассматривать как выборку из нормально распределённой генеральной совокупности с нулевым средним?
randn(580)?

Если у вас нет никакой модели генерации этих выборок, кроме того, что они случайные, то вы и результат отличить не сможете.

 
 
 
 Re: Объединение выборок
Сообщение19.10.2023, 00:33 
Аватара пользователя
realeugene, есть у него модель.

 
 
 
 Re: Объединение выборок
Сообщение19.10.2023, 15:19 
Александрович в сообщении #1613846 писал(а):
realeugene, есть у него модель.
Какая же? Независимые ни от чего гауссовы случайные величины, но с разными матожиданиями и дисперсиями? И хочется их свести к 580 независимым ни от чего гауссовым случайным величинам с нулевым матожиданием и единичной дисперсией в одном массиве? Чтобы что? Вот просто выкинуть их и нагенерировать 580 независимых гауссовых случайных величин с нулевым матожиданием и единичной дисперсией. Чем не метод? Назовём это "недетерминированным алгоритмом преобразования случайных величин".

 
 
 
 Re: Объединение выборок
Сообщение19.10.2023, 16:00 
realeugene в сообщении #1613916 писал(а):
...?

(Оффтоп)

Задача решена. Саму проблему и её решение можно легко понять, если прочитать сообщения в теме, их немного, а сама задача - довольно несложная, как оказалось.

 
 
 
 Re: Объединение выборок
Сообщение19.10.2023, 17:32 

(Оффтоп)

andreiandrei в сообщении #1613926 писал(а):
Саму проблему и её решение можно легко понять

Рад, что вы в конце концов её легко поняли.

 
 
 
 Re: Объединение выборок
Сообщение19.10.2023, 17:46 

(Оффтоп)

realeugene в сообщении #1613940 писал(а):
Рад, что вы в конце концов её легко поняли.

Это потому, что внимательно читал, что другие пишут)

 
 
 
 Re: Объединение выборок
Сообщение19.10.2023, 17:52 

(Оффтоп)

andreiandrei в сообщении #1613944 писал(а):
Это потому, что внимательно читал, что другие пишут
Рад за вас! И тому, что для вас читать было легко! Вы, наверное, ещё и сами внимательно писали?

 
 
 
 Re: Объединение выборок
Сообщение19.10.2023, 18:07 

(Оффтоп)

realeugene в сообщении #1613948 писал(а):
Рад за вас! И тому, что для вас читать было легко!

Да, благодарю, нетрудно, тут главное - не выдумывать, читать так, как написано, не придумывать за собеседника того, чего он не писал и не спрашивал.
И даже не сомневаюсь, что Вы опять рады за меня, что я так поступаю))

 
 
 
 Re: Объединение выборок
Сообщение19.10.2023, 18:08 

(Оффтоп)

andreiandrei в сообщении #1613952 писал(а):
И даже не сомневаюсь, что Вы опять рады за меня, что я так поступаю
Рад тому, что вы в этом так уверены!

 
 
 [ Сообщений: 28 ]  На страницу Пред.  1, 2


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group