2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1, 2
 
 Re: Объединение выборок
Сообщение14.07.2023, 10:41 
Заслуженный участник
Аватара пользователя


11/03/08
10005
Москва
Не в качестве magister dixit!, а просто в порядке обмена опытом.
Я бы проверил на нормальность, скорее всего не подтвердилось бы, затем прологарифмировал, что может, хоть и не гарантирует, приближения к нормальности. Если и после логарифмирования не получается - ANOVA неприменима, но можно попытаться непараметрикой проанализировать наличие различий.

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение15.08.2023, 18:44 


15/03/12
56
Евгений Машеров в сообщении #1600954 писал(а):
Не в качестве magister dixit!, а просто в порядке обмена опытом.
Я бы проверил на нормальность, скорее всего не подтвердилось бы, затем прологарифмировал, что может, хоть и не гарантирует, приближения к нормальности. Если и после логарифмирования не получается - ANOVA неприменима, но можно попытаться непараметрикой проанализировать наличие различий.

Прошу прощения, что пропадал. Нужно было сами алгоритмы оптимизировать.
Сейчас написал код, который считает дисперсии, логафмирует и проверяет на нормальность критерием Шапиро-Уилка (вроде как один из самых мощных критериев).
При объёме выборки 50 (у меня 50 значений дисперсий) на уровне значимости 0.01 и 0.05 процентные точки для статистики критерия Шапиро-Уилка соответственно 0.93 и 0.947.
У меня значение статистики 0.96643, то есть мои данные гипотезе нормальности не противоречат (критическая область левосторонняя).
Достаточно ли это для того, чтобы пользоваться ANOVA?
Нашёл тут исследование про мощность критерия Шапиро-Уилка относительно альтернатив (близких к нормальному распределений).
Из него вроде как следует, что ошибка второго рода для моего случая не такая уж маленькая. Или для ANOVA это некритично?

Ещё раз большое Вам спасибо, Евгений!

-- 15.08.2023, 18:53 --

Александрович в сообщении #1600928 писал(а):
А можно на эти выборки глянуть?

Они тут у меня меняются, вместе с развитием моих алгоритмов. Это я для примера именно такие привёл. Но могу их просто нагенерить, если это здесь можно. Вот, например:

3.30284 0.0434603 0.813798 0.961235 4.55093 -1.32961 3.23833 0.327355 1.38263 0.588699 2.50857 1.31886 2.68972 4.29261 -0.0802369 -0.58208 -0.530486 0.928441 1.96308 -0.435187 0.635614 1.06265 -0.291283 -2.47667 -1.41539 2.48258 1.06252 3.50456 1.64743 -0.523647 0.872464 1.57486 2.66847 -0.515654 -3.74808 3.52217 1.82922 1.05511 -0.07155 -1.17836 0.571978 1.12089 1.95093 -0.81319 -0.637101 2.78172 -2.14991 0.2749 0.403245 1.73426 2.24131 3.13573 2.0563 1.98002 3.50406 -0.741112 2.60523 1.81917 2.90429 1.75673 3.29821 2.57808 3.41215 1.70016 2.14473 -1.66326 -0.00593457 0.0925855 -0.296606 -1.15147 2.19009 0.526385 1.62195 3.44772 0.21732 1.90739 0.425816 0.890229 2.64595 2.00228 -0.583097 3.29513 4.91734 0.377642 0.690725 -2.37365 -0.579479 1.99576 0.217691 0.885003 2.05052 1.9335 -0.551694 1.58019 -0.638452 1.44476 0.990825 -1.25757 2.70303 2.76907

2.57271 0.689708 0.393608 -0.955573 3.88391 3.95441 3.24497 0.572406 4.59623 3.04112 2.96322 3.47391 4.46744 5.01097 -0.727468 1.96766 2.72702 -0.787655 6.64563 1.53632 4.50419 0.175558 2.96545 0.461016 1.94646 1.07765 2.24278 1.83825 2.79485 4.50508 2.52541 3.63217 0.898445 -0.388104 4.71839 5.89248 3.49788 3.08763 4.35182 3.64191 5.02568 0.746262 0.604082 2.10812 1.4421 0.632453 7.10892 1.4462 0.224666 3.44252 0.266003 0.0831875 1.39311 0.202627 0.949319 0.953483 -2.77819 3.43481 0.409511 -0.132132 0.645704 1.03173 3.50102 2.40012 0.95511 3.07494 2.50966 1.70264 1.4897 4.22354 -0.32824 0.517926 4.67493 1.01617 2.5075 5.93602 5.69838 1.57278 0.795864 0.826103 0.51762 2.12556 1.96644 0.47957 2.05277 -2.69906 4.47349 -0.695719 3.07853 -0.435421 1.83238 1.00149 1.68845 3.21064 0.60801 2.43386 3.16403 3.26331 -0.975808 2.40734 4.06264 4.50819 3.31526 1.58849 0.0313369 4.58486 2.27491 3.9928 0.625796 2.92119 -0.761665 2.62369 -0.764482 -1.55471 -0.438802 2.21906 5.16552 4.44209 1.931 2.02806 2.21597 2.65138 5.1898 -1.01672 3.30416 0.67912 -0.397826 2.90742 5.07376 -1.58869

4.97788 3.2804 2.45337 5.10322 2.00759 2.47529 5.5456 2.4798 3.26387 0.861268 5.21453 5.79452 1.38401 5.70304 0.528379 3.39445 2.00893 1.63987 5.13315 1.07652 2.46477 5.92715 -1.64473 5.59549 3.58558 4.15232 -1.22839 1.39196 6.21854 4.87772 2.55656 -1.99886 1.88744 3.7338 0.345106 2.03926 3.29978 3.85063 3.45981 -0.656949 3.56827 -2.45994 2.00955 7.75229 4.64927 0.640934 2.5157 2.89969 0.391052 4.85342 5.83848 3.92318 6.14159 6.35764 3.02535 3.67491 1.93302 0.730807 4.07443 2.03201 1.4878 1.1924 3.22143 -0.165627 2.32867 5.65553 5.39663 3.23123 2.77027 2.53656 -3.07521 1.51321 1.98927 0.527265 5.6825 3.70238 -0.530839 6.86722 2.87995 2.51244 3.33741 0.228438 4.32628 4.67758 3.1511 4.06404 1.22534 3.8092 3.54926 4.34986 7.45499 2.82294 4.84125 3.22116 5.346 -2.14501 0.963951 3.5712 2.96857 3.79683 1.73549 3.6412 5.76521 7.78697 3.63237 3.21558 1.69894 5.48145 2.5502 5.53291 7.12072 2.4726 3.56846 -1.98641 2.83932 2.02817 6.4153 2.54071 3.2143 4.77414 3.52925 5.78639 4.25016 3.17165 9.67152 1.23018 1.5448 2.69038 3.8739 5.13324 2.68462 2.06515 2.37617 6.08061 3.11972 3.76429 1.32949 3.38713 2.95304 6.55924 2.8403 -1.21985 0.172833 7.04333 2.03333 5.8946 1.94475 -0.0689899 5.63766 5.94814 3.01145 10.6433 2.40234 3.46554 5.43597 -0.829614 6.37589 5.87538 1.53341 7.11496

6.4674 5.1565 1.19222 5.5288 6.50881 6.23702 -0.527405 2.52456 6.10599 0.972845 3.1602 2.6825 6.81275 8.86853 7.86748 1.58847 7.88848 5.37224 7.48162 5.24057 2.52278 -0.114289 3.51006 5.72625 3.5647 4.20882 4.31766 1.05181 1.80269 5.0077 4.86698 5.09166 0.919674 3.02926 3.50897 6.72679 5.22855 5.41864 2.08175 4.63976 4.68954 0.544002 5.52765 8.99049 2.47204 10.33 6.58653 6.14171 2.64361 4.79147 6.32932 5.61259 2.01735 3.87555 2.80218 1.85139 6.98514 0.153033 2.8602 6.70875 3.52232 -1.61053 2.90373 2.59001 3.54172 1.25652 8.79422 2.66128 -0.900222 0.767501 7.82743 6.42789 5.95144 6.15654 1.29669 7.89148 4.00205 3.15141 2.25204 2.92267 3.2457 2.64945 3.69604 1.20559 2.30314 0.187503 5.48919 -1.52509 7.45169 6.89957 6.53896 3.73746 0.985869 4.73919 -2.33632 -1.06685 5.63944 2.96876 4.29012 7.68572 8.48321 6.92849 3.01883 4.23865 4.61785 3.01875 6.21841 2.61697 2.60171 5.59653 3.87907 7.49479 3.97044 3.79775 0.891206 0.423719 4.36033 3.58163 8.93146 4.41336 3.79191 7.76302 4.81298 3.44646 0.873254 6.67087 6.80382 3.61259 2.79759 1.41534 3.46266 8.57003 2.17935 4.02565 6.27099 5.65584 7.8796 2.63906 5.44275 3.22458 4.97452 5.36016 5.27525 5.34908 3.17007 -0.883923 4.00178 2.15686 5.85207 4.64035 5.49066 -2.34003 2.55006 6.49314 3.24209 9.07218 9.02065 4.15608 3.89291 9.30365 1.65434 1.40714 4.25398 5.85159 5.07942 4.84619 6.73901 3.6056 8.56054 3.08 5.31045 1.00283 5.23734 4.40744 8.50578 6.54265 5.37092 5.05672 2.69217 2.01552 4.19294 7.73583 0.194378 5.05172 6.30883 1.43489 4.12549 9.13208 5.63485 1.40388

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение17.08.2023, 20:35 
Заслуженный участник
Аватара пользователя


11/03/08
10005
Москва
Думаю, ANOVA работать будет. Но вообще "практика - критерий познания" или, как формулировал другой мыслитель, "трясти надо!"

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение18.10.2023, 18:50 


15/03/12
56
Евгений Машеров в сообщении #1605657 писал(а):
Думаю, ANOVA работать будет. Но вообще "практика - критерий познания" или, как формулировал другой мыслитель, "трясти надо!"

Да, я доделал, уже давно, потом нагрянул отпуск и я не написал здесь. Прошу прощения.
Вы мне очень помогли, Евгений. Огромное спасибо Вам!

Хотя, в итоге, для сравнения алгоритмов я использовал критерий Стьюдента для зависимых выборок, а не ANOVA (пока хватает Стьюдента),
но это всё равно благодаря Вашему совету.

ANOVA не использовал потому, что для разных алгоритмов у меня получаются очень разные дисперсии дисперсий,
а ANOVA предполагает одинаковые.

Но, возможно, дальше понадобится и ANOVA.

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение18.10.2023, 19:55 


27/08/16
10474
andreiandrei в сообщении #1599845 писал(а):
Нужно объединить эти выборки так, чтобы это объединение можно было рассматривать как выборку из нормально распределённой генеральной совокупности с нулевым средним?
randn(580)?

Если у вас нет никакой модели генерации этих выборок, кроме того, что они случайные, то вы и результат отличить не сможете.

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение19.10.2023, 00:33 
Аватара пользователя


21/01/09
3927
Дивногорск
realeugene, есть у него модель.

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение19.10.2023, 15:19 


27/08/16
10474
Александрович в сообщении #1613846 писал(а):
realeugene, есть у него модель.
Какая же? Независимые ни от чего гауссовы случайные величины, но с разными матожиданиями и дисперсиями? И хочется их свести к 580 независимым ни от чего гауссовым случайным величинам с нулевым матожиданием и единичной дисперсией в одном массиве? Чтобы что? Вот просто выкинуть их и нагенерировать 580 независимых гауссовых случайных величин с нулевым матожиданием и единичной дисперсией. Чем не метод? Назовём это "недетерминированным алгоритмом преобразования случайных величин".

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение19.10.2023, 16:00 


15/03/12
56
realeugene в сообщении #1613916 писал(а):
...?

(Оффтоп)

Задача решена. Саму проблему и её решение можно легко понять, если прочитать сообщения в теме, их немного, а сама задача - довольно несложная, как оказалось.

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение19.10.2023, 17:32 


27/08/16
10474

(Оффтоп)

andreiandrei в сообщении #1613926 писал(а):
Саму проблему и её решение можно легко понять

Рад, что вы в конце концов её легко поняли.

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение19.10.2023, 17:46 


15/03/12
56

(Оффтоп)

realeugene в сообщении #1613940 писал(а):
Рад, что вы в конце концов её легко поняли.

Это потому, что внимательно читал, что другие пишут)

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение19.10.2023, 17:52 


27/08/16
10474

(Оффтоп)

andreiandrei в сообщении #1613944 писал(а):
Это потому, что внимательно читал, что другие пишут
Рад за вас! И тому, что для вас читать было легко! Вы, наверное, ещё и сами внимательно писали?

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение19.10.2023, 18:07 


15/03/12
56

(Оффтоп)

realeugene в сообщении #1613948 писал(а):
Рад за вас! И тому, что для вас читать было легко!

Да, благодарю, нетрудно, тут главное - не выдумывать, читать так, как написано, не придумывать за собеседника того, чего он не писал и не спрашивал.
И даже не сомневаюсь, что Вы опять рады за меня, что я так поступаю))

 Профиль  
                  
 
 Re: Объединение выборок
Сообщение19.10.2023, 18:08 


27/08/16
10474

(Оффтоп)

andreiandrei в сообщении #1613952 писал(а):
И даже не сомневаюсь, что Вы опять рады за меня, что я так поступаю
Рад тому, что вы в этом так уверены!

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 28 ]  На страницу Пред.  1, 2

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: YandexBot [bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group