2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2
 
 Re: Соотношение доверительных интервалов выборочных корреляций
Сообщение13.12.2017, 06:03 
После многочисленных экспериментов все ранее сделанные наблюдения подтверждаются, подвыборки, полученные методом jackknife не не обладают теми же статистическими свойствами, что и действительно независимые подвыборки. Привожу результаты анализа распределения корреляций на 1000 000 подвыборках, полученной из основной выборки $N=1000 000$, путём удаления из неё по одному элементу, с последующим возвращением
Изображение
Красной линией отмечено наиболее близкое теоретическое распределение Лапласа. Видно, что оно существенно отличается от эмпирического закона.

 
 
 
 Re: Соотношение доверительных интервалов выборочных корреляций
Сообщение13.12.2017, 12:04 
Аватара пользователя
Интересно, это общий эффект или только для корреляций?

 
 
 
 Re: Соотношение доверительных интервалов выборочных корреляций
Сообщение13.12.2017, 15:37 
Как для остального - не знаю. Раньше я подобным образом проверял регрессионные коэффициенты. Но подвыборок было слишком мало, для того чтобы построить распределение. Предполагал, что оно нормальное и, исходя из этого, вычислялась дисперсия. Вроде как всё сходилось. Теперь уж и не знаю, возможно так просто казалось и все выводы, на самом деле, были ошибочные.

 
 
 
 Re: Соотношение доверительных интервалов выборочных корреляций
Сообщение03.08.2018, 20:18 
Что интересно, расамплинг как раз исследовался на предмет восстановления распределений выборочных корреляций:
http://statistica.ru/theory/metod-butstrepa-i-ego-primenenie-v-sovremennom-analize-dannykh/
и результаты очень даже вдохновляющие.

Уж не знаю в чём тут дело. Толи метод складного ножа вообще не работает, а с Bootstrap - всё в порядке. То ли что то другое ...

 
 
 
 Re: Соотношение доверительных интервалов выборочных корреляций
Сообщение14.10.2018, 16:58 
Никак не выходит эта тема из головы. Перепроверял 100 раз - всё равно, распределение jacknife получается островершинное. Да и выборочное смещение не уменьшается (например, генерирую случайную двухмерную выборку N=1000, выборочная корреляция получается -0.0093, а $R_{jacknife}=-0.0093$. А вот bootstrap, на тех же данных даёт чудесные результаты:
Изображение
и распределение нормальное, и выборочное смещение уменьшается $R_{bs}=-0.0087$,
причём, теоретическое стандартное отклонение строго равно
$\sigma=\sigma_{bs}+bias_{bs}$,
т.е. bootstrap банально улучшает точность теоретической оценки примерно на 5%.
Провёл несколько симуляций - второй раз улучшение только 0.5%, на третий раз - уже 1.6%.
Правда, сумма bs стандартного отклонения и смещения уже не равны теоретическому STD (получились меньше). Но всё равно, возможность улучшения теоретических оценок немного удивляет.

 
 
 [ Сообщений: 20 ]  На страницу Пред.  1, 2


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group