2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1, 2
 
 Re: Соотношение доверительных интервалов выборочных корреляций
Сообщение13.12.2017, 06:03 


07/10/15

2400
После многочисленных экспериментов все ранее сделанные наблюдения подтверждаются, подвыборки, полученные методом jackknife не не обладают теми же статистическими свойствами, что и действительно независимые подвыборки. Привожу результаты анализа распределения корреляций на 1000 000 подвыборках, полученной из основной выборки $N=1000 000$, путём удаления из неё по одному элементу, с последующим возвращением
Изображение
Красной линией отмечено наиболее близкое теоретическое распределение Лапласа. Видно, что оно существенно отличается от эмпирического закона.

 Профиль  
                  
 
 Re: Соотношение доверительных интервалов выборочных корреляций
Сообщение13.12.2017, 12:04 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Интересно, это общий эффект или только для корреляций?

 Профиль  
                  
 
 Re: Соотношение доверительных интервалов выборочных корреляций
Сообщение13.12.2017, 15:37 


07/10/15

2400
Как для остального - не знаю. Раньше я подобным образом проверял регрессионные коэффициенты. Но подвыборок было слишком мало, для того чтобы построить распределение. Предполагал, что оно нормальное и, исходя из этого, вычислялась дисперсия. Вроде как всё сходилось. Теперь уж и не знаю, возможно так просто казалось и все выводы, на самом деле, были ошибочные.

 Профиль  
                  
 
 Re: Соотношение доверительных интервалов выборочных корреляций
Сообщение03.08.2018, 20:18 


07/10/15

2400
Что интересно, расамплинг как раз исследовался на предмет восстановления распределений выборочных корреляций:
http://statistica.ru/theory/metod-butstrepa-i-ego-primenenie-v-sovremennom-analize-dannykh/
и результаты очень даже вдохновляющие.

Уж не знаю в чём тут дело. Толи метод складного ножа вообще не работает, а с Bootstrap - всё в порядке. То ли что то другое ...

 Профиль  
                  
 
 Re: Соотношение доверительных интервалов выборочных корреляций
Сообщение14.10.2018, 16:58 


07/10/15

2400
Никак не выходит эта тема из головы. Перепроверял 100 раз - всё равно, распределение jacknife получается островершинное. Да и выборочное смещение не уменьшается (например, генерирую случайную двухмерную выборку N=1000, выборочная корреляция получается -0.0093, а $R_{jacknife}=-0.0093$. А вот bootstrap, на тех же данных даёт чудесные результаты:
Изображение
и распределение нормальное, и выборочное смещение уменьшается $R_{bs}=-0.0087$,
причём, теоретическое стандартное отклонение строго равно
$\sigma=\sigma_{bs}+bias_{bs}$,
т.е. bootstrap банально улучшает точность теоретической оценки примерно на 5%.
Провёл несколько симуляций - второй раз улучшение только 0.5%, на третий раз - уже 1.6%.
Правда, сумма bs стандартного отклонения и смещения уже не равны теоретическому STD (получились меньше). Но всё равно, возможность улучшения теоретических оценок немного удивляет.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 20 ]  На страницу Пред.  1, 2

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group