2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Дисктриминантный анализ по неполным данным
Сообщение09.08.2011, 14:53 


27/10/09
600
Друзья! Возможно, кто нибудь сталкивался с такой задачкой. Есть две выборки проб, взятые, предположительно из разных генсовокупностей. Пробы проанализированы на несколько компонентов, но в некоторых пробах определения некоторых компонентов не делалось, т.е. некоторые клеточки в матрице просто остаются пустыми. Как корректно сделать дискриминацию не потеряв пробы с неполным анализом. В пределе нет ни одной пробы, в которой определены все компоненты.
Подскажите, пожалуйста, в каком направлении двигаться, наверняка по этому поводу чего то есть в печати.

 Профиль  
                  
 
 Re: Дисктриминантный анализ по неполным данным
Сообщение13.08.2011, 03:40 
Аватара пользователя


25/02/10
687

(Оффтоп)

По теме, к сожалению ничего сказать не могу, но могу посоветовать попробовать задать тот же вопрос на e-science.ru - там есть люди серьёзно занимающиеся теорвером.

 Профиль  
                  
 
 Re: Дисктриминантный анализ по неполным данным
Сообщение13.08.2011, 10:32 


02/04/11
956
AndreyL в сообщении #474473 писал(а):
некоторые клеточки в матрице просто остаются пустыми.

Напомнило судоку :)

 Профиль  
                  
 
 Re: Дисктриминантный анализ по неполным данным
Сообщение13.08.2011, 18:22 
Заслуженный участник
Аватара пользователя


11/03/08
9577
Москва
Кое-что есть в:
Литтл Р.Дж.А., Рубин Д.Б. Статистический анализ данных с пропусками. - М.: Финансы и статистика, 1990
С практической точки зрения может оказаться достаточным заменить пропущенные значения на средние по группам.

-- Сб авг 13, 2011 19:40:47 --

Вот ссылка
http://letitbit.net/download/71574.7de4 ... .djvu.html
Надо отметить, что безупречный подход с заполнением пропуском на основе МП-оценок при большом числе пропусков совершенно непрактичен. Получается, что переменных больше, чем данных...

 Профиль  
                  
 
 Re: Дисктриминантный анализ по неполным данным
Сообщение13.08.2011, 18:41 


27/10/09
600
Евгений Машеров в сообщении #475249 писал(а):
Кое-что есть в:
Литтл Р.Дж.А., Рубин Д.Б. Статистический анализ данных с пропусками. - М.: Финансы и статистика, 1990

Спасибо!, посмотрю.
Евгений Машеров в сообщении #475249 писал(а):
С практической точки зрения может оказаться достаточным заменить пропущенные значения на средние по группам.

Нет. Тогда дисперсии будут неоправданно падать.

 Профиль  
                  
 
 Re: Дисктриминантный анализ по неполным данным
Сообщение14.08.2011, 12:44 
Заслуженный участник
Аватара пользователя


11/03/08
9577
Москва
Будут. Как вариант - при расчёте дисперсий делить не на (n-1), а на (n-p-1), где p - число пропущенных значений (ну и ковариации аналогично). Однако если для разных пар p различно, то матрица может получиться, скажем, не неотрицательно определённой.
Статистически безупречный путь - рассматривать пропущенные значения как новые параметры модели и оценивать, например, МП - может привести к тому, что параметров будет больше, чем наблюдений, и принципиально неоцениваемо (ну, вернее, можно какую-нибудь регуляризацию использовать, но это, пожалуй, хуже будет, чем занижение дисперсий).
Более продвинутый путь, чем средние - регрессия данного параметра на остальные, и замена пропуска оценкой по регрессии (собственно, замена средним это то же самое, если регрессия на параметр, с которым данный нескореллирован; так что то же "занижение дисперсии" может иметь место)

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group