2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Дисктриминантный анализ по неполным данным
Сообщение09.08.2011, 14:53 


27/10/09
606
Друзья! Возможно, кто нибудь сталкивался с такой задачкой. Есть две выборки проб, взятые, предположительно из разных генсовокупностей. Пробы проанализированы на несколько компонентов, но в некоторых пробах определения некоторых компонентов не делалось, т.е. некоторые клеточки в матрице просто остаются пустыми. Как корректно сделать дискриминацию не потеряв пробы с неполным анализом. В пределе нет ни одной пробы, в которой определены все компоненты.
Подскажите, пожалуйста, в каком направлении двигаться, наверняка по этому поводу чего то есть в печати.

 Профиль  
                  
 
 Re: Дисктриминантный анализ по неполным данным
Сообщение13.08.2011, 03:40 
Аватара пользователя


25/02/10
687

(Оффтоп)

По теме, к сожалению ничего сказать не могу, но могу посоветовать попробовать задать тот же вопрос на e-science.ru - там есть люди серьёзно занимающиеся теорвером.

 Профиль  
                  
 
 Re: Дисктриминантный анализ по неполным данным
Сообщение13.08.2011, 10:32 


02/04/11
956
AndreyL в сообщении #474473 писал(а):
некоторые клеточки в матрице просто остаются пустыми.

Напомнило судоку :)

 Профиль  
                  
 
 Re: Дисктриминантный анализ по неполным данным
Сообщение13.08.2011, 18:22 
Заслуженный участник
Аватара пользователя


11/03/08
10134
Москва
Кое-что есть в:
Литтл Р.Дж.А., Рубин Д.Б. Статистический анализ данных с пропусками. - М.: Финансы и статистика, 1990
С практической точки зрения может оказаться достаточным заменить пропущенные значения на средние по группам.

-- Сб авг 13, 2011 19:40:47 --

Вот ссылка
http://letitbit.net/download/71574.7de4 ... .djvu.html
Надо отметить, что безупречный подход с заполнением пропуском на основе МП-оценок при большом числе пропусков совершенно непрактичен. Получается, что переменных больше, чем данных...

 Профиль  
                  
 
 Re: Дисктриминантный анализ по неполным данным
Сообщение13.08.2011, 18:41 


27/10/09
606
Евгений Машеров в сообщении #475249 писал(а):
Кое-что есть в:
Литтл Р.Дж.А., Рубин Д.Б. Статистический анализ данных с пропусками. - М.: Финансы и статистика, 1990

Спасибо!, посмотрю.
Евгений Машеров в сообщении #475249 писал(а):
С практической точки зрения может оказаться достаточным заменить пропущенные значения на средние по группам.

Нет. Тогда дисперсии будут неоправданно падать.

 Профиль  
                  
 
 Re: Дисктриминантный анализ по неполным данным
Сообщение14.08.2011, 12:44 
Заслуженный участник
Аватара пользователя


11/03/08
10134
Москва
Будут. Как вариант - при расчёте дисперсий делить не на (n-1), а на (n-p-1), где p - число пропущенных значений (ну и ковариации аналогично). Однако если для разных пар p различно, то матрица может получиться, скажем, не неотрицательно определённой.
Статистически безупречный путь - рассматривать пропущенные значения как новые параметры модели и оценивать, например, МП - может привести к тому, что параметров будет больше, чем наблюдений, и принципиально неоцениваемо (ну, вернее, можно какую-нибудь регуляризацию использовать, но это, пожалуй, хуже будет, чем занижение дисперсий).
Более продвинутый путь, чем средние - регрессия данного параметра на остальные, и замена пропуска оценкой по регрессии (собственно, замена средним это то же самое, если регрессия на параметр, с которым данный нескореллирован; так что то же "занижение дисперсии" может иметь место)

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: YandexBot [bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group