2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2
 
 Re: Метод наименьших квадратов
Сообщение11.12.2015, 14:34 
B@R5uk в сообщении #1081170 писал(а):
Если такие данные скормить методу максимального правдоподобия (из которого выводится МНК),

МНК не выводится из ММП, МНК сам по себе. Для линейных и гауссовых проблем они эквивалентны для определения коэффициентов.
B@R5uk в сообщении #1081170 писал(а):
для целой области параметров функция правдоподобия равна константе, а вне этой области равна нулю, либо она равна нулю вообще везде. И нет никакого локального максимума.

Такого не может быть в линейных задачах. Функция правдоподобия может быть равна нулю только в случае, если какие-то наблюдения имеют вероятность 0, это значит что-то не в порядке с этими наблюдениями и лучше проверить что же вы там назамеряли.

 
 
 
 Re: Метод наименьших квадратов
Сообщение11.12.2015, 18:19 
Аватара пользователя
Евгений Машеров в сообщении #1081335 писал(а):
Введение весов в МНК это способ "малой кровью" справиться с нарушений условий применения метода.
Я бы сказал, что наоборот, это соблюдение условий применимости метода.

dsge в сообщении #1081367 писал(а):
МНК не выводится из ММП, МНК сам по себе.
Само по себе ничего не бывает. Если под МНК не лежало ничего фундаментально его обосновывающего хотя бы в каких-нибудь случаях, то ему бы нашли замену.

dsge в сообщении #1081367 писал(а):
Для линейных и гауссовых проблем они эквивалентны для определения коэффициентов.
МНК можно успешно и обоснованно применять и случае нелинейных проблем. Главное, чтобы зависимые значения имели гауссово распределение. В случае негауссового распределения будет уже не Метод Наименьших Квадратов, а какой-нибудь Метод Наименьших Логарифмов, но суть останется та же: нужно минимизировать сумму функций невязки, которая будет не квадратом разности, а чем-нибудь по-интересней.

dsge в сообщении #1081367 писал(а):
Такого не может быть в линейных задачах.
Разумеется может быть. Возьмите три экспериментальные точки, для которых задана прямоугольная функция распределения, и поместите их так, чтобы от "ближайшей" к ним прямой они отстояли дальше, чем ширина этого распределения. Всё. Какие бы параметры прямой мы не взяли, значение функции правдоподобия будет равно нулю. Или я, по вашему, не правильно понимаю суть функции правдоподобия?

 
 
 
 Re: Метод наименьших квадратов
Сообщение11.12.2015, 22:31 
B@R5uk
Распределение не должно быть гауссово. Это нужно только для проведение тестов. Сама оценка останется с наименьшей дисперсией среди несмешеных, если будут верны только условия на первые два момента, без предположений о виде распределения. К тому же, если наблюдений достаточного много, то можно использовать те же статистки для тестов, как и при гауссовом.

 
 
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 01:10 
B@R5uk в сообщении #1081430 писал(а):
dsge в сообщении #1081367 писал(а):
Такого не может быть в линейных задачах.
Разумеется может быть. Возьмите три экспериментальные точки, для которых задана прямоугольная функция распределения, и поместите их так, чтобы от "ближайшей" к ним прямой они отстояли дальше, чем ширина этого распределения. Всё. Какие бы параметры прямой мы не взяли, значение функции правдоподобия будет равно нулю. Или я, по вашему, не правильно понимаю суть функции правдоподобия?

Это всё правильно, только нелепо выбирать плотность распределения такую, что наблюдения могут иметь нулевую вероятность. Грамотное использование статистики в исследованиях избегает таких ситуаций (одно из преимуществ нормального распределения это как раз невозможность такого).
По поводу других утверждений дополнительно к замечанию 2old советую почитать классику - Крамер, Себер, Дрейпер и Смит.

 
 
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 10:34 
Аватара пользователя
dsge в сообщении #1081528 писал(а):
Грамотное использование статистики в исследованиях избегает таких ситуаций
Как можно избежать того, что величина по своему происхождению подчиняется аддитивному случайному прямоугольному распределению? Просто заменить её на гаусс с той же дисперсией? Я бы не назвал это грамотным подходом.

-- 12.12.2015, 11:41 --

dsge в сообщении #1081528 писал(а):
советую почитать классику - Крамер, Себер, Дрейпер и Смит
Спасибо. А можно чуть более конкретней с названиями книг? Желательно тех, что попроще.

 
 
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 10:49 
Аватара пользователя
МНК это тоже самое, что нахождение среднего для с.в. Очевидно что среднее для х при подставлении его в $y(x)$ не даст среднее значение для y.

 
 
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 11:57 
Аватара пользователя
Из названных самая доступная - Дрейпер и Смит, Прикладной регрессионный анализ, М., Финансы и статистика, 1986, тт. 1,2. Подробное изложение с примерами.
Себер, Линейный регрессионный анализ, М., МИр, 1980 - чуть более математизирована, но вполне доступна.
Крамер, Математические методы статистики, М., Мир, 1975 (и другие издания) - классическое произведение, но наиболее математизировано и наименее ориентировано на практика.
Ещё назову Демиденко Е.З., Линейная и нелинейная регрессии, М., Финансы и статистика, 1975. и Демиденко Е.З. Оптимизация и регрессия, М., Наука, 1989.
Ну и Линник, Лоусон и Хенсон, многие курсы эконометрики и т.п.

 
 
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 15:32 
B@R5uk в сообщении #1081543 писал(а):
Как можно избежать того, что величина по своему происхождению подчиняется аддитивному случайному прямоугольному распределению?

Если вы видите, что показания прибора выходят за носитель плотности распределения, то включение этого наблюдения в выборку сразу обнуляет всю функцию правдоподобия для всей выборки, т.е. значения других наблюдений неважны. В этом случае более разумным будет либо изменить параметризацию распределения так, что этому наблюдению будет соответствовать ненулевая плотность, либо не учитывать это наблюдение вовсе (считать его "выбросом"), тогда все остальные попадут в носитель плотности.
B@R5uk в сообщении #1081543 писал(а):
Просто заменить её на гаусс с той же дисперсией? Я бы не назвал это грамотным подходом.

Перед тем как судить о каком-либо подходе желательно познакомиться с соответствующей литературой. При достаточно большой выборке нормальным распределением можно аппроксимировать любое распределение. По этому поводу я не соглашусь с Евгением Машеровым, что "Крамер,... произведение наиболее математизировано и наименее ориентировано на практика." Нет ничего практичнее хорошей теории? :wink:

 
 
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 19:36 
Аватара пользователя
А вот тут я бы посмотрел, как Вы нормальным аппроксимируете распределение Коши. Только не торопитесь, я ещё за попкорном не сбегал...

 
 
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 21:17 
Естественно, следует читать "любое распределение из определенного класса распределений". Метод максимума квазиправдоподобия оценит асимптотически несмещенно и параметры распределения Коши, однако с бесконечной дисперсией оценок.

 
 
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 21:38 
Аватара пользователя

(Оффтоп)

"А из зала все кричат - давай подробности!"

 
 
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 22:59 

(Оффтоп)

Лень...

 
 
 [ Сообщений: 27 ]  На страницу Пред.  1, 2


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group