Метод наименьших квадратов

[dsge]

B@R5uk в сообщении #1081170 писал(а):

Если такие данные скормить методу максимального правдоподобия (из которого выводится МНК),

МНК не выводится из ММП, МНК сам по себе. Для линейных и гауссовых проблем они эквивалентны для определения коэффициентов.

B@R5uk в сообщении #1081170 писал(а):

для целой области параметров функция правдоподобия равна константе, а вне этой области равна нулю, либо она равна нулю вообще везде. И нет никакого локального максимума.

Такого не может быть в линейных задачах. Функция правдоподобия может быть равна нулю только в случае, если какие-то наблюдения имеют вероятность 0, это значит что-то не в порядке с этими наблюдениями и лучше проверить что же вы там назамеряли.

[B@R5uk]

Евгений Машеров в сообщении #1081335 писал(а):

Введение весов в МНК это способ "малой кровью" справиться с нарушений условий применения метода.

Я бы сказал, что наоборот, это соблюдение условий применимости метода.

dsge в сообщении #1081367 писал(а):

МНК не выводится из ММП, МНК сам по себе.

Само по себе ничего не бывает. Если под МНК не лежало ничего фундаментально его обосновывающего хотя бы в каких-нибудь случаях, то ему бы нашли замену.

dsge в сообщении #1081367 писал(а):

Для линейных и гауссовых проблем они эквивалентны для определения коэффициентов.

МНК можно успешно и обоснованно применять и случае нелинейных проблем. Главное, чтобы зависимые значения имели гауссово распределение. В случае негауссового распределения будет уже не Метод Наименьших Квадратов, а какой-нибудь Метод Наименьших Логарифмов, но суть останется та же: нужно минимизировать сумму функций невязки, которая будет не квадратом разности, а чем-нибудь по-интересней.

dsge в сообщении #1081367 писал(а):

Такого не может быть в линейных задачах.

Разумеется может быть. Возьмите три экспериментальные точки, для которых задана прямоугольная функция распределения, и поместите их так, чтобы от "ближайшей" к ним прямой они отстояли дальше, чем ширина этого распределения. Всё. Какие бы параметры прямой мы не взяли, значение функции правдоподобия будет равно нулю. Или я, по вашему, не правильно понимаю суть функции правдоподобия?

[2old]

B@R5uk
Распределение не должно быть гауссово. Это нужно только для проведение тестов. Сама оценка останется с наименьшей дисперсией среди несмешеных, если будут верны только условия на первые два момента, без предположений о виде распределения. К тому же, если наблюдений достаточного много, то можно использовать те же статистки для тестов, как и при гауссовом.

[dsge]

B@R5uk в сообщении #1081430 писал(а):

dsge в сообщении #1081367 писал(а):

Такого не может быть в линейных задачах.

Разумеется может быть. Возьмите три экспериментальные точки, для которых задана прямоугольная функция распределения, и поместите их так, чтобы от "ближайшей" к ним прямой они отстояли дальше, чем ширина этого распределения. Всё. Какие бы параметры прямой мы не взяли, значение функции правдоподобия будет равно нулю. Или я, по вашему, не правильно понимаю суть функции правдоподобия?

Это всё правильно, только нелепо выбирать плотность распределения такую, что наблюдения могут иметь нулевую вероятность. Грамотное использование статистики в исследованиях избегает таких ситуаций (одно из преимуществ нормального распределения это как раз невозможность такого).
По поводу других утверждений дополнительно к замечанию 2old советую почитать классику - Крамер, Себер, Дрейпер и Смит.

[B@R5uk]

dsge в сообщении #1081528 писал(а):

Грамотное использование статистики в исследованиях избегает таких ситуаций

Как можно избежать того, что величина по своему происхождению подчиняется аддитивному случайному прямоугольному распределению? Просто заменить её на гаусс с той же дисперсией? Я бы не назвал это грамотным подходом.

-- 12.12.2015, 11:41 --

dsge в сообщении #1081528 писал(а):

советую почитать классику - Крамер, Себер, Дрейпер и Смит

Спасибо. А можно чуть более конкретней с названиями книг? Желательно тех, что попроще.

[Александрович]

МНК это тоже самое, что нахождение среднего для с.в. Очевидно что среднее для х при подставлении его в $y(x)$ не даст среднее значение для y.

[Евгений Машеров]

Из названных самая доступная - Дрейпер и Смит, Прикладной регрессионный анализ, М., Финансы и статистика, 1986, тт. 1,2. Подробное изложение с примерами.
Себер, Линейный регрессионный анализ, М., МИр, 1980 - чуть более математизирована, но вполне доступна.
Крамер, Математические методы статистики, М., Мир, 1975 (и другие издания) - классическое произведение, но наиболее математизировано и наименее ориентировано на практика.
Ещё назову Демиденко Е.З., Линейная и нелинейная регрессии, М., Финансы и статистика, 1975. и Демиденко Е.З. Оптимизация и регрессия, М., Наука, 1989.
Ну и Линник, Лоусон и Хенсон, многие курсы эконометрики и т.п.

[dsge]

B@R5uk в сообщении #1081543 писал(а):

Как можно избежать того, что величина по своему происхождению подчиняется аддитивному случайному прямоугольному распределению?

Если вы видите, что показания прибора выходят за носитель плотности распределения, то включение этого наблюдения в выборку сразу обнуляет всю функцию правдоподобия для всей выборки, т.е. значения других наблюдений неважны. В этом случае более разумным будет либо изменить параметризацию распределения так, что этому наблюдению будет соответствовать ненулевая плотность, либо не учитывать это наблюдение вовсе (считать его "выбросом"), тогда все остальные попадут в носитель плотности.

B@R5uk в сообщении #1081543 писал(а):

Просто заменить её на гаусс с той же дисперсией? Я бы не назвал это грамотным подходом.

Перед тем как судить о каком-либо подходе желательно познакомиться с соответствующей литературой. При достаточно большой выборке нормальным распределением можно аппроксимировать любое распределение. По этому поводу я не соглашусь с Евгением Машеровым, что "Крамер,... произведение наиболее математизировано и наименее ориентировано на практика." Нет ничего практичнее хорошей теории?

[Евгений Машеров]

А вот тут я бы посмотрел, как Вы нормальным аппроксимируете распределение Коши. Только не торопитесь, я ещё за попкорном не сбегал...

[dsge]

Естественно, следует читать "любое распределение из определенного класса распределений". Метод максимума квазиправдоподобия оценит асимптотически несмещенно и параметры распределения Коши, однако с бесконечной дисперсией оценок.

[Евгений Машеров]

(Оффтоп)

"А из зала все кричат - давай подробности!"

[dsge]

(Оффтоп)

Лень...