2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу Пред.  1, 2
 
 Re: Метод наименьших квадратов
Сообщение11.12.2015, 14:34 
Заслуженный участник


05/08/14
1564
B@R5uk в сообщении #1081170 писал(а):
Если такие данные скормить методу максимального правдоподобия (из которого выводится МНК),

МНК не выводится из ММП, МНК сам по себе. Для линейных и гауссовых проблем они эквивалентны для определения коэффициентов.
B@R5uk в сообщении #1081170 писал(а):
для целой области параметров функция правдоподобия равна константе, а вне этой области равна нулю, либо она равна нулю вообще везде. И нет никакого локального максимума.

Такого не может быть в линейных задачах. Функция правдоподобия может быть равна нулю только в случае, если какие-то наблюдения имеют вероятность 0, это значит что-то не в порядке с этими наблюдениями и лучше проверить что же вы там назамеряли.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение11.12.2015, 18:19 
Аватара пользователя


26/05/12
1534
приходит весна?
Евгений Машеров в сообщении #1081335 писал(а):
Введение весов в МНК это способ "малой кровью" справиться с нарушений условий применения метода.
Я бы сказал, что наоборот, это соблюдение условий применимости метода.

dsge в сообщении #1081367 писал(а):
МНК не выводится из ММП, МНК сам по себе.
Само по себе ничего не бывает. Если под МНК не лежало ничего фундаментально его обосновывающего хотя бы в каких-нибудь случаях, то ему бы нашли замену.

dsge в сообщении #1081367 писал(а):
Для линейных и гауссовых проблем они эквивалентны для определения коэффициентов.
МНК можно успешно и обоснованно применять и случае нелинейных проблем. Главное, чтобы зависимые значения имели гауссово распределение. В случае негауссового распределения будет уже не Метод Наименьших Квадратов, а какой-нибудь Метод Наименьших Логарифмов, но суть останется та же: нужно минимизировать сумму функций невязки, которая будет не квадратом разности, а чем-нибудь по-интересней.

dsge в сообщении #1081367 писал(а):
Такого не может быть в линейных задачах.
Разумеется может быть. Возьмите три экспериментальные точки, для которых задана прямоугольная функция распределения, и поместите их так, чтобы от "ближайшей" к ним прямой они отстояли дальше, чем ширина этого распределения. Всё. Какие бы параметры прямой мы не взяли, значение функции правдоподобия будет равно нулю. Или я, по вашему, не правильно понимаю суть функции правдоподобия?

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение11.12.2015, 22:31 


07/04/15
244
B@R5uk
Распределение не должно быть гауссово. Это нужно только для проведение тестов. Сама оценка останется с наименьшей дисперсией среди несмешеных, если будут верны только условия на первые два момента, без предположений о виде распределения. К тому же, если наблюдений достаточного много, то можно использовать те же статистки для тестов, как и при гауссовом.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 01:10 
Заслуженный участник


05/08/14
1564
B@R5uk в сообщении #1081430 писал(а):
dsge в сообщении #1081367 писал(а):
Такого не может быть в линейных задачах.
Разумеется может быть. Возьмите три экспериментальные точки, для которых задана прямоугольная функция распределения, и поместите их так, чтобы от "ближайшей" к ним прямой они отстояли дальше, чем ширина этого распределения. Всё. Какие бы параметры прямой мы не взяли, значение функции правдоподобия будет равно нулю. Или я, по вашему, не правильно понимаю суть функции правдоподобия?

Это всё правильно, только нелепо выбирать плотность распределения такую, что наблюдения могут иметь нулевую вероятность. Грамотное использование статистики в исследованиях избегает таких ситуаций (одно из преимуществ нормального распределения это как раз невозможность такого).
По поводу других утверждений дополнительно к замечанию 2old советую почитать классику - Крамер, Себер, Дрейпер и Смит.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 10:34 
Аватара пользователя


26/05/12
1534
приходит весна?
dsge в сообщении #1081528 писал(а):
Грамотное использование статистики в исследованиях избегает таких ситуаций
Как можно избежать того, что величина по своему происхождению подчиняется аддитивному случайному прямоугольному распределению? Просто заменить её на гаусс с той же дисперсией? Я бы не назвал это грамотным подходом.

-- 12.12.2015, 11:41 --

dsge в сообщении #1081528 писал(а):
советую почитать классику - Крамер, Себер, Дрейпер и Смит
Спасибо. А можно чуть более конкретней с названиями книг? Желательно тех, что попроще.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 10:49 
Аватара пользователя


21/01/09
3923
Дивногорск
МНК это тоже самое, что нахождение среднего для с.в. Очевидно что среднее для х при подставлении его в $y(x)$ не даст среднее значение для y.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 11:57 
Заслуженный участник
Аватара пользователя


11/03/08
9492
Москва
Из названных самая доступная - Дрейпер и Смит, Прикладной регрессионный анализ, М., Финансы и статистика, 1986, тт. 1,2. Подробное изложение с примерами.
Себер, Линейный регрессионный анализ, М., МИр, 1980 - чуть более математизирована, но вполне доступна.
Крамер, Математические методы статистики, М., Мир, 1975 (и другие издания) - классическое произведение, но наиболее математизировано и наименее ориентировано на практика.
Ещё назову Демиденко Е.З., Линейная и нелинейная регрессии, М., Финансы и статистика, 1975. и Демиденко Е.З. Оптимизация и регрессия, М., Наука, 1989.
Ну и Линник, Лоусон и Хенсон, многие курсы эконометрики и т.п.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 15:32 
Заслуженный участник


05/08/14
1564
B@R5uk в сообщении #1081543 писал(а):
Как можно избежать того, что величина по своему происхождению подчиняется аддитивному случайному прямоугольному распределению?

Если вы видите, что показания прибора выходят за носитель плотности распределения, то включение этого наблюдения в выборку сразу обнуляет всю функцию правдоподобия для всей выборки, т.е. значения других наблюдений неважны. В этом случае более разумным будет либо изменить параметризацию распределения так, что этому наблюдению будет соответствовать ненулевая плотность, либо не учитывать это наблюдение вовсе (считать его "выбросом"), тогда все остальные попадут в носитель плотности.
B@R5uk в сообщении #1081543 писал(а):
Просто заменить её на гаусс с той же дисперсией? Я бы не назвал это грамотным подходом.

Перед тем как судить о каком-либо подходе желательно познакомиться с соответствующей литературой. При достаточно большой выборке нормальным распределением можно аппроксимировать любое распределение. По этому поводу я не соглашусь с Евгением Машеровым, что "Крамер,... произведение наиболее математизировано и наименее ориентировано на практика." Нет ничего практичнее хорошей теории? :wink:

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 19:36 
Заслуженный участник
Аватара пользователя


11/03/08
9492
Москва
А вот тут я бы посмотрел, как Вы нормальным аппроксимируете распределение Коши. Только не торопитесь, я ещё за попкорном не сбегал...

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 21:17 
Заслуженный участник


05/08/14
1564
Естественно, следует читать "любое распределение из определенного класса распределений". Метод максимума квазиправдоподобия оценит асимптотически несмещенно и параметры распределения Коши, однако с бесконечной дисперсией оценок.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 21:38 
Заслуженный участник
Аватара пользователя


11/03/08
9492
Москва

(Оффтоп)

"А из зала все кричат - давай подробности!"

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение12.12.2015, 22:59 
Заслуженный участник


05/08/14
1564

(Оффтоп)

Лень...

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 27 ]  На страницу Пред.  1, 2

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group