2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6  След.
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение10.03.2016, 11:19 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
provincialka в сообщении #1105361 писал(а):
И вообще, оба показателя ведут себя похоже. Разница возникает, если одно распределение "более разбросанное" с точки зрения $\sigma$, а второе -- с точки зрения $d_1$. Но такие примеры встречаются довольно редко, их надо строить специально.


Чаще, увы, чем хотелось бы. Это, скажем, смеси распределений, в которых один компонент "обыкновенная ошибка" (чуть не сказал "нормальная", но гауссово распределение для неё часто принимается, но вовсе не обязательно), а второй "выбросы" или "грубые ошибки".
Вот два распределения. Первое нормальное с СКО=3 (а матожидание примем для простоты ноль). Второе смесь 99% нормального с СКО=2 и 1% также нормального с СКО=30 (можно и Коши примешать, но будет совсем уж некошерно).
Для первого СКО=3, САО=2.39. Для второго СКО=3.6, САО=2.28, то есть если сравнивать разброс по квадратичной величине, то у второй выше, по абсолютной - у второй ниже.

-- 10 мар 2016, 11:56 --

upgrade в сообщении #1105492 писал(а):
Мне, например, удобнее находить центр тяжести везде - сперва находим матожидание, затем ц.т. хвостов справа и слева от матожидания, затем справа слева от справа слева и так далее. Но удобнее лишь в недалеких расчетах. Моменты лучше разработаны.


Вот как раз центр тяжести с квадратичными отклонениями связан. Минимизирует центр тяжести сумму квадратов отклонений. Если бы минимизировали сумму модулей - получили бы медиану выборки (и неоднозначность при чётном числе элементов выборки, поскольку минимум достигается в любой точке между двух медианных элементов...)

-- 10 мар 2016, 12:17 --

provincialka в сообщении #1105355 писал(а):
Я обычно в этом месте спрашиваю студентов: вы любите задачи с модулями решать? Ответ всегда один и тот же бывает :-)
Поэтому преподаватель (я) предлагает компромисс: положительную функцию от отклонения, но не модуль, а квадрат. Удобно же!


Ну, в каком-то смысле Великие, зачиная метод МНК, "искали под фонарём". Ограничились функцией, для которой производные линейны, стало быть, поиск оптимума сводится к решению СЛАУ, то есть никаких "решения нет" или "решение только в комплексных числах". Более высокая степень дала бы полиномиальные уравнения, а абсолютная величина и вовсе в некоторых точках производных не имеет, так что решение требует перебора вариантов.
А уж потом выяснили достоинства квадратичной меры отклонений. Прямо-таки "стерпится-слюбится".

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение10.03.2016, 15:31 
Заслуженный участник
Аватара пользователя


30/01/06
72407
Евгений Машеров
А вот раскройте-ка связи МНК с СКО. Потому что МНК довольно интуитивно... если не "очевиден", то хотя бы "приятен", "хорош", "логичен".

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение10.03.2016, 16:23 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Не совсем понял вопрос. МНК так же соотносится с СКО, как МНМ с САО. Мера несоответствия модели и реальности - в одном случае квадратичная, в другом случае абсолютная величина. Суммы квадратов отклонений, или суммы абсолютный величин. Единственно, сумма квадратов имеет иную размерность, чем исходная величина, поэтому приводится к той же извлечением корня. Поскольку функция эта монотонная, на решение МНК это не влияет. Для МНМ несоответствия размерностей не возникает.
Ну и как частный случай - оценка параметра положения. Для МНК минимизируется $\Sigma_i (x_i-m)^2$, минимум достигается на среднем арифметическом, и значение критерия как раз связано с СКО (ну, ещё разделить на n, или для несмещённости на (n-1), чтобы убрать влияние объёма выборки, и корень извлечь, ради размерности, но это очевидно не меняет сути).
Или что-то иное имеется в виду?

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение10.03.2016, 17:34 
Заслуженный участник
Аватара пользователя


30/01/06
72407
Евгений Машеров в сообщении #1105548 писал(а):
Не совсем понял вопрос. МНК так же соотносится с СКО, как МНМ с САО.

Понятия не имею, что такое МНМ, и как они соотносятся.

Евгений Машеров в сообщении #1105548 писал(а):
Ну и как частный случай - оценка параметра положения. Для МНК минимизируется $\Sigma_i (x_i-m)^2$, минимум достигается на среднем арифметическом, и значение критерия как раз связано с СКО (ну, ещё разделить на n, или для несмещённости на (n-1), чтобы убрать влияние объёма выборки, и корень извлечь, ради размерности, но это очевидно не меняет сути).

Как-то слишком лаконично и всё равно непонятно.

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение10.03.2016, 21:27 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
МНМ - метод наименьших модулей. В котором минимизируется не сумма квадратов невязок, а сумма абсолютных значений. Вначале конкурировал с МНК, но оказался вычислительно тяжёл, и реанимировался лишь с появлением линейного программирования, в качество робастного (устойчивого к наличию грубых ошибок) метода. Для него естественно оценивать качество подгонки суммой абсолютных отклонений.

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение11.03.2016, 00:26 
Заслуженный участник


11/05/08
32166
Евгений Машеров в сообщении #1105639 писал(а):
В котором минимизируется не сумма квадратов невязок, а сумма абсолютных значений.

"Нормы всякие важны, но не всякие нужны" (c).

Евклидова норма, которая в МНК -- понятно, почему нужна. Потому что от фонаря. Ибо она -- единственная (из этой серии), которая порождена скалярным произведением. (Ну там плюс ещё маленько статистики, да.) А без скалярного произведения жить не очень уютно.

Равномерная (это когда минимизируется максимальное отклонение) -- не имеет ни малейшего значения для анализа экспериментальных данных. Но зато крайне важна для вычислительных задач. Там синус какой аппроксимировать. Да, она не гладка, и даже не строга; и это противно (хоть Чебышёв хоть что-то в этом когда-то и подправил); но что поделать -- жить-то нужно.

"Линейная" же (сумма абсолютных значений) -- по меткому изречению тов. Голдбергера, "подобна сосцам у мужчин: в ней нет ни красоты, ни пользы". Ну разве что в сугубо педагогических целях.

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение11.03.2016, 09:48 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Вот как раз в видах робастности и полезна. Слабо зависит от "выбросов".

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение11.03.2016, 11:02 
Аватара пользователя


21/01/09
3925
Дивногорск
Евгений Машеров в сообщении #1105716 писал(а):
Вот как раз в видах робастности и полезна. Слабо зависит от "выбросов".

Полностью с Вами согласен. МНМ практически не чувствителен к выбросам. А МНК годится только в случае гауссовских помех.

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение11.03.2016, 18:25 
Заслуженный участник


31/12/05
1517
ewert в сообщении #1105685 писал(а):
"Линейная" же (сумма абсолютных значений) -- по меткому изречению тов. Голдбергера, "подобна сосцам у мужчин: в ней нет ни красоты, ни пользы". Ну разве что в сугубо педагогических целях.
Хорошо, что авторы методов не так религиозны, как те, кто их использует.

https://en.wikipedia.org/wiki/Least_absolute_deviations

А бывают и еще более странные комбинации модулей и квадратов типа Lasso.

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение11.03.2016, 21:46 
Заслуженный участник


05/08/14
1564
Александрович в сообщении #1105736 писал(а):
МНМ практически не чувствителен к выбросам.

Не так чувствителен как МНК; если выбросы достаточно велики, то будет практически чувствителен. В любом случае лучше сначала очистить данные от выбросов, а потом применять МНК.
Александрович в сообщении #1105736 писал(а):
А МНК годится только в случае гауссовских помех.

Это неверно. МНК годится для любых помех, гауссовость нужна только для инференс: т-статистик, р-значений.
tolstopuz в сообщении #1105822 писал(а):
Хорошо, что авторы методов не так религиозны, как те, кто их использует.

Авторы методов распиливают гранты и занимаются анонимно саморекламой в википедии.

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение12.03.2016, 12:46 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Задача очистки от выбросов проста лишь в простейших случаях, скажем, оценка параметра положения и есть уверенность, что выбросов не более одного. Для этого случая вполне разработанные критерии. Несколько выбросов уже могут маскировать друг друга, а более сложная модель, хотя бы, скажем, множественная регрессия, искажается даже одним, тем более множественными, так, что наибольшие отклонения дадут не подлинные выбросы, а "хорошие" наблюдения, и именно они будут удалены в качестве выбросов.

(Оффтоп)

Как-то ко мне обратился экономист в панике. Строил он регрессионную модель зависимости производительности труда от фондовооружённости (стоимости оборудования в расчёте на человека) в приборостроении. И получил, что чем больше вкладывать в производство, тем меньше выработка. Что противоречит теории, практике и просто здравому смыслу. При внимательном рассмотрении его данных обнаружилось, что кроме собственно приборостроительных, в выборке оказался подчинённый Минприбору ювелирный (ну, при всём многообразии министерств СССР особого "Минювелир" создать не додумались, а поскольку в некоторых приборах используются "камни", упорные подшипники из искусственного рубина, то числили по этому министерству), а у ювелиров выработка продукции на человека определяется ценой золота и бриллиантов, но оборудование - точило, молоточки и напильнички - копеечное. Причём этот единичный выброс так сдвинул линию регрессии, что максимальные остатки оказались не у этого завода, а у другого, и выброшен был бы другой завод. После исключения ювелирного результат получился вменяемым.

И вот в подобных случаях (а предложить сперва посмотреть на данные и проанализировать их "руками" совет хороший, но не всегда исполнимый, данных может быть не много, а МНОГО) может оказаться разумным путём построить модель робастным методом (не обязательно МНМ), посмотреть на отклонения, выбрать наибольшие, и уже их содержательно анализировать, признавая:
1. Грубыми ошибками (то ли сбой прибора, то ли, вводя вручную, запятую не заметили, а вот маленький кружочек перед С увидели и решили, что это 0)
- Исправить данные.
2. Попаданием в выборку объектов, которые в неё включены быть не должны (а были ли включены по формальным основаниям, как упомянутый завод, из желания набрать данных как можно более, или просто небрежность классификации - не суть важно)
- Удалить лишнее
3. Воздействием факторов, не включённых в модель.
- Уточнить модель, а если совершенно не учитываемый фактор, или настолько редкий, что оценить его влияние по данной выборке невозможно, то действовать по п.2
И затем повторить расчёт, пока выбросов не останется, а гипотеза о нормальном распределении оставшихся остатков отвергаться не будет . Тогда можно ещё раз пройтись, получая более эффективные оценки (для нормального распределения оценка параметра положения средним арифметическим, а оно МНК-оценка, на 25% эффективнее оценки медианой, но медиана не даст бессмысленный результат под действием выброса).

(Оффтоп)

В начале 1990х самые богатые учёные мира были в Москве, в Институте Проблем Управления (Автоматики и Телемеханики) РАН. Если, конечно, брать среднее. Из всё ещё числившегося завлабом Бориса Абрамовича Березовскогос c 3,000,000,000.00 долларов и тысячи нищих профессоров. В среднем по три мегабакса на душу. Медианная оценка выглядела куда менее утешительно.

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение12.03.2016, 13:30 
Аватара пользователя


21/01/09
3925
Дивногорск

(Оффтоп)

Выброс для меня, это не грубая оплошность оператора при записи показаний. Это статистически значимая принадлежность наблюдаемого значения параметра к иной, близкой к исследуемой, ГС. Допустим исследуем кривую производительности труда на протяжении недели. Наблюдается явное снижения параметра в понедельник и пятницу по известным причинам. МНК даёт ложную оценку, а МНМ - нет.

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение12.03.2016, 17:37 
Заслуженный участник
Аватара пользователя


30/01/06
72407
Евгений Машеров в сообщении #1105951 писал(а):
то ли, вводя вручную, запятую не заметили, а вот маленький кружочек перед С увидели и решили, что это 0

В наш век это всё реже: данные живут в компьютерах, с самого рождения и до момента окончательного использования.

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение12.03.2016, 17:56 
Заслуженный участник


05/08/14
1564
При этом при переходе с одного файлового формата в другой часто теряются знаки, точки, запятые и т.д.

 Профиль  
                  
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение12.03.2016, 17:57 
Аватара пользователя


21/01/09
3925
Дивногорск
Munin в сообщении #1106008 писал(а):
В наш век это всё реже: данные живут в компьютерах,

Чтобы они там жили, их нужно сначала туда ввести. Ну сбойнул палец у оператора. Или программа сбойнула.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 83 ]  На страницу Пред.  1, 2, 3, 4, 5, 6  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group