2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2, 3, 4, 5, 6  След.
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение10.03.2016, 11:19 
Аватара пользователя
provincialka в сообщении #1105361 писал(а):
И вообще, оба показателя ведут себя похоже. Разница возникает, если одно распределение "более разбросанное" с точки зрения $\sigma$, а второе -- с точки зрения $d_1$. Но такие примеры встречаются довольно редко, их надо строить специально.


Чаще, увы, чем хотелось бы. Это, скажем, смеси распределений, в которых один компонент "обыкновенная ошибка" (чуть не сказал "нормальная", но гауссово распределение для неё часто принимается, но вовсе не обязательно), а второй "выбросы" или "грубые ошибки".
Вот два распределения. Первое нормальное с СКО=3 (а матожидание примем для простоты ноль). Второе смесь 99% нормального с СКО=2 и 1% также нормального с СКО=30 (можно и Коши примешать, но будет совсем уж некошерно).
Для первого СКО=3, САО=2.39. Для второго СКО=3.6, САО=2.28, то есть если сравнивать разброс по квадратичной величине, то у второй выше, по абсолютной - у второй ниже.

-- 10 мар 2016, 11:56 --

upgrade в сообщении #1105492 писал(а):
Мне, например, удобнее находить центр тяжести везде - сперва находим матожидание, затем ц.т. хвостов справа и слева от матожидания, затем справа слева от справа слева и так далее. Но удобнее лишь в недалеких расчетах. Моменты лучше разработаны.


Вот как раз центр тяжести с квадратичными отклонениями связан. Минимизирует центр тяжести сумму квадратов отклонений. Если бы минимизировали сумму модулей - получили бы медиану выборки (и неоднозначность при чётном числе элементов выборки, поскольку минимум достигается в любой точке между двух медианных элементов...)

-- 10 мар 2016, 12:17 --

provincialka в сообщении #1105355 писал(а):
Я обычно в этом месте спрашиваю студентов: вы любите задачи с модулями решать? Ответ всегда один и тот же бывает :-)
Поэтому преподаватель (я) предлагает компромисс: положительную функцию от отклонения, но не модуль, а квадрат. Удобно же!


Ну, в каком-то смысле Великие, зачиная метод МНК, "искали под фонарём". Ограничились функцией, для которой производные линейны, стало быть, поиск оптимума сводится к решению СЛАУ, то есть никаких "решения нет" или "решение только в комплексных числах". Более высокая степень дала бы полиномиальные уравнения, а абсолютная величина и вовсе в некоторых точках производных не имеет, так что решение требует перебора вариантов.
А уж потом выяснили достоинства квадратичной меры отклонений. Прямо-таки "стерпится-слюбится".

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение10.03.2016, 15:31 
Аватара пользователя
Евгений Машеров
А вот раскройте-ка связи МНК с СКО. Потому что МНК довольно интуитивно... если не "очевиден", то хотя бы "приятен", "хорош", "логичен".

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение10.03.2016, 16:23 
Аватара пользователя
Не совсем понял вопрос. МНК так же соотносится с СКО, как МНМ с САО. Мера несоответствия модели и реальности - в одном случае квадратичная, в другом случае абсолютная величина. Суммы квадратов отклонений, или суммы абсолютный величин. Единственно, сумма квадратов имеет иную размерность, чем исходная величина, поэтому приводится к той же извлечением корня. Поскольку функция эта монотонная, на решение МНК это не влияет. Для МНМ несоответствия размерностей не возникает.
Ну и как частный случай - оценка параметра положения. Для МНК минимизируется $\Sigma_i (x_i-m)^2$, минимум достигается на среднем арифметическом, и значение критерия как раз связано с СКО (ну, ещё разделить на n, или для несмещённости на (n-1), чтобы убрать влияние объёма выборки, и корень извлечь, ради размерности, но это очевидно не меняет сути).
Или что-то иное имеется в виду?

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение10.03.2016, 17:34 
Аватара пользователя
Евгений Машеров в сообщении #1105548 писал(а):
Не совсем понял вопрос. МНК так же соотносится с СКО, как МНМ с САО.

Понятия не имею, что такое МНМ, и как они соотносятся.

Евгений Машеров в сообщении #1105548 писал(а):
Ну и как частный случай - оценка параметра положения. Для МНК минимизируется $\Sigma_i (x_i-m)^2$, минимум достигается на среднем арифметическом, и значение критерия как раз связано с СКО (ну, ещё разделить на n, или для несмещённости на (n-1), чтобы убрать влияние объёма выборки, и корень извлечь, ради размерности, но это очевидно не меняет сути).

Как-то слишком лаконично и всё равно непонятно.

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение10.03.2016, 21:27 
Аватара пользователя
МНМ - метод наименьших модулей. В котором минимизируется не сумма квадратов невязок, а сумма абсолютных значений. Вначале конкурировал с МНК, но оказался вычислительно тяжёл, и реанимировался лишь с появлением линейного программирования, в качество робастного (устойчивого к наличию грубых ошибок) метода. Для него естественно оценивать качество подгонки суммой абсолютных отклонений.

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение11.03.2016, 00:26 
Евгений Машеров в сообщении #1105639 писал(а):
В котором минимизируется не сумма квадратов невязок, а сумма абсолютных значений.

"Нормы всякие важны, но не всякие нужны" (c).

Евклидова норма, которая в МНК -- понятно, почему нужна. Потому что от фонаря. Ибо она -- единственная (из этой серии), которая порождена скалярным произведением. (Ну там плюс ещё маленько статистики, да.) А без скалярного произведения жить не очень уютно.

Равномерная (это когда минимизируется максимальное отклонение) -- не имеет ни малейшего значения для анализа экспериментальных данных. Но зато крайне важна для вычислительных задач. Там синус какой аппроксимировать. Да, она не гладка, и даже не строга; и это противно (хоть Чебышёв хоть что-то в этом когда-то и подправил); но что поделать -- жить-то нужно.

"Линейная" же (сумма абсолютных значений) -- по меткому изречению тов. Голдбергера, "подобна сосцам у мужчин: в ней нет ни красоты, ни пользы". Ну разве что в сугубо педагогических целях.

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение11.03.2016, 09:48 
Аватара пользователя
Вот как раз в видах робастности и полезна. Слабо зависит от "выбросов".

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение11.03.2016, 11:02 
Аватара пользователя
Евгений Машеров в сообщении #1105716 писал(а):
Вот как раз в видах робастности и полезна. Слабо зависит от "выбросов".

Полностью с Вами согласен. МНМ практически не чувствителен к выбросам. А МНК годится только в случае гауссовских помех.

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение11.03.2016, 18:25 
ewert в сообщении #1105685 писал(а):
"Линейная" же (сумма абсолютных значений) -- по меткому изречению тов. Голдбергера, "подобна сосцам у мужчин: в ней нет ни красоты, ни пользы". Ну разве что в сугубо педагогических целях.
Хорошо, что авторы методов не так религиозны, как те, кто их использует.

https://en.wikipedia.org/wiki/Least_absolute_deviations

А бывают и еще более странные комбинации модулей и квадратов типа Lasso.

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение11.03.2016, 21:46 
Александрович в сообщении #1105736 писал(а):
МНМ практически не чувствителен к выбросам.

Не так чувствителен как МНК; если выбросы достаточно велики, то будет практически чувствителен. В любом случае лучше сначала очистить данные от выбросов, а потом применять МНК.
Александрович в сообщении #1105736 писал(а):
А МНК годится только в случае гауссовских помех.

Это неверно. МНК годится для любых помех, гауссовость нужна только для инференс: т-статистик, р-значений.
tolstopuz в сообщении #1105822 писал(а):
Хорошо, что авторы методов не так религиозны, как те, кто их использует.

Авторы методов распиливают гранты и занимаются анонимно саморекламой в википедии.

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение12.03.2016, 12:46 
Аватара пользователя
Задача очистки от выбросов проста лишь в простейших случаях, скажем, оценка параметра положения и есть уверенность, что выбросов не более одного. Для этого случая вполне разработанные критерии. Несколько выбросов уже могут маскировать друг друга, а более сложная модель, хотя бы, скажем, множественная регрессия, искажается даже одним, тем более множественными, так, что наибольшие отклонения дадут не подлинные выбросы, а "хорошие" наблюдения, и именно они будут удалены в качестве выбросов.

(Оффтоп)

Как-то ко мне обратился экономист в панике. Строил он регрессионную модель зависимости производительности труда от фондовооружённости (стоимости оборудования в расчёте на человека) в приборостроении. И получил, что чем больше вкладывать в производство, тем меньше выработка. Что противоречит теории, практике и просто здравому смыслу. При внимательном рассмотрении его данных обнаружилось, что кроме собственно приборостроительных, в выборке оказался подчинённый Минприбору ювелирный (ну, при всём многообразии министерств СССР особого "Минювелир" создать не додумались, а поскольку в некоторых приборах используются "камни", упорные подшипники из искусственного рубина, то числили по этому министерству), а у ювелиров выработка продукции на человека определяется ценой золота и бриллиантов, но оборудование - точило, молоточки и напильнички - копеечное. Причём этот единичный выброс так сдвинул линию регрессии, что максимальные остатки оказались не у этого завода, а у другого, и выброшен был бы другой завод. После исключения ювелирного результат получился вменяемым.

И вот в подобных случаях (а предложить сперва посмотреть на данные и проанализировать их "руками" совет хороший, но не всегда исполнимый, данных может быть не много, а МНОГО) может оказаться разумным путём построить модель робастным методом (не обязательно МНМ), посмотреть на отклонения, выбрать наибольшие, и уже их содержательно анализировать, признавая:
1. Грубыми ошибками (то ли сбой прибора, то ли, вводя вручную, запятую не заметили, а вот маленький кружочек перед С увидели и решили, что это 0)
- Исправить данные.
2. Попаданием в выборку объектов, которые в неё включены быть не должны (а были ли включены по формальным основаниям, как упомянутый завод, из желания набрать данных как можно более, или просто небрежность классификации - не суть важно)
- Удалить лишнее
3. Воздействием факторов, не включённых в модель.
- Уточнить модель, а если совершенно не учитываемый фактор, или настолько редкий, что оценить его влияние по данной выборке невозможно, то действовать по п.2
И затем повторить расчёт, пока выбросов не останется, а гипотеза о нормальном распределении оставшихся остатков отвергаться не будет . Тогда можно ещё раз пройтись, получая более эффективные оценки (для нормального распределения оценка параметра положения средним арифметическим, а оно МНК-оценка, на 25% эффективнее оценки медианой, но медиана не даст бессмысленный результат под действием выброса).

(Оффтоп)

В начале 1990х самые богатые учёные мира были в Москве, в Институте Проблем Управления (Автоматики и Телемеханики) РАН. Если, конечно, брать среднее. Из всё ещё числившегося завлабом Бориса Абрамовича Березовскогос c 3,000,000,000.00 долларов и тысячи нищих профессоров. В среднем по три мегабакса на душу. Медианная оценка выглядела куда менее утешительно.

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение12.03.2016, 13:30 
Аватара пользователя

(Оффтоп)

Выброс для меня, это не грубая оплошность оператора при записи показаний. Это статистически значимая принадлежность наблюдаемого значения параметра к иной, близкой к исследуемой, ГС. Допустим исследуем кривую производительности труда на протяжении недели. Наблюдается явное снижения параметра в понедельник и пятницу по известным причинам. МНК даёт ложную оценку, а МНМ - нет.

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение12.03.2016, 17:37 
Аватара пользователя
Евгений Машеров в сообщении #1105951 писал(а):
то ли, вводя вручную, запятую не заметили, а вот маленький кружочек перед С увидели и решили, что это 0

В наш век это всё реже: данные живут в компьютерах, с самого рождения и до момента окончательного использования.

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение12.03.2016, 17:56 
При этом при переходе с одного файлового формата в другой часто теряются знаки, точки, запятые и т.д.

 
 
 
 Re: В чем физический смысл среднего квадратического отклонения?
Сообщение12.03.2016, 17:57 
Аватара пользователя
Munin в сообщении #1106008 писал(а):
В наш век это всё реже: данные живут в компьютерах,

Чтобы они там жили, их нужно сначала туда ввести. Ну сбойнул палец у оператора. Или программа сбойнула.

 
 
 [ Сообщений: 83 ]  На страницу Пред.  1, 2, 3, 4, 5, 6  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group