С практической точки зрения неважно, по какой причине оценка отличается от истинного значения, важна величина отклонения. Это отклонение можно разложить на две ортогональные составляющие, матожидание отклонения и случайное отклонение от матожидания, характеризуемое дисперсией (ещё более грубо-прикладной взгляд - систематическая погрешность и случайная погрешность; ещё в теории ошибок выделяют в особый вид "грубые ошибки", что предмет робастной статистики).
Однако минимизация среднего квадрата отклонения может быть затрудительна, поэтому зачастую разбивают задачу на две части - минимизируя дисперсию в подклассе оценок с нулевым матожиданием отклонения, несмещённых. Что, вообще говоря, даёт худший результат, чем минимизация непосредственно среднего квадрата отклонения, но если у нас есть худшая, но легко получаемая оценка, то приходится использовать её, а не теоретически идеальную, которую получить не можем.
Правда, есть ситуация, когда несмещённость не технический приём, а самоценность - это когда имеем множество оценок, полученных по разным выборкам, объединить их не можем, и вместо этого усредняем эти оценки.
Применительно к оцениванию дисперсии существует три схожих оценки,
, несмещённая,
, максимально правдоподобная и
, минимизирующая средний квадрат отклонения (это редкий случай, когда такая оценка получается легко и без привлечения недоступной информации). Вторая и третья, очевидно, смещённые.
Другим примером практически важных смещённых оценок являются "оптимальные винеровские" оценки.
Наконец, в регрессионном анализе требование несмещённости, которому удовлетворяет обычная оценка вида
, при наличии мультиколлинеарности (даже неполной, то есть точной линейной зависимости регрессоров нет, но они скоррелированы) приводит к оценкам, дисперсия которых стремится к бесконечности, и приходится использовать смещённые оценки, хотя бы ридж-регрессию
, и вообще регуляризация, как правило, приводит к смещению.
Евгений Машеров, про 2 разных вида смещенных дисперсий интересно, спасибо. По части приложений к винеровским процессам и регрессионному анализу не совсем понял, т. к. пока не знаю этих областей. Но все равно заинтриговали)
-- 28.11.2023, 07:52 --Евгений Машеров, да, я это понимаю, но ведь вычисляя несмещенную оценку дисперсии мы вычисляем "приближенное" значение истинной дисперсии (это очень условно, т. к. вообще-то оценка может лежать сколь угодно далеко от истинного значения). И далее мы подставляем это "приближенное" значение истинной дисперсии в формулу для вычисления ср.-кв. отклонения выборочного среднего. И т. о. получаем "приближенный" ответ. По-моему, логика правильная. Или нет? Если честно, не могу понять, почему вы сказали про
.
Несмещённая оценка - это оценка, матожидание которой равно истинному значению. Это не обязательно точная, несмещённость может привести к росту её дисперсии и, во всяком случае, это лишь один из критериев.
При этом можно получить несмещённую оценку дисперсии достаточно просто, чуть скорректировав знаменатель. Но стандартное отклонение, корень из дисперсии, нелинейная функция, и корень из несмещённой оценки дисперсии уже не будет несмещённой оценкой стандартного отклонения. Хотя если оценка дисперсии хорошая - корень будет хорошей оценкой стандартного отклонения. Но не несмещённой.
Понял вас. Т. е. если мы организуем ряд экспериментов по определению ср.-кв. отклонения выборочного среднего заданной СВ по выборке из
его значений и в каждом эксперименте будем брать корень из несмещенной оценки дисперсии, то в среднем мы будем брать корень из истинной дисперсии, но само значение корня в среднем будет смещенным отн. истинного значения ср.-кв. отклонения СВ. Соответственно, когда мы будем вычислять ср.-кв. отклонение выборочного среднего, используя этот корень (оценку ср.-кв. отклонения СВ), то и здесь в среднем будем иметь отклонение от истинного значения. Спасибо за подробное объяснение,
Евгений Машеров!
-- 28.11.2023, 08:01 --Просто для лучшего понимания вас, поясните пожалуйста, что есть что здесь. В том порядке, что и у вас.
Да, понимаю, почему вы меня экзаменуете) Ведь очень легко запутаться в понятиях, "похожих на слух". Например, "истинная" легко спутать с "несмещенная", хотя это очень разные вещи.
изначально мы вычислили несмещенную выборочную дисперсию,
и чему она равна?
все равно отличается от истинной дисперсии
а эта?
И потому дальнейшее вычисление выборочного ср.-кв. отклонения как корня несмещенной выборочной дисперсии будет иметь ошибку.
Можно узнать, что вы понимаете здесь под ошибкой?
Под ошибкой имел в виду наличие разницы (боюсь использовать слово "отклонение"
) между вычисленным выборочным ср.-кв. отклонением СВ и его истинным значением.
-- 28.11.2023, 08:15 --Вообще, интересно, что сами выборочные оценки мы можем вычислить по разному. Например, мы можем вычислить дисперсию:
А) "в лоб", т. е. вычислить смещенную выборочную дисперсию.
Б) "по-умному", т. е. вычислить несмещенную дисперсию.
При этом когда говорится "выборочное", на первый взгляд это должно означать, что мы делаем операцию "в лоб". Но нет, здесь мы можем задаться какими-то критериями по поведению этого "выборочного" и потому и возникают варианты А и Б.
В случае вычисления выборочного ср.-кв. отклонения дела обстоят еще интереснее, ведь мы можем вычислить его:
А2) "в лоб", т. е. через смещенную выборочную дисперсию.
Б2) "по-умному", т. е. через несмещенную дисперсию.
В2) "по-очень-умному", т. е. учесть, что вариант Б2 все равно будет занижен и найти / выдумать какой-то др. способ. Если именно "выдумать", то можно попробовать пойти по формуле
. Прошу обратить внимание, что в начале формулы в знаменателе именно
.
Может даже найтись даже такой способ вычисления выборочного ср.-кв. отклонения, который не будет зависеть от выборочной (и уж тем более истинной
) дисперсии.
Вариант В2 предполагает, что для каких-то выборочных оценок могут быть 2 формулы, каждая из которых соответствует некоторому способу выч. истинного параметра распределения по др. истинным параметрам этого же распределения. И т. к. разные параметры распределения имеют разные смещения, то от способа вычисления выборочной оценки зависит ее смещение.