В чем магия квадрата?

[math123]

Пусть у нас есть предсказатель погоды. Для каждого дня он говорит нам вероятность того, что будет преобладать солнечная погода, пасмурная или дождливая. Сумма этих вероятностей равна 1. Т.е. для каждого дня мы имеем вектор из 3х чисел меньше единицы, сумма которых равна 1. Например

$(0.3, 0.5, 0.2)$

Пусть теперь у нас есть 2 таких предсказателя и мы хотим определить, какой из них лучше работает. Для этого мы используем исторический набор данных за 1 год, где для каждого из 2х предсказателей есть 365 предсказаний и еще есть 365 фактических данных о погоде, т.е. какая на самом деле была погода в каждый из дней. Фактическая погода представляется вектором, где один из элементов равен 1, остальные - нули. Например

$(0, 1, 0)$

Для ответа на этот вопрос мы для каждого дня считаем средне-квадратичное отклонение (ско) каждого из предсказателей от фактической погоды. Например

$[(0.3, 0.5, 0.2) - (0, 1, 0)]^2 = 0.3^2 + 0.5^2 + 0.2^2 = 0.38$

Далее берем среднее по всем дням отклонение в квадрате. Лучшим предсказателем будет тот, у которого ско минимально.

И вот вопрос. Почему именно квадрат? Почему, например, не куб? Понятно, что квадрат уничтожает отрицательные значения, но вряд ли это - его главное свойство. Никто не мешает взять нам куб от модуля разности. Или почему, не степень 1.5 или 3.1415?

Можно легко объяснить, почему степень 1 нам не подходит. Если 90% дней в году - солнечные, то несложными подсчетами легко убедиться, что самым хорошим будет предсказатель, который всегда говорит, что погода будет солнечная с вероятностью 100%. Но это - не то, что нам нужно. В данном случае нам нужен предсказатель, который дает именно 90% солнечной погоде.

Но как быть с остальными степенями?

[Lia]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
Тема перемещена в Карантин по следующим причинам:

Запишите формулы в соответствии с требованиями Правил форума, т.е. в $\TeX$.
Краткие инструкции можно найти здесь: topic8355.html и topic183.html.
Кроме этого, в теме Видео-пособия для начинающих форумчан можно посмотреть видео-ролик "Как записывать формулы".

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

[iifat]

Степень 1 нам не подходит именно из-за нечётности. Модуль имеет излом в нуле. Четвёртая срепень подходит, но вторая проще!

[math123]

> Степень 1 нам не подходит именно из-за нечётности
В чем проблема с нечетностью (если всегда брать модуль разности)?

> Модуль имеет излом в нуле
Чем мешает излом в нуле?

> Четвёртая срепень подходит, но вторая проще
6-я степень подходит? Степень 1.5 подходит? Откуда следует, что 4-я подходит?

[Lia]

math123
Оформляйте цитаты нормально, с помощью кнопок "Цитата" или "Вставка".

[Someone]

math123 в сообщении #884423 писал(а):

И вот вопрос. Почему именно квадрат? Почему, например, не куб? Понятно, что квадрат уничтожает отрицательные значения, но вряд ли это - его главное свойство. Никто не мешает взять нам куб от модуля разности. Или почему, не степень 1.5 или 3.1415?

Господи, да какая мера отклонения лично Вас устраивает, такой и пользуйтесь. Только не удивляйтесь, что по разным мерам наилучшими будут разные предсказатели.

[Евгений Машеров]

0. Если Вы решаете прикладные задачи - не стоит искать решение, которое будет лучшим со всех мыслимых точек зрения. Всегда будут противоречивые критерии и вынужденные уступки. Искать абсолютный идеал можно в абстрактной области знания, и лучше в богословии или философии - математика для этого всё же излишне конкретна. Приходится работать с приближениями и огрублениями.
1. Критерии оценки должны отражать возможные потери от ошибки прогноза. То есть правильным критерием должна быть функция потерь, отражающая наши убытки от того, что мы вышли без зонтика в дождливый день и от непромокаемого плаща в солнечный и т.п. (причём они, потери, различны для дачника, планирующего день выезда на отдых, водителя, думающего, когда мыть машину, авиатора или сельского хозяина, обдумывающего, когда сеять). Однако выписать общую для всех функцию потерь невозможно. Приходится использовать какое-то приемлемое для всех приближение.
2. Функция потерь должна быть доступной для вычисления (тут важна не столько простота вычисления, сколько доступность всех нужных данных), не противоречить интуитивно определённым потерям от ошибок и иметь "приятные" математические свойства.
Функции потерь, зависящие от последовательности ошибок, могут более точно приближать реальные потери, но вычислять их тяжко. Обычно ограничиваются суммой функций отклонений по отдельным точкам $\Sigma f(x_i)$.
Очевидно, совершенно точный прогноз должен соответствовать нулевым потерям, а неточный - ненулевым (уже это тривиальное требование позволяет вычеркнуть среднее отклонение - если пророк правильно предрекает число ясных дней, но всегда ошибается в моменте их наступления, среднее отклонение будет 0).
Поскольку мы не знаем, какие потери дороже, в одну или другую сторону, приходится использовать чётные функции, $f(x)=f(-x)$ и $f(0)=0$ (если доступна информация о стоимости ошибок, например, для систем скрининговой диагностики ложноположительный диагноз приводит к затратам на ненужное обследование, а ложноотрицательный - к смерти больного, то функция потерь не обязана быть чётной).
Как правило, чем больше ошибка, тем больше потери. Так что косинус не подойдёт. А вот выбор между модулем, квадратом или четвёртой (или более высокой чётной) степенью не столь ясен. Часто естественно считать, что одна грубая ошибка дороже нескольких мелких, суммарно ей равных, и тогда квадрат лучше модуля, как критерий. С другой стороны, слишком высокая степень слишком завышает значение единичных грубых ошибок. Однако формальных оснований для выбора тут нет, только содержательные, на основе изучения объекта прогнозирования. В ряде случаев квадрат - хорошее приближение реальной функции потерь, в других - опираются на традицию применения в сходных задачах

(Оффтоп)

"Хоть и безобразно, но однообразно"
(С) товарищ майор.

3. Квадратичная функция имеет приятные свойства, в частности, её производная линейна, что облегчает как поиск оптимума, так и доказательство его единственности. Однако сумма модулей часто используется, как критерий. Его преимущество - робастность.

[math123]

Спасибо за развернутый ответ. Жаль, что с большей его частью придется не согласиться...

Евгений Машеров в сообщении #884462 писал(а):

1. Критерии оценки должны отражать возможные потери от ошибки прогноза. То есть правильным критерием должна быть функция потерь, отражающая наши убытки от того, что мы вышли без зонтика в дождливый день и от непромокаемого плаща в солнечный и т.п. (причём они, потери, различны для дачника, планирующего день выезда на отдых, водителя, думающего, когда мыть машину, авиатора или сельского хозяина, обдумывающего, когда сеять). Однако выписать общую для всех функцию потерь невозможно. Приходится использовать какое-то приемлемое для всех приближение.

В исходном вопросе не идет речи о функции потерь. Речь идет о правильном предсказании вероятности. Давай считать, что фермер сам знает, что ему делать, если вероятность дождя - 10%. Все, что нужно фермеру от предсказателя - это правильная вероятность. Если в течение года предсказатель все время давал 10% дождю, а дождь был 300 дней, то предсказатель плохой. А если дождь был 36 дней в году - то хороший.

Евгений Машеров в сообщении #884462 писал(а):

Поскольку мы не знаем, какие потери дороже, в одну или другую сторону, приходится использовать чётные функции, $f(x)=f(-x)$ и $f(0)=0$

Из любой функции можно сделать четную, применив модуль к аргументу. Исходный вопрос о том, какю функцию выбрать поверх модуля.

Евгений Машеров в сообщении #884462 писал(а):

Как правило, чем больше ошибка, тем больше потери. Так что косинус не подойдёт.

Мы оцениваем не потери, а точность предсказания. Поэтому вопрос с косинусом - открыт. Кстати, видимо имелся в виду синус.

Евгений Машеров в сообщении #884462 писал(а):

А вот выбор между модулем, квадратом или четвёртой (или более высокой чётной) степенью не столь ясен

Это верно. Но в этом заключается исходный вопрос.

Евгений Машеров в сообщении #884462 писал(а):

Однако формальных оснований для выбора тут нет, только содержательные, на основе изучения объекта прогнозирования

Точность предсказателя не зависит от объекта прогнозирования. Исходный вопрос - какой предсказатель точнее. Все, что нам нужно, - это правильная предсказанная вероятность.

Евгений Машеров в сообщении #884462 писал(а):

3. Квадратичная функция имеет приятные свойства, в частности, её производная линейна, что облегчает как поиск оптимума, так и доказательство его единственности.

Если нам нужны простые вычисления, то давайте возмем просто нулевую функцию. Простота вычислений - немного странный способ для выбора правильной функции.

Евгений Машеров в сообщении #884462 писал(а):

Однако сумма модулей часто используется, как критерий. Его преимущество - робастность.

В исходном сообщении говорится о том, что модуль не подходит, т.к. показывает, что неправильный предсказатель - лучший.

-- 06.07.2014, 12:37 --

Someone в сообщении #884460 писал(а):

Господи, да какая мера отклонения лично Вас устраивает, такой и пользуйтесь. Только не удивляйтесь, что по разным мерам наилучшими будут разные предсказатели.

Призыв к всевышнему немного преждевременный. Я бы взял модуль, но он дает неверный результат, о чем сказано в исходном сообщении. Кроме того у модуля уже есть противники в этой ветке (у модуля излом в нуле).

[Someone]

math123 в сообщении #884467 писал(а):

Кроме того у модуля уже есть противники в этой ветке (у модуля излом в нуле).

Да начхать. Я же Вам говорю: какая мера нравится, такой и пользуйтесь. За результат Вы сами отвечать будете.
А какая мера наилучшая, никто Вам не скажет. Она зависит от решаемой задачи и от того, в каком смысле понимать слово "наилучшая", то есть, опять речь идёт о какой-то мере "хорошести", и эту меру надо выбирать, и так далее. Квадратичную меру, как уже было упомянуто, часто выбирают потому, что она даёт легко решаемую задачу оптимизации, то есть, в качестве критерия выступает сложность решения.

[math123]

Someone в сообщении #884473 писал(а):

какая мера нравится, такой и пользуйтесь. За результат Вы сами отвечать будете.
А какая мера наилучшая, никто Вам не скажет. Она зависит от решаемой задачи и от того, в каком смысле понимать слово "наилучшая", то есть, опять речь идёт о какой-то мере "хорошести", и эту меру надо выбирать, и так далее. Квадратичную меру, как уже было упомянуто, часто выбирают потому, что она даёт легко решаемую задачу оптимизации, то есть, в качестве критерия выступает сложность решения.

Не соглашусь. Есть монетка. Один предсказатель говорит, что веротяность выпадения решки 50%, другой, что 40%. Сомневаюсь, что здесь у меня есть свобода в выборе того, что значит "хороший" предсказатель.

[Евгений Машеров]

Имелся в виду именно косинус.

Ну и с практической точки зрения вероятность, вычисленная "предсказателем" - инструмент. Позволяющий уменьшить потери. Которые важны сами по себе. В отличие от вероятности. Зная вероятность, мы принимает решение - действовать, отказаться, действовать, но захеджироваться, действовать, но неполной силой. Зная вероятность точно - мы действуем наилучшим образом, неточность в определении вероятности наши ожидаемые потери увеличат. Вот это увеличение потерь и есть мера качества оценки.
А "магии" тут никакой нет. Её вообще нет (да, Деда Мороза тоже). Есть вполне рациональный выбор, есть области, в которых данных для рационального выбора нет, приходится действовать по аналогии с теми, где выбор рационален, и есть то ли старательно-тупые ученики, зазубривающие правило, не трудясь понять, откуда оно взялось, то ли ленивые учителя, вместо объяснения дающие рецепт, который должен помогать всегда. Вот последнее воспринимается,как "магия".
А на деле: можете доказать, что квадрат оптимален - поздравляю, Вам повезло, используйте его; можете доказать, что оптимален иной, неквадратичный критерий - ещё раз мои поздравления; не можете доказать ни оптимальность квадратичного, ни наличие иного оптимального - соболезную, но с этим надо жить, отсекая критерии, порождающие явно парадоксальные или вовсе бессмысленные результаты и выбирая из оставшихся по популярности и простоте.

[iifat]

Во-первых, вам таки стоит определиться. Вас интересует прогноз на день? Или, скажем, доля дней с дождём? или что-то ещё? Не потому, что один из этих вопросов "лучше" другого. Прочто потому, что задачу надо ставить конкретно. Я пока из ваших текстов не вижу, чтоб вы ясно понимали, чего хотите.

math123 в сообщении #884478 писал(а):

Один предсказатель говорит, что веротяность выпадения решки 50%, другой, что 40%

При чём тут вообще предсказатель? Вероятность высчитывается из общих соображений и проверяется практическими экспериментами. Метод наименьших квадратов, кстати, при этом не используется.

math123 в сообщении #884452 писал(а):

В чем проблема с нечетностью (если всегда брать модуль разности)?

Не путайте первую степень и модуль. Первая степень имеет одни недостатки, модуль — это другая функция со своими недостатками и достоинствами. Квадрат, кстати, тоже. Как и четвёртая, восьмая и двадцать четвёртая степень.

math123 в сообщении #884467 писал(а):

В исходном вопросе не идет речи о функции потерь

Это — единственное, о чём имеет смысл вести речь. Если вашей задачей не является генерация белого шума, то это как раз единственный вопрос: какую функцию потерь взять, чтобы её минимизация давала осмысленный результат. Все факторы предельно подробно вам расписал Евгений Машеров; осталось применить их к вашей задаче.

[Евгений Машеров]

math123 в сообщении #884478 писал(а):

Someone в сообщении #884473 писал(а):

какая мера нравится, такой и пользуйтесь. За результат Вы сами отвечать будете.
А какая мера наилучшая, никто Вам не скажет. Она зависит от решаемой задачи и от того, в каком смысле понимать слово "наилучшая", то есть, опять речь идёт о какой-то мере "хорошести", и эту меру надо выбирать, и так далее. Квадратичную меру, как уже было упомянуто, часто выбирают потому, что она даёт легко решаемую задачу оптимизации, то есть, в качестве критерия выступает сложность решения.

Не соглашусь. Есть монетка. Один предсказатель говорит, что веротяность выпадения решки 50%, другой, что 40%. Сомневаюсь, что здесь у меня есть свобода в выборе того, что значит "хороший" предсказатель.

А давайте развернём задачу. До ситуации, когда Вас устроит именно вероятность, а не конкретный прогноз. Это, скажем, страховое дело.
Вероятность наступления страхового случая - основа для назначения страховой премии. Исходя из матожидания выплат и необходимого резерва. Если "пророк" её завышает, то будет завышена и страховая премия, сократится клиентура, уйдя к другим страховщикам, если занижает - наступит банкротство. Соответственно, есть резон использовать асимметричный критерий, и слегка завышенную оценку считать лучше заниженной на равную величину.

[math123]

Евгений Машеров в сообщении #884481 писал(а):

Ну и с практической точки зрения вероятность, вычисленная "предсказателем" - инструмент. Позволяющий уменьшить потери. Которые важны сами по себе. В отличие от вероятности. Зная вероятность, мы принимает решение - действовать, отказаться, действовать, но захеджироваться, действовать, но неполной силой. Зная вероятность точно - мы действуем наилучшим образом, неточность в определении вероятности наши ожидаемые потери увеличат.

Согласен.

Евгений Машеров в сообщении #884481 писал(а):

Вот это увеличение потерь и есть мера качества оценки

Не согласен. Есть монетка. Один предсказатель говорит, что вероятность выпадения решки - 50%, другой, что 40%. Один из этих предсказателей лучше. И это не зависит от того, используем мы монетку для запуска ядерной ракеты или для выбора телевизионнной передачи для просмотра. Задача определения правильности предсказания абсолютно отделима от предметной области.

Евгений Машеров в сообщении #884481 писал(а):

А на деле: можете доказать, что квадрат оптимален - поздравляю, Вам повезло, используйте его; можете доказать, что оптимален иной, неквадратичный критерий - ещё раз мои поздравления; не можете доказать ни оптимальность квадратичного, ни наличие иного оптимального - соболезную, но с этим надо жить, отсекая критерии, порождающие явно парадоксальные или вовсе бессмысленные результаты и выбирая из оставшихся по популярности и простоте.

Хотелось бы жить не в узком пространстве собственноручно доказанных теорем, а использовать некоторые наработки других людей. Вряд ли мой вопрос не был изучен никем до меня.

[Евгений Машеров]

math123 в сообщении #884488 писал(а):

Евгений Машеров в сообщении #884481 писал(а):

Вот это увеличение потерь и есть мера качества оценки

Не согласен. Есть монетка. Один предсказатель говорит, что вероятность выпадения решки - 50%, другой, что 40%. Один из этих предсказателей лучше. И это не зависит от того, используем мы монетку для запуска ядерной ракеты или для выбора телевизионнной передачи для просмотра. Задача определения правильности предсказания абсолютно отделима от предметной области.

Евгений Машеров в сообщении #884481 писал(а):

А на деле: можете доказать, что квадрат оптимален - поздравляю, Вам повезло, используйте его; можете доказать, что оптимален иной, неквадратичный критерий - ещё раз мои поздравления; не можете доказать ни оптимальность квадратичного, ни наличие иного оптимального - соболезную, но с этим надо жить, отсекая критерии, порождающие явно парадоксальные или вовсе бессмысленные результаты и выбирая из оставшихся по популярности и простоте.

Хотелось бы жить не в узком пространстве собственноручно доказанных теорем, а использовать некоторые наработки других людей. Вряд ли мой вопрос не был изучен никем до меня.

1. Ну вот Вам несколько драматизированный пример. В некотором царстве случилась эпидемия чумы. Имеется простой тест, выдающий вероятность заболевания у данного пациента. Вероятность, но не факт заболевания. На основе значения вероятности принимается решение. Согласитесь, выбор между завышающим вероятность тестом и занижающим будет различен, если "высоковероятного" направляют на дополнительное обследование, и если, пресекая эпидемию, сжигают.

2. Речь не о доказательстве неких новых общих результатов, а об умении прилагать уже известные к конкретике. Вопрос изучен, накоплен огромный опыт - но "истина всегда конкретна", и критерий, наилучший в одной задаче, будет весьма плох в иной

(Оффтоп)

Что-то мне фуражка прапорщика Ясненько жмёт...