Критерии наилучшего распределения

[mihaild]

epros, а в страховании Вы смысл видите? Ну там "Вы платите $10^2$ долларов, и в случае ЧП, которое происходит с вероятностью $10^{-4}$ получаете лечение, которое так стоит $10^5$ долларов" (для человека, который может себе позволить $10^2$ долларов, не экономя на еде, но которому негде взять $10^5$ долларов в случае чего)

epros в сообщении #1626525 писал(а):

Астрофизики наверняка могут дать достаточно точную оценку

А есть где-то консенсусная (не от одного человека, а с которой согласна большая часть специалистов) оценка вероятности хотя бы с точностью до пары порядков для промежутка ну в год или в 100 лет, со сколь-нибудь конкретным описанием эффектов?

epros в сообщении #1626525 писал(а):

Вообще-то $\exists C, n, x_0~\forall x~(x>x_0 \to p(x) > C x^{-n})$.

Это буквально $\exists C, n \forall^\infty x: p(x) > C x^{-n}$. Кванторы $\forall^\infty$ ("для всех достаточно больших") и $\exists^\infty$ ("существуют сколь угодно большие") ИМХО очень удобны.
Хорошо, тогда да, "тяжелые хвосты" влекут бесконечность моментов, начиная с некоторого. Но поскольку если обрубить все распределения величинами, которые на практике никогда достигнуты не будут, то тяжелые хвосты исчезнут, а практические предсказания не поменяются, то это ИМХО не очень полезное определение.

[juna]

epros в сообщении #1626506 писал(а):

Степенной закон убывания плотности - по моим понятиям это "тяжёлый хвост".

Правильно я понял, что Вы хотите указать на следующее обстоятельство, что логика событий с малой вероятностью для распределений с тяжелым хвостом переворачивается. Экспоненциальное распределение здесь служит своеобразным водоразделом - если случится редкое событие в момент времени $t$, то в $t+1$ момент оно случится с той же вероятностью.
Для распределений с легким хвостом в этом случае вероятность случиться этому событию в $t+1$ момент снижается, а для распределений с тяжёлым хвостом увеличивается.

-- Сб янв 20, 2024 10:23:50 --

mihaild в сообщении #1626538 писал(а):

Но поскольку если обрубить все распределения величинами, которые на практике никогда достигнуты не будут, то тяжелые хвосты исчезнут, а практические предсказания не поменяются

И вот исходя из этого, обрубать тяжелые хвосты не тоже самое, что обрубать легкие.

[juna]

Наверное лучше ввести следующее определение "тяжелых хвостов".

Пусть $F(x)=P(t<x)$ - функция распределения случайной величины $t$, тогда

1. Мы будем иметь левый тяжелый хвост, если

$$\forall \gamma < 0: \lim_{x\rightarrow -\infty} (1-F(x))\cdot e^{\gamma\cdot x}=\infty$$

2. Мы будем иметь правый тяжелый хвост, если

$$\forall \gamma > 0: \lim_{x\rightarrow \infty} (1-F(x))\cdot e^{\gamma\cdot x}=\infty$$

Тогда распределение Коши имеет тяжелый левый, правый хвосты, распределение Парето - тяжелый правый хвост.

-- Сб янв 20, 2024 14:21:05 --

mihaild в сообщении #1626538 писал(а):

Хорошо, тогда да, "тяжелые хвосты" влекут бесконечность моментов, начиная с некоторого.

Почему? В распределении Парето некоторые моменты оказываются бесконечными не "с", а "до".

[epros]

mihaild в сообщении #1626538 писал(а):

epros, а в страховании Вы смысл видите? Ну там "Вы платите $10^2$ долларов, и в случае ЧП, которое происходит с вероятностью $10^{-4}$ получаете лечение, которое так стоит $10^5$ долларов" (для человека, который может себе позволить $10^2$ долларов, не экономя на еде, но которому негде взять $10^5$ долларов в случае чего)

В таких особых случаях, например, когда человек таким образом избавляется от страха перед "фатальным" для него, хотя и маловероятным событием, да страхование имеет смысл. Но во многих других случаях оно, к сожалению, является надувательством. По моим понятиям нет смысла страховать то, что Вы в принципе в состоянии оплатить. Мне вот приходится оплачивать ОСАГО, хотя я понимаю, что плачу более чем вдвое больше, чем в среднем заплатил бы как возможный виновник ДТП. Увы, это обязаловка. КАСКО, к счастью, пока навязывают только при покупке автомобиля в кредит. Так что я очень рад, что обхожусь без него, спокойно принимая на себя риск возможной утраты своего имущества. Зато не переплачиваю вдвое или больше ради благополучия всех тех, кто кормится вокруг отрасли страхования.

mihaild в сообщении #1626538 писал(а):

А есть где-то консенсусная (не от одного человека, а с которой согласна большая часть специалистов) оценка вероятности хотя бы с точностью до пары порядков для промежутка ну в год или в 100 лет, со сколь-нибудь конкретным описанием эффектов?

Тут я не спец. Однако статистика солнечных вспышек есть, и то, что их распределение по мощности должно подчиняться характерным для фликкер-шума законам, тоже известно. Нетрудно экстраполировать и получить оценку для частоты вспышек той мощности, что нас интересует.

mihaild в сообщении #1626538 писал(а):

Но поскольку если обрубить все распределения величинами, которые на практике никогда достигнуты не будут, то тяжелые хвосты исчезнут, а практические предсказания не поменяются, то это ИМХО не очень полезное определение.

Понятно, что солнечная вспышка теоретически не может унести энергию больше, чем есть в Солнце. Так что чисто формально можно считать, что хвост где-то и обрубается. Но суть ведь не в этом. Такие события, выходящие за пределы теоретически возможного, имеют исчезающе малую вероятность, которую так и тянет объявить нулевой. С другой стороны, нужно понимать, что мы окажемся далеко за пределами того, что ранее считали теоретически возможным, гораздо раньше, чем произойдёт такое событие. Я даже не берусь предполагать, что это могло бы значить. Так что можно смело считать, что хвост распределения - это просто напоминание о том, что всегда может произойти нечто вне нашего сегодняшнего понимания. Негоже это напоминание обрубать.

Но более важно то, о чём говорит тяжёлый хвост в пределах теоретически возможного, а там ещё много такого, что вне рамок нашего повседневного опыта. Если мы не имеем практики бросания монетки многие тысячи раз, мы наверняка не сталкивались со случаями выпадения решки десять раз подряд. Но мы понимаем, что теоретически такое возможно, нужна просто достаточно большая выборка. Если мы обрубим такой хвост, т.е. посчитаем выпадение десяти решек подряд невозможным, то мы лишим себя возможности заработать в игре про Санкт-Петербургский парадокс со стоимостью серии в 5 дукатов. А ведь такая возможность есть, нужно только иметь достаточно времени и денег. Или другой пример: Вероятность серьёзного пожара в каком-нибудь бизнес-центре не так уж велика. Так что хозяева бизнес-центра вполне могут "обрубить хвост распределения", посчитав, что принятых мер достаточно, чтобы пожар "никогда" не случился. Но когда пожар всё-таки произойдёт, то им придётся за эти отрубленные хвосты отвечать.

juna в сообщении #1626570 писал(а):

обрубать тяжелые хвосты не тоже самое, что обрубать легкие.

В статье Википедии про шесть сигм вероятность выхода за шесть сигм оценивается как 3,4 миллионных. Что произойдёт, если обрубить такой хвост? Трое или четверо из миллиона потребителей продукции столкнутся с тем, что характеристики продукта выйдут за пределы допустимого, заявленные производителем. Но нормальное распределение таково, что даже эти отклонения окажутся не такими уж большими. Так что если даже кто-то из этих потребителей и придёт с жалобой, перед ними просто извинятся и заменят продукт по гарантии.

Тяжёлый же хвост характерен тем, что выход за нормативные (т.е. "не отрубленные") пределы может с достаточно большой вероятностью оказаться весьма значительным. Т.е. хотя это будут те же 3 - 4 потребителя из миллиона, но кто-то из них может серьёзно пострадать. А может быть и так, что пострадавших от одного бракованного продукта окажется много и это вызовет серьёзный общественный резонанс. Вот и вся разница между лёгкими и тяжёлыми хвостами.

[juna]

epros в сообщении #1626614 писал(а):

В статье Википедии про шесть сигм вероятность выхода за шесть сигм оценивается как 3,4 миллионных. Что произойдёт, если обрубить такой хвост? Трое или четверо из миллиона потребителей продукции столкнутся с тем, что характеристики продукта выйдут за пределы допустимого, заявленные производителем. Но нормальное распределение таково, что даже эти отклонения окажутся не такими уж большими. Так что если даже кто-то из этих потребителей и придёт с жалобой, перед ними просто извинятся и заменят продукт по гарантии.

Тяжёлый же хвост характерен тем, что выход за нормативные (т.е. "не отрубленные") пределы может с достаточно большой вероятностью оказаться весьма значительным. Т.е. хотя это будут те же 3 - 4 потребителя из миллиона, но кто-то из них может серьёзно пострадать. А может быть и так, что пострадавших от одного бракованного продукта окажется много и это вызовет серьёзный общественный резонанс. Вот и вся разница между лёгкими и тяжёлыми хвостами.

Согласен.
Только, констатируя это, мы не объясняем причины тяжелых хвостов. На мой взгляд (могу ошибаться), они связаны с разными условиями учета последействия.
Рассмотрим пример: клиенты - кассир.
В случайный момент времени с определенной интенсивностью выходит кассир (пусть пуассоновский процесс) и по определенному правилу выбирает клиента для обслуживания.
Клиенты поступают с определенной интенсивностью (пусть тоже пуассоновский процесс) и ожидают обслуживания.
Интересующая нас случайная величина - время ожидания обслуживания клиентом.

Рассмотрим 3 варианта правила.
1. Кассир просто выбирает клиента случайно с одинаковой вероятностью для каждого.
2. Кассир действует по принципу FIFO для клиентов - первый пришел, первый будешь обслужен.
3. Кассир действует по принципу LIFO - последний пришел, первый будешь обслужен.

В первом правиле последействие отсутствует, во втором правиле каждый клиент в среднем ожидает номинальное время (определяемое интенсивностями), образуется легкий хвост в распределении времени ожидания обслуживания. В третьем правиле могут возникать клиенты, для которых время ожидания непомерно больше остальных, образуется тяжелый хвост.

[epros]

juna в сообщении #1626635 писал(а):

Только, констатируя это, мы не объясняем причины тяжелых хвостов. На мой взгляд (могу ошибаться), они связаны с разными условиями учета последействия.

Дело в том, что эти условия учёта последствий - обычно далеко не то, чем мы легко можем управлять. Если мы, например, говорим о статистике солнечных вспышек, то описываем её в привязке к реальной энергии вспышек. В целях удобства учёта, конечно, можно использовать логарифмическую шкалу энергии, но это не означает, что последствия в миллион раз больше мощной вспышки станут всего лишь на шесть процентов хуже.

[mihaild]

epros в сообщении #1626614 писал(а):

По моим понятиям нет смысла страховать то, что Вы в принципе в состоянии оплатить

Тут нужно уточнять, что такое "в принципе", но в целом согласен.

epros в сообщении #1626614 писал(а):

В таких особых случаях, например, когда человек таким образом избавляется от страха перед "фатальным" для него, хотя и маловероятным событием, да страхование имеет смысл

Только из-за "страха"?
Я бы сказал, что это при достаточно логичной системе ценностей выгодно. Причем выгодно как страховой, так и человеку - как раз из-за разной полезности денег для человека и страховой.
Просто покупать лотерейный билет с такими параметрами я считаю плохой идеей. Хотя если наивно суммировать деньги и потерю здоровья, то не должно быть разницы, коррелирует выигрыш с авариями, или нет.

epros в сообщении #1626614 писал(а):

Нетрудно экстраполировать и получить оценку для частоты вспышек той мощности, что нас интересует

Экстраполировать нетрудно, проверить, что это сделано правильно - трудно. Я точно не справлюсь, поэтому и хотелось бы результатов от специалистов.

epros в сообщении #1626614 писал(а):

Так что можно смело считать, что хвост распределения - это просто напоминание о том, что всегда может произойти нечто вне нашего сегодняшнего понимания. Негоже это напоминание обрубать

Такое произойти может. Но по Вашему определению тяжелые хвосты это прям настоящие бесконечные модели, т.е. свойство модели. Если теперь у Вас есть какое-то распределение мощности вспышек с бесконечным 4м моментом, то я могу заменить Вашу модель на свою, в которой мощност вспышки есть минимум из предсказываемого Вашей моделью и $10^{50}$ джоулей, и получить модель не хуже Вашей, в которой никаких тяжелых хвостов уже нет.

[epros]

mihaild в сообщении #1626792 писал(а):

Только из-за "страха"?

А из-за чего ещё? Об этом и название услуги прямо говорит.

mihaild в сообщении #1626792 писал(а):

Я бы сказал, что это при достаточно логичной системе ценностей выгодно. Причем выгодно как страховой, так и человеку - как раз из-за разной полезности денег для человека и страховой.

По-моему, идея нелинейной полезности денег выгодна только тем, кто надеется отжать наши денежки посредством убеждения нас в этой идее.

Ваш пример со страхованием лечения ведь вовсе не про "полезность денег". Просто человек наверняка ценит свою жизнь гораздо дороже $10^5$ долларов и при этом понимает, что в случае болезни ему таких денег нигде не взять даже в кредит. Так что он страхуется не от потери $10^5$ долларов, которые у него есть, а от потери жизни, которая может случится из-за того, что такой суммы у него нет.

mihaild в сообщении #1626792 писал(а):

Экстраполировать нетрудно, проверить, что это сделано правильно - трудно. Я точно не справлюсь, поэтому и хотелось бы результатов от специалистов.

Была бы статистика, экстраполировать, зная, что там степенная зависимость между энергией и частотой вспышек, это простая математика. А вот за достоверной статистикой - к специалистам.

mihaild в сообщении #1626792 писал(а):

я могу заменить Вашу модель на свою, в которой мощност вспышки есть минимум из предсказываемого Вашей моделью и $10^{50}$ джоулей, и получить модель не хуже Вашей, в которой никаких тяжелых хвостов уже нет

А зачем? Вы заменяете немыслимое событие с ничтожной вероятностью на убеждённость в том, что "ничего экстраординарного не может произойти в принципе". Но это как раз неверно: "Нечто экстраординарное" вполне может произойти, причём вероятность этого наверняка больше, чем у того хвоста, который Вы обрезаете. Вы приложили усилия к тому, чтобы устранить формальную расходимость момента, но практически он всё равно окажется огромным.

Это всё равно что в Санкт-Петербургском парадоксе обрезать возможность выпадения более миллиона решек подряд. Математическое ожидание выигрыша при этом окажется конечным, но настолько большим, что при такой стоимости серии бросков всё равно никто играть не станет.

[Doctor Boom]

Евгений Машеров в сообщении #1626364 писал(а):

такого принципа. Есть такой инструмент софиста.

Есть Называется принцип Курно

mihaild в сообщении #1626384 писал(а):

Если известно, что Хэйли ставит 299, то Эндрю ставит 1 (или 2000 если хочет) и заведомо побеждает. И вроде бы равновесия в чистых стратегиях тут нет.

А вы почитайте дальше

Цитата:

Вы можете возразить: Если идущий первым знает, что второй собирается ставить в расчёте на неответ первого, отчего бы ему (первому) не поставить столько, чтобы обойти преследователя более скромной ставкой? Потому что всегда есть возможность, что идущий вторым пойдёт ва-банк. И на практике лидер почти всегда ставит на $1 или $100 больше удвоенного количества очков ближайшего соперника. Это тенденция, преимущества которой могут использовать игроки, идущие на втором и третьем местах

[mihaild]

Doctor Boom в сообщении #1627603 писал(а):

А вы почитайте дальше

Из Вашей цитаты следует, что люди не играют равновесие Нэша. Их право, но, как следует из определения равновесия, кто-то может лучше:)

[Doctor Boom]

juna
Короче да, вы правы, там все из картинки легко видеть