MLE, Мисспецификация Модели, MCMC, Байесовские Методы

[Brizon]

В теории МЛЕ и Байесовские Методы одни из лучших.

На практике — я получил огромную ошибку, причем не где то, а именно в самом критичном месте. Ошибку больше чем если использовать обычную простую статистику.

В теории предполагается что — модель имеет верную структуру. На практике — структура модели (процесс цены акции) неизвестна и подбирается какая то приближенная модель, которых придуманы сотни, и насколько они структурно верны непонятно. Задача - предсказание распределения прибыли акции через месяц

В итоге, получаем ситуацию — структура модели не точна, и МЛЕ оптимизатор не может исправить эту ошибку, и откалибрует ее так как получится, запихнув ошибку куда то. И это «куда то», куда пойдет ошибка — непредсказуемо.

Для меня важна точность терминального распределения прибыли на периодах 1м-3m, получаемая через симуляцию. А динамика процесса цены во времени — желательна, но не особо важна.

МЛЕ и MCMC же сделал все наоборот, сделав динамику точной, и ошибку поместил в распределение 1м-3м (безусловные моменты сильно не совпадают с простой статистикой по реальным данным). Поскольку эти важные для меня моменты, имеют мизерный вклад в правдоподобие которое оптимизирует MLE, и он запихнул ошибку моделив них. Сделав прямо противоположное тому что нужно для прибыли, даже хуже чем дало бы простое среднее.

В итоге:

Сделать точную модель не получится, реальные данные слишком сложные, и сложные модели слишком медленные, и в итоге работать прийдется с приближенными моделями.

А точность таких приближенных моделей с MLE непредсказуема, может будет хорошей, может нет, надо проверять.

Но даже если проверил и точность вроде нормальна — все равно это может быть не оптимум. И если прицельно оптимизировать этот показатель (напр задав цель как моменты, или как макс прибыль стратегии) он может дать результат точнее (больше денег). Хотя риск оверфиттинга тоже растет.

Возможен компромисс — гибридный MLE с моментами которые важны.

Но с такой гибридной целью мы теряем оценку неопределенности, постериор которую дают Байесовские методы и MCMC (данные используются дважды, постериор не настоящий). Есть методы его коррекции, но они сложные и в итоге все равно непонятно что получается после коррекции.

И возникает вопрос — какой толк от сложной машинерии Байесовских Методов и MCMC, если они а) могут дать огромные и совершенно непредсказуемые ошибки б) после правки этих ошибок теряют значительную часть своих плюсов.

Некоторые плюсы таки остаются, даже по ненастоящему, псевдо постериору лучше видны многие проблемы модели. Но ключевая идея Байесовского подхода теряется, мы теряем оценку неопределенности.

Перефразируя Ховарда Маркаса и Баффета: МЛЕ и Байесовские методы могут дать точное, но совершенно неверное решение. Гибридные методы, дают неточное, но близкое к верному.

Это мое возмущение и разочарование Байесовскими Методами, может что то упустил или не понял.
Мудрец (Астра 6) все проверил и согласен с выводами, хотя настаивает что коррекция постериора таки возможна, но на мой взгляд там слишком уж сложно и запутанно получается.

[Ghost_of_past]

Вы смешиваете проблемы спецификации модели и ограничения самих методов оценивания. Если приоритетным является терминальное распределение на горизонте 1–3 месяцев, а не пошаговая динамика, то ожидать, что стандартные MLE, основанные на заданной модели переходов, автоматически попадут в нужные агрегированные моменты, не с чего. При неверной спецификации MLE оценивает так называемые псевдоистинные параметры, то есть наилучшее приближение внутри заданного класса моделей относительно критерия логарифмического правдоподобия, что, разумеется, не гарантирует оптимальности полученного приближения для интересующего Вас терминального распределения, поэтому проблема заключается не в несостоятельности MLE или байесовских методов, а в принципиальном рассогласовании между оптимизируемой функцией правдоподобия и выбранной целевой метрикой. Кстати, MCMC здесь некорректно ставить в один ряд с MLE, так как это алгоритм получения выборки из апостериорного распределения, а не метод оптимизации правдоподобия.

Brizon в сообщении #1737238 писал(а):

Возможен компромисс — гибридный MLE с моментами которые важны.

Но с такой гибридной целью мы теряем оценку неопределенности, постериор которую дают Байесовские методы и MCMC (данные используются дважды, постериор не настоящий). Есть методы его коррекции, но они сложные и в итоге все равно непонятно что получается после коррекции.

В современной статистической литературе и эконометрике давно разработаны методы ее корректировки при неверной спецификации модели, в частности байесовские сэндвич-методы, например то же самое байесовское моделирование сэндвич-правдоподобия. Такие сэндвич-методы не устраняют ошибку спецификации, но по крайней мере позволяют скорректировать оценку неопределенности параметров при определенных предпосылках. Кроме того, переход к целевым функциям, отличным от обычного правдоподобия, вовсе не означает автоматической потери возможности вероятностной оценки неопределенности, так как существуют обобщенные байесовские методы, позволяющие строить апостериорные распределения непосредственно на основе функций потерь, соответствующих конкретной задаче. Разумеется, такие распределения требуют отдельной калибровки.

[Brizon]

Спасибо, интересно.

Цитата:

Если приоритетным является терминальное распределение на горизонте 1–3 месяцев, а не пошаговая динамика, то ожидать, что стандартные MLE, основанные на заданной модели переходов, автоматически попадут в нужные агрегированные моменты, не с чего.

А какой тогда подход был бы оптимальным для этой задачи? Мне нужны и терминальные моменты и динамика, но терминальные моменты сильно важнее.

Про сэндвич, мне ИИ тоже посоветовал, но я пока не осилил, это дополнительная сложность, а насколько лучше будет в итоге результат мне не понятно.

Уточнение про терминальные моменты, если вдруг это имеет значение - мы можем видеть только тело распределения, без хвостов. Поскольку наблюдаемых данных для долгосрочной прибыли слишком мало, за 20 лет будет всего 230 данных месячной прибыли. Можно оценить среднее и среднее абс отклонение лог прибыли за месяц и использовать как моменты. Но не дисперсию, по ней неопределенность слишком велика.

[Alex Krylov]

Brizon

А о каких моделях идет речь, если не секрет (я не специалист в области эконометрики)?
Какие метрики качества вы используете для отбора "лучших" моделей?

[Brizon]

Цитата:

А о каких моделях идет речь, если не секрет (я не специалист в области эконометрики)?
Какие метрики качества вы используете для отбора "лучших" моделей?

Формальный критерий - максимум MLE при разумной и простой структуре. Субьективно еще оцениваю способность модели повторить известные особенности реальных цен - кластеры волатильности, асимметрию, тяжелые хвосты и т.п.

Модель E-GARCH-Т

rₜ = μ + √hₜ zₜ
log hₜ = ω + mₜ
mₜ = βmₜ₋₁ + α(|zₜ₋₁| − E|zₜ|) − γzₜ₋₁
zₜ ∼ √((ν−2)/ν) Tν, iid

Фиттинг MLE на дневных данных SP500 за 20 лет. Моменты: mean, q25, q50, q75 для прибыли на 1 месяц.

График ошибок, и код на питоне с данными, можно запустить и посмотреть https://github.com/al6x/egarch_moments/tree/main

Примечания:

У E-GARCH-Т есть известная проблема - мат ожидание прибыли E[exp(r)] и мат ожидание маштаба E[h] равны бесконечностям. Но это практически не влияет на фиттинг, я пробовал вариант фиттинга с ограничением распределения на максимум 1-1/5000 квантиль с обеих сторон через tanh, отличия параметров микроскопические. Во время симуляции я их ограничиваю максимумом 1-1/5000 с обеих сторон.

Я также пробовал другие варианты GARCH, a также стохастические модели с латентным процессом волатильности похожие на Heston T и т.п., они все дают похожие ошибки по моментам на 1мес.

В целом ситуация - модели могут дать хорошее совпадение на дневных данных. Но на месячных лог прибылях - все модели которые я пробовал имеют системные ошибки смещения по моментам (может есть какая то модель которая дает хорошее совпадение, но я ее не нашел).

Модель E-GARCH-T выше можно усложнить, и это может немного улучшить MLE и дневную динамику. Но, это не дает улучшения по моментам на 1мес. Насколько я понимаю - улучшения по моментам 1мес вносят такой мизерный вклад в MLE что оптимизатор запихивает туда огромную ошибку просто чтобы чуть улучшить оверфиттинг на дневных данных. И получается - что через MLE фиттинг этот вопрос принципиально не решается - даже если сделать сложную и близкую к реальности структуру модели - это все равно не поможет точности на горизонте 1мес, потому что данные конечны (пре асимптота) и MLE может непредсказуемо сделать оверфиттинг на дневных и большие ошибки на месячных.

Получается что чисто МЛЕ делает то что категорически недопустимо - возможность непредсказуемых и больших ошибок на критических показателях.

[Ghost_of_past]

Brizon в сообщении #1737326 писал(а):

А какой тогда подход был бы оптимальным для этой задачи? Мне нужны и терминальные моменты и динамика, но терминальные моменты сильно важнее.

Про сэндвич, мне ИИ тоже посоветовал, но я пока не осилил, это дополнительная сложность, а насколько лучше будет в итоге результат мне не понятно.

Уточнение про терминальные моменты, если вдруг это имеет значение - мы можем видеть только тело распределения, без хвостов. Поскольку наблюдаемых данных для долгосрочной прибыли слишком мало, за 20 лет будет всего 230 данных месячной прибыли. Можно оценить среднее и среднее абс отклонение лог прибыли за месяц и использовать как моменты. Но не дисперсию, по ней неопределенность слишком велика.

Если с сэндвич-методами работать тяжежло, то я бы в первую очередь посмотрел на байесовский метод синтетического правдоподобия. Тогда вместо правдоподобия всей траектории используются сводные статистики, рассчитанные по реальным и симулированным данным, а в Вашем случае можно задать отдельный набор характеристик терминального распределения на горизонтах 1-3 месяца и отдельный набор характеристик динамики, а затем строить апостериорное распределение на основе их совместного распределения в симуляциях. Также можно попробовать обобщенный байесовский подход, т.е. непосредственно задать функцию потерь, в которой расхождение терминальных характеристик имеет существенно больший вес, чем расхождение характеристик динамики. В обоих случаях сохраняется вероятностная оценка неопределенности, хотя во втором случае речь идет уже об обобщенном, а не стандартном байесовском апостериорном распределении.

При этом 230 наблюдений действительно серьезное ограничение для оценки хвостов, и никакой метод оценивания эту проблему сам по себе не устранит. Среднее чувствительно к хвостам, а абсолютное отклонение, хотя и менее чувствительно к экстремальным значениям, чем дисперсия, учитывает все наблюдения, так что возможно, для описания именно центральной части распределения стоит дополнительно рассмотреть медиану и межквартильный размах.

[Brizon]

Цитата:

При этом 230 наблюдений действительно серьезное ограничение для оценки хвостов

Да, моменты на которые влияют хвосты я не оцениваю. Проблема что даже моменты тела распределения - квантили q25, q50, q75 - для которых 230 наблюдений достаточно - оказываются сильно смещены.

[Alex Krylov]

Цитата:

Какие метрики качества вы используете для отбора "лучших" моделей?

А в эконометрике не принято использовать критерии типа AIC/BIC для выбора модели и ее порядка? Кросс-валидация?

[Brizon]

Хмм, а как это поможет? Допустим мы попробуем десяток разных моделей и какие то будут лучше по AIC/BIC, и при этом все они дают чуть разные но большие ошибки по месячным моментам, по крайней мере у меня так получилось...

Здесь модель не может повторить моменты выборки на которой она обучалась, не то что предсказать данные которых она не видела.

[Ghost_of_past]

Brizon в сообщении #1737336 писал(а):

Проблема что даже моменты тела распределения - квантили q25, q50, q75 - для которых 230 наблюдений достаточно - оказываются сильно смещены.

230 наблюдений позволяют оценивать центральную часть распределения, но действительно сами по себе не гарантируют высокой точности, так как необходимо учитывать не только объем выборки, но и зависимость наблюдений во времени, которая уменьшает эффективный размер выборки. Если же речь именно о систематическом расхождении модельных квантилей с эмпирическими, то это уже свидетельство того, что модель плохо воспроизводит интересующие Вас характеристики распределения. В таком случае я бы рассматривал включение этих квантилей непосредственно в целевую функцию при построении обобщенного апостериорного распределения. Например, можно использовать квантильную функцию потерь, сохранив байесовскую оценку неопределенности с последующей калибровкой.

Alex Krylov в сообщении #1737338 писал(а):

А в эконометрике не принято использовать критерии типа AIC/BIC для выбора модели и ее порядка? Кросс-валидация?

Да, конечно, AIC и BIC широко используются в эконометрике для выбора спецификации модели и ее порядка, как и различные варианты кросс-валидации. Однако здесь важно, что AIC и BIC оценивают качество модели исходя из ее правдоподобия с поправками на сложность, поэтому выбор модели по этим критериям не гарантирует наилучшего воспроизведения именно интересующих нас характеристик терминального распределения. Кросс-валидация в этом отношении гибче, так как здесь можно непосредственно сравнивать модели по ошибкам прогнозирования квантилей, используя ту самую квантильную функцию потерь. Для временных рядов при этом необходимо применять скользящую или блочную кросс-валидацию, а не обычное случайное разбиение наблюдений, чтобы не нарушать временную структуру данных - последнее, правда, скорее ИМХО, ибо я не видел реальных данных и моделей, который получал ТС (лучше для этого использовать R, как по мне, но тут стоит спросить квантов, кто конкретно работает руками с такими задачами в финансах).