Торговля на рынке с использованием математических моделей

[Slumber]

В связи с дипломной я сейчас перекапываю огромное количество статей по использованию скрытых марковских моделей для экономических данных. Разумеется, упоминается много всяких прочих математических подходов к моделированию. Обычно авторы берут статистику биржевых индексов за какой-то промежуток времени и сравнивают свои предсказания по следующему шагу с реальными данными, и получают, естественно, значимый результат. Очень популярной является модель $GARCH(1,1)$. Мне это непонятно, т.к. эти методы в принципе вшиты в обычный специализированный софт или доступны в статистических пакетах типа R. Такие люди, отправившись на рынок, должны сразу деформировать его и их модель должна переставать работать, в результате чего подогнать рыночные данные аторегрессиями или марковскими моделями должно быть практически невозможно. Вместо этого, я открываю некую статью, и смотрю на красивые графики и задаюсь вопросом, почему автор не миллиардер http://ipic.su/7ypH1p.png.

Хочется спросить - а как вообще обстоят дела с подобного рода математикой и Big Data применимо к торгам? Что это значит, когда в статьях показывают соотвествие данных какой-то модели на протяжении многих лет? Что мешает тогда успешно торговать и обогащаться авторам этих (причем, часто довольно простых) моделей?

Просто логика подстказывает, что для алгоритмов с вычислительной нагрузкой меньше крупного мэйнфрейма поле должно быть хорошо вытоптано. Я же, скажем, на первой же странице гугла нахожу статью, где цены на электроэнергию в Испании за неделю и месяц подгоняются $GARCH$-моделью.

[dsge]

Slumber в сообщении #1122233 писал(а):

Что это значит, когда в статьях показывают соотвествие данных какой-то модели на протяжении многих лет? Что мешает тогда успешно торговать и обогащаться авторам этих (причем, часто довольно простых) моделей?

Писать статьи и торговать на рынке - это 2 разных бизнеса, которые между собой почти никак не связаны. Никто не будет делать публичной (публиковать ) модель до тех пор пока она приносит прибыль.
В моделях, описываемые в статьях, параметры подгоняются таким образом, чтобы прогнозы по прошлым (историческим) данным были в каком-то смысле оптимальны (например, минимальны в средне-квадратической ошибке ), не факт, что такие модели будут хорошо прогнозировать по новым данным в будущем.

[Slumber]

dsge в сообщении #1122308 писал(а):

В моделях, описываемые в статьях, параметры подгоняются таким образом, чтобы прогнозы по прошлым (историческим) данным были в каком-то смысле оптимальны (например, минимальны в средне-квадратической ошибке ), не факт, что такие модели будут хорошо прогнозировать по новым данным в будущем.

Т.е., мы имеем дело с т.н. publication bias и там, где подогнать не удалось, результаты не публикуются. Хорошо, тогда другой вопрос - если мы видим, что, скажем, марковская модель подгоняла рынок в течении нескольких лет - то есть, она реально на протяжении этого времени работала. Допустим даже что рынок стал сложнее и она не работает сейчас. Но все это время - как так могло быть? Как я уже написал, думая логически, найти что-либо с обычными вычислительными мощностями должно быть невозможно, такие вещи должны сразу обнаруживаться участниками.

То есть, допустим у него данные за 2001-2006й год (статья 2007го), примерно 1400 наблюдений, он подгоняет модель последовательными выборками по 56 наблюдений, и уже с 15го-17го шага из 24х у него параметры уже начинают хорошо сходится. Получается, в 2006 году он уже точно мог спокойно зарабатывать деньги, не очень сложной по сути моделью, которую он еще и сравнивает с $GARCH(1,1)$ (выходит, последняя там тоже работает). Не то, чтобы я зацикливался на этой статье, есть и масса других подобного рода.

[Slumber]

Там сверху на хостинге разбился рисунок, вставлю ссылку на статью,
https://mospace.umsystem.edu/xmlui/bitstream/handle/10355/4795/research.pdf

Красивые картинки на стр. 121-123 пдфки (111-113 у самого документа).

Нагуглил еще авторегрессию 2го порядка для цен на золото, например
http://www.mssanz.org.au/modsim2013/F2/yaziz.pdf
Картинка на 6й странице - опять-таки, не такая красивая, но более-менее видит основные колебания.

[Brukvalub]

(Оффтоп)

Slumber в сообщении #1122233 писал(а):

Что мешает тогда успешно торговать и обогащаться авторам этих (причем, часто довольно простых) моделей?

Так эти авторы успешно торгуют и обогащаются. Они продают свои модели и себя, как консультанта по рыночным трендам. Это бизнес, ничего личного.

[dsge]

1. Даже если бы биржевые цены следовали простым моделям, типа ARIMA-GARCH, и даже если бы Господь сообщил вам истинную модель, вы не смогли бы этим воспользоваться, чтобы заработать потому, что ошибки прогнозов этих моделей, обусловленные дисперсией случайного члена, намного больше, чем сам прогноз изменения цен - такова специфика финансовых рядов. Если вы внимательно посмотрите на приведенные графики, то заметите, что прогноз, по сути, почти параллельный сдвиг исходного временного ряда, т.е. прогнозное значение равно текущему, т.е. процесс является мартингал-разностью, например случайным блужданием.

2. Ситуация отягощается фактом, что настоящая модель не известна. На отдельных временных интервалах какие-то модели могут более-менее быть согласованы с данными, однако, не факт, что эта согласованность сохранится в будущем. В приведенной статье выбран интервал 2001-2006 гг., т.е. до кризиса 2008г. когда рынки были спокойны, стабильны и временные ряды выглядели стационарными, в этой ситуации модели из учебников хорошо подгоняются под данные. В 2007 г. рынки стали нервозными в предчувствии надвигающегося кризиса и модели не столь хорошо делали своё дела. В 2008 г. наступил кризис и эти модели стали совсем негодными.

[Slumber]

dsge в сообщении #1122608 писал(а):

Если вы внимательно посмотрите на приведенные графики, то заметите, что прогноз, по сути, почти параллельный сдвиг исходного временного ряда, т.е. прогнозное значение равно текущему, т.е. процесс является мартингал-разностью, например случайным блужданием.

Ага, я понял. Спасибо большое: я часто вижу эту штуку, но как-то не обратил внимания, тем более, что сам автор, как ни в чем ни бывало, пишет

Цитата:

When the prices are increasing, we see under prediction, conversely when the prices are decreasing, we see over estimate. This phenomenon can be found with quite a lot of data sets. One might take this into account when using our program to predict the prices. And of course more work has to done to study the cause of this phenomenon.

А на самом деле его марковская модель из двух состояний просто отражает прошлое. Хотя саму себя (сгенерированные через нее же данные), она оценила хорошо.
Нормально товарищ защитил Ph.D.

Ну, как я понимаю, дисперсия свободного члена и есть недостаточность нашой модели (неучтенные факторы) - что и логично, т.к. она слишком простая.

-- 10.05.2016, 22:51 --

Хотел бы заметить еще одну вещь. К сожалению, для этого нужно вчитываться в 5ю главу этой диссертации (первая ссылка), тем не менее, возможно это будет кому-то интересно.

Для определения качества своей модели, автором был применен критерий, предложенный Фама и Гиббонсом:

Нужно построить регрессию

Действительная цена = $\alpha$ + $\beta \cdot$ Предсказанная цена + $\varepsilon$
Тогда:
(1) Ошибки не должны автокоррелировать
(2) Должна быть низкая стандартная ошибка регрессии
(3) Условная несмещенность, т.е. сдвиг $\alpha$ - близок к нулю, а коэффициент $\beta$ близок к единице.

Проводится еще определенная нормализация с делением на выборочное среднее реальных цен, чтобы унифицироать коэффициенты $\alpha$. В данной работе это все выполняется очень хорошо, например для Nasdaq получены $\alpha < 0.04$ и $\beta > 0.96$. Текже перед каждым двойным графиком со сдвинутым предсказанием есть диаграмма рассеяния с отложенными по оси абсции реальными значениями, а по оси ординат - предсказаниями. Точки довольно равномерным вытянутым облачком окружают прямую.

Как я понимаю, критерий подвел по той причине, что на диаграмме рассеяния разные сдвиги перемешаны, т.к. они откладываются по абсолютному значению, а сам временной ряд гуляет туда-сюда. Также, из-за большой длины ряда, само смещение на один шаг относительно маленькое, и оно не было особо заметно на значениях статистик и коэффициента регрессии.

Если я не прав, буду рад, если меня поправят.

[Slumber]

Прошу прощения за флуд, но может, он все-таки просто так нарисовал, со сдвигом? А то серьезно так посчитаны все статистики. А график сдивинут и вниз (что он отмечает), и вправо.

[Andrey A]

(Оффтоп)

Slumber в сообщении #1122233 писал(а):

... смотрю на красивые графики и задаюсь вопросом, почему автор не миллиардер

Это неприличный вопрос. Мало ли чего. Вы же читаете, значит он уже немножко зарабатывает. Если музыковед о 14-й сонате Бетховена знает всё, спросите почему он сам её не написал? И Вас больше не пригласят. Это как... я не знаю, в ресторане о делах разговаривать или в суде о справедливости.

[Slumber]

(Оффтоп)

Andrey A в сообщении #1122725 писал(а):

Это неприличный вопрос. Мало ли чего. Вы же читаете, значит он уже немножко зарабатывает. Если музыковед о 14-й сонате Бетховена знает всё, спросите почему он сам её не написал? И Вас больше не пригласят. Это как... я не знаю, в ресторане о делах разговаривать или в суде о справедливости.

Ну, переборщил я немного с выражением. Как бы вопрос в том, что у меня создалось странное впечатление по некоторым публикациям - якобы имеют местно довольно хорошо подганяемые модели. Сейчас ситуация чуть прояснилась, но вот для меня все еще необычен этот Ph.D thesis.

[Andrey A]

(Оффтоп)

Slumber в сообщении #1122755 писал(а):

... создалось странное впечатление по некоторым публикациям - якобы имеют место довольно хорошо подганяемые модели.

Как ни странно, у меня такое же впечатление, и не только в экономике. Знаете анекдот про впечатление?

Встречаются два француза. Один говорит - у меня такое впечатление, что мне жена изменяет с садовником. Прихожу домой, жена в постели. Поднимаю одеяло, а там полно лепестков от роз.
- А у меня, знаете ли, такое впечатление, что мне жена изменяет с водопроводчиком.
- Да неужели?
- Прихожу домой, жена в постели. Поднимаю одеяло, а там водопроводчик.

[Deggial]

Заканчиваем оффтоп

[Andrey A]

Andrey A в сообщении #1122779 писал(а):

... и не только в экономике

За примером далеко ходить не надо. Спылу-сжару от В. Соловьева: министр Мединский посчитал, что которые закончили музыкальную школу не сидят потом в тюрьме. Excel называет это "циклическая ссылка". Пороху не нюхал. Вывод известный: надо дать министерству культуры больше денег, пусть сидят в музыкальных школах. Дешевле. Не думаю что это оффтоп.

[Евгений Машеров]

Начну с отсылки к личному опыту. Когда-то мне, в приступе острой денежной недостаточности, довелось устроиться в финансовую компанию. Математика там была, и интересная. И упомянутый GAPCH, и что-то более старое, типа VaR, и регрессии в поисках закономерностей, и просто монтекарлили цены опционов разного нетрадиционного вида. И вот после некоторого срока работы повысили, назначив руководителем группы с вдвое большим окладом, не меня, а другого. А уж когда проект закрылся, мне пояснили: "Конечно, ты знаешь больше и разбираешься лучше. Но ты пишешь программы, выдаёшь цифры - а не веришь. А он верит, он по этим алгоритмам торгует!". Но в итоге я рассчитался по ипотеке (что и было основным побудительным мотивом), а он, при вдвое большем окладе, так и живёт в съёмной квартире. Отчего-то всё время торговля шла замечательно, а потом вдруг рынок как-то не так поворачивался. Ну и другой сотрудник, у которого была Стратегия (тоже с матосновой), посредством которой он каждодневно приносил в фирму тысяч по пять баксов. Пока не слил 300 тысяч за раз.
На уровне рядового игрока - рынок прекрасно аппроксимируется случайным блужданием. И в лучшем случае это рулетка. Нет, есть великое множество методов. А моя мысль, что нужны эти методы исключительно для того, чтобы, торгуя на основе инсайда, то есть незаконно добытой информации, за что положено "турма сыдеть", на каждое решение иметь обоснование - "по науке вычислено!" и этот расчёт предъявить в биржевую комиссию, когда спросят строго "отчего так удачлив, не инсайд ли?" - мысль эта, возможно, галимая конспирология, не более. Но даже если есть такая закономерность, она даёт столь малый плюс к матожиданию прибыли, что реализовать его можно, проведя миллионы сделок на миллиарды долларов, то есть работать она может лишь в крупной компании. При этом закономерности могут возникать - но, когда они проявятся, их обнаружат многие и они будут сами собой убиты. Пример такой закономерности был в 60-х годах, когда трейдеры перед выходными закрывали сделки, чтобы не оказалось необходимым в выходные срочно торговать ввиду событий на рынке. От этого цена в субботу падала, а в понедельник восстанавливалась, и можно было эксплуатировать этот эффект - пока его не стали использовать многие, полностью его стирая. Большое число игроков, хорошие средства связи и известность основных методов (в том числе математических) приводят к тому, что прибыль от обнаруженной закономерности проявляется короткое время, а затем эффект убивается.
Поэтому, кстати, интерес к GARCH - там сложнее в нём разобраться, меньше игроков, которые могут его употребить, и есть шанс, что какая-то прибыль будет. Но как только эффект станет приносить доход - он сам себя убьёт.

[mserg]

А что, бывают модели без "веры" (предположений)?

Модель же опирается на "предположим, что ...".
После этих "предположим", можно продолжить перевести их в математику и продолжить " ... тогда ...", делать прогнозы и т.д.

При торговле на рынке участник тоже во что-то верит (предполагает).
Основное предположения, как мне видится, это:
* На рынке действуют некоторые закономерности, открыв которые, можно прогнозировать / выигрывать.
* Я умнее среднего игрока на рынке и смогу открыть эти закономерности
* Если найденная закономерность хорошо прогнозирует (не описывает, и именно прогнозирует!) на исторических данных, то ее можно использовать на практике

Как уже отмечалось ранее, эти предположения могут обломиться, например, по следующим (игровым) причинам:
* Закономерности действуют ограниченное время
* Игроки находятся в неравных условиях (инсайд, разные объемы собираемой информации, разная скорость, и т.д.)
* Крупные игроки изучают поведение мелких и могут рисовать на бирже любые "рыночные" закономерности с последующим жестким обломом
И т.д. и т.п.

"Продавцы" математики в качестве доказательства приводят некоторую статистику, подтверждающую закономерности. Очевидно, что предположение, что математика будет работать на рынке, если она подтверждена большим количеством схожих примеров, - в среднем неверно. Подлог заключается, как мне видится, в том, что "продавцы" математики делают вид, что игровой составляющей рынка как бы нет.