Регрессия к среднему и ошибка игрока

[Евгений Машеров]

sergey zhukov в сообщении #1545479 писал(а):

Регрессию к среднему часто упоминают в связи с таким ошибочным представлением: если из любой выборки взять самых лучших и самых худших, то в следующем соревновании лучшие будут еще лучше, а худшие - еще хуже (в крайнем случае в среднем останутся на местах, т.е. продемонстрируют какое-то случайное блуждание). Но регрессия к среднему говорит нам, что и лучшие и худшие при повторных испытаниях продемонстрируют тягу к среднему.

Но при этом наследники лучших будут в среднем лучше, а худших - хуже среднего...

-- 08 янв 2022, 20:25 --

sergey zhukov в сообщении #1545479 писал(а):

Вообще, вся практика выведения породы основана на правиле "всегда выбирай лучших". Регрессия к среднему тут как будто бы утверждает, что это бесполезно. Можно, конечно, с помощью ряда случайностей получить отборного рекордсмена, но попытка продолжить это наталкивается на такое препятствие: почти все потомки такого отца оказываются хуже отца. Даже если выбрать лучшего из них, он оказывается хуже родителя. Принцип "выживает сильнейший" не всегда приводит к прогрессу: сильнейший из потомства может систематически оказываться слабее отца. Это маловероятно, пока отец - средний представитель. Но когда он рекордсмен - это почти обязательно будет так.

Это неверное заключение. Средний уровень лучших потомков будет выше среднего уровня по популяции. При этом при данном среднем уровне среди потомков лучших будут и лучшие предков.

[ipgmvq]

sergey zhukov в сообщении #1545184 писал(а):

Регрессия к среднему - это, как говорит Паулос, "явление, когда вслед за экстремально высоким или низким значением какой-либо величины следует значение, близкое к среднему"

Если говорить о практическом "биржевом" примере динамики цены акции или курса валют, то тут скрывается типичная путаница в том, на какой именно случайной величине нужно фокусировать внимание, и чьё соответственно среднее рассматривать. Обыватель, смотря на график цены акции, неминуемо начинает считать главной и единственной заслуживающей внимания случаной величиной саму цену. Соответственно и среднее он ищет у цены. Например, если в последние 5 дней цены закрытия были 101.01, 102.13, 101.99, 103.44, 102.82, то и средним для него будет 102.278. Туда вниз она при регрессии к среднему и должна иметь тенденцию направляться. При этом на самом деле потенциально независимой (для эффективного рынка) случайной величиной будет логарифм отношения идущих друг за другом цен, или (что эквивалентно) разность логарифмов подряд идущих цен закрытия. Т.е. потенциально независимыми случайными величинами будут ln(102.13) - ln(101.01), ln(101.99) - ln(102.13), ln(103.44) - ln(101.99), ln(102.82) - ln(103.44) или +0.01102699, -0.001371742, +0.014116965, -0.006011848 и (выборочная) средняя у них на самом деле была 0.004440091. Т.е. по идее (следуя своей средней) акция должна иметь тенденцию продолжать идти вверх и целиться к 102.82 * exp(0.004440091) = 103.28, а не вниз, как когда обыватель смотрит на абсолютные цены, а не на их изменения.
В этом и состоит ошибка трейдера (между чем он ищет среднее) на идеальном случайно блуждающем фондовом рынке.

[Евгений Машеров]

Причём на рынке реальных товаров (притом не на спекулятивном, паразитирующем на реальном рынке, а именно реальном) работает именно цена, если вдруг цена, скажем, на мясо вырастет, то потребление сократится, а производство и/или импорт вырастет, и цену собьют, то есть имеет место "истинный возврат к среднему". Но спекулянты могут, увидав рост, вкладываться в данную акцию, ожидая дальнейшего роста, а могут и закрыть позицию "останавливая лося". То есть будет проявляться случайное блуждание (или более сложное поведение, а ля описанных Sornette колебаний нарастающей частоты с падением амплитуды), но не простая стабилизация контуром обратной связи.
Здесь скорее обсуждается "статистическая регрессия к среднему", когда наблюдаемый феномен связан с особенностями наблюдения, с тем, что существенные факторы непосредственному наблюдению недоступны, а наблюдаемые величины подвержен влиянию иных факторов.
Ещё более упрощённый пример.
Имеются объекты, у которых есть ненаблюдаемая характеристика ("генетические факторы роста" x), с равной вероятностью принимающие значения 1 или 2. А реально наблюдаемая величина z отличается от указанной на -1, 0 или +1 ("условия жизни" y)
$z=x+y$
и z принимает значения 0, 1, 2, 3 (вероятности для y также равные)
И тогда для встречающихся с вероятностью 1/6 "трёхочковых" заведомо генетический фактор будет 2, и средний рост их потомков (считая, что ГФ передаётся неизменным) будет равен 2, то есть неполный "возврат к среднему", равному 1.5.
Для имеющих "рост" 2 половина выборки с ГФ=2 и "средней благоприятностью условий жизни" и половина с ГФ=1 и "благоприятными условиями жизни" и полный "возврат к среднему по популяции".
Но если мы начнём отбирать имеющих рост выше среднего, там будет 2/3 с ГФ=2 и 1/3 с ГФ=1, и уже в такой группе средний рост потомков будет выше, чем в исходной.

[mihaild]

Евгений Машеров в сообщении #1545576 писал(а):

Причём на рынке реальных товаров (притом не на спекулятивном, паразитирующем на реальном рынке, а именно реальном) работает именно цена, если вдруг цена, скажем, на мясо вырастет, то потребление сократится, а производство и/или импорт вырастет, и цену собьют, то есть имеет место "истинный возврат к среднему"

Бывают товары Гиффена, потребление которых растет с ростом цены.

[sergey zhukov]

ipgmvq
Если все еще больше упростить, то, как я понял, речь у вас вот о чем. Тот, кто совершает ошибку, полагает, что следующая цена может случайно либо подняться на $a$, либо опуститься на $a$. Более же правильно считать, что следующая цена может либо умножится на $a$, либо поделиться на $a$. Т.е. равновероятны не абсолютные, а относительные колебания цены: цена всегда колеблется на стабильный процент. Чем она выше, тем ее абсолютные колебания будут больше. Это, в общем, о том, как дисперсия случайной каждодневной добавки к цене зависит от цены (прямо зависит).

Евгений Машеров
Понятно. Высокий отец передает сыну только половину залога успеха (генетическую). С другой половиной (условия жизни) отцу просто повезло. Это было маловероятное совпадение. И мы знаем, что ему именно повезло, т.к. такого роста, как у него, можно было добится только удачным сочетанием всех факторов сразу. Для сына такое маловероятное совпадение, скорее всего, не случится. Сын, вероятнее всего, будет жить в средних условиях, так что попадет в категорию таких же средних людей, в которой половина имеют хорошую генетику, но плохо жили, а другая половина - "плохую" генетику, но жили хорошо. На краях распределения оказываются те, кто обладает хорошей генетикой, да ему еще и повезло хорошо жить, либо те, кто обладают "плохой" генетикой, и к тому же им еще маловероятно не повезло жить в плохих условиях.

Т.е. сама по себе генетика никуда не регрессирует (возможно, вначале думали, что как раз это происходит), но ее фенотипическое проявление (рост) для данного носителя генов в подавляющем большинсте попадает туда же, куда попадает и рост носителя "плохой" генетики.

Вопрос можно свести к следующему: какова вероятность, что случайно выбранный носитель хорошей генетики будет ростом выше такого же случайно выбранного носителя "плохой" генетики? Оказывается, эта вероятность может быть малой. А вероятность того, что они будут иметь одинаковый рост, будет большой. Если бы это было наоборот, то популяция должна была бы представлять собой совокупность карликов и великанов, т.е. распределение роста было бы бимодальным.

-- 09.01.2022, 12:01 --

mihaild
Похоже, что "потребление товара Гиффена-цена товара" это просто корреляция какя-то (если она вообще существует), а не причина-следствие. Единственное, когда этот эффект выглядит логичным - это когда цена товара и составляет главную ценность для владельца. Скажем, очень дорогие предметы роскоши, статусные вещи, бренды и пр. Ценность таких вещей для владельца не в последнюю очередь в том, что все вокруг знают - они дорогие.

[Евгений Машеров]

Бывают. Но это либо "престижное потребление"

Цитата:

Галстук за штуку баксов? Ну ты и лох! За углом точно такой же за пять тысяч!

либо "замещение" - цена на хлеб выросла, но вместо меньше есть хлеба приходится есть меньше мяса, а хлеба, чтобы наесться, приходится брать больше.
Однако в большинстве случаев "закон спроса и предложения" работает. Впрочем, в данном случае он важен, лишь как иллюстрация.

[sergey zhukov]

Евгений Машеров в сообщении #1545602 писал(а):

либо "замещение" - цена на хлеб выросла, но вместо меньше есть хлеба приходится есть меньше мяса, а хлеба, чтобы наесться, приходится брать больше.

Если цена на хлеб выросла - люди будут покупать больше мяса и меньше хлеба, вот и все. Но если цены вообще на все выросли, и при этом хлеб все равно дешевле всего, то его, конечно, станут покупать больше, чем раньше. Т.е. причина не в том, что хлеб подорожал, а в том, что он все еще самый дешевый на фоне всего остального.

[mihaild]

sergey zhukov в сообщении #1545587 писал(а):

Единственное, когда этот эффект выглядит логичным - это когда цена товара и составляет главную ценность для владельца.

Это эффект Веблена. Товары Гиффена - как раз дешевые повседневные.

sergey zhukov в сообщении #1545604 писал(а):

Цена на хлеб выросла - люди будут покупать больше мяса и меньше хлеба, вот и все.

Нет, если наесться хлебом дешевле, чем мясом, то при подорожании хлеба нам приходится, чтобы наесться, покупать меньше мяса и больше хлеба.

[sergey zhukov]

mihaild
Интересно. Этот эффект основан на том, что люди вообще предпочитают покупать калории (необходимая вещь для жизни) дороже, чем это возможно (т.е. покупать дорогие "вкусные" калории вроде устриц и рябчиков, а не дешевые "просто" калории вроде хлеба). Т.е. "странности" начинаются уже с того, что люди предпочитают покупать дороже то, что можно купить дешевле.

Поэтому, когда они живут хорошо, они покупают в первую очередь "дорогие" калории, а "дешевые" - по остаточному принципу. Если "дешевые" калории стали дороже, то остаточный принцип говорит нам: придется покупать меньше "дорогих" калорий, и больше - "дешевых", т.е. отказаться, по сути, от расточительства.

[Pphantom]

ipgmvq, пожалуйста, оформляйте формулы правильно.

[Markus228]

(Оффтоп)

sergey zhukov в сообщении #1545610 писал(а):

(т.е. покупать дорогие "вкусные" калории вроде устриц и рябчиков, а не дешевые "просто" калории вроде хлеба).

Может потому, что они вкуснее, и деньги позволяют покупать не нищебродскую еду?

[sergey zhukov]

Markus228
Тут спору нет. Просто само утверждение о том, что "чем дороже, тем выше спрос" кажется абсурдным. Причем математически все понятно, просто никогда вроде с таким не сталкиваешься.

Конечно, тут нужно для ясности добавить "люди начинают покупать больше подорожавшего, и меньше - еще более дорогого" (а не просто больше подорожавшего, и все).

[sergey zhukov]

Евгений Машеров
Если вернуться к вопросу о регрессии к среднему. Гальтон, видимо, ожидал вначале, что рост сына примерно равен росту отца, и так на протяжении всех поколений (с учетом роста матери, конечно, т.е. "среднего родителя", как это было у Гальтона). Хотя в популяции и есть люди с разным ростом, но рост передается от отца к сыну по наследству без изменений (или со случайными колебаниями без определенной тенденции).

Вместо этого Гальтон обнаружил, что сыновья обычно ближе к среднему росту, чем их отцы. Отсюда можно было вроде заключить, что экстремальный генетический признак при передаче по наследству "сглаживается", "усредняется". Выдающиеся отцы не могут в полной мере передать свои качества сыновьям по наследству.

Вместо этого Гальтон понял - генетика передается верно. Это просто высокий (низкий) отец имеет на самом деле рост выше (ниже) того, который в среднем определяется его генетикой (по случайной причине в его жизни). Его сын, вероятнее всего, будет иметь тот рост, который в среднем определяется этой же самой генетикой, что и у отца. Но у него, скорее всего, в жизни не будет той случайной причины, которая сделала его отца при той же генетике таким высоким (низким).

[ipgmvq]

sergey zhukov в сообщении #1545587 писал(а):

Это, в общем, о том, как дисперсия случайной каждодневной добавки к цене зависит от цены (прямо зависит).

Если сгенерировать последовательность (допустим) нормальных независимых одинаково распределенных случайных величин с (постоянными) параметрами $\mu$ и $\sigma$, а потом превратить эту последовательность в ряд (своего рода интеграл последовательности), то между членами ряда можно найти всякого рода вычурные зависимости, которые не отменят того факта, что элементы последовательности лежащие в его основе были абсолютно независимыми и одинакого распределенными.
Поиск зависимостей между интегралами/рядами независимых случайных величин является классическим примером того, что по-английски называется spurious relationship или spurious correlation.

-- 09.01.2022, 17:51 --

Евгений Машеров в сообщении #1545576 писал(а):

Причём на рынке реальных товаров (притом не на спекулятивном, паразитирующем на реальном рынке, а именно реальном) работает именно цена, если вдруг цена, скажем, на мясо вырастет, то потребление сократится, а производство и/или импорт вырастет, и цену собьют, то есть имеет место "истинный возврат к среднему".

На самом деле в прошлые десятилетия по свидетельству математика, который по началу специализировался на спекуляциях именно товарными (именно с/x, не топливо) фьючерсами, Джима Саймонса как раз они имели тенденцию к иной аномалии: к тренду (что является своего рода противопожностью регрессии к среднему цены). Поэтому там более-менее с его слов раньше работали momentum-стратегии. С тех пор ни то, ни другое уже не работает настолько, чтобы можно было на этом зарабатывать.
Но вообще по mean reversion весьма много академической литературы в финансовой экономике, в т.ч. государственных научных отчетов США.

[sergey zhukov]

ipgmvq в сообщении #1545641 писал(а):

то между членами ряда можно найти всякого рода вычурные зависимости, которые не отменят того факта, что элементы последовательности лежащие в его основе были абсолютно независимыми и одинаково распределенными.

Да, самый удивительный пример этого для меня был такой. Дан равносторонний треугольник и точка внутри этого треугольника. Следующая точка строится так: случайно выбирается одна из вершин треугольника и следующая точка будет серединой на отрезке "случайно выбранная вершина - предыдущая точка". Вопрос - во что сложатся все эти точки, если и дальше продолжать такое построение?

Неочевидно, что они вообще во что-то должны сложится. Ведь тут сплошная случайность. На самом же деле результат столь удивителен, что я даже сам его проверил. Вот что получается в процессе накопления таких точек:



Фрактальная салфетка Серпинского. Удивительно.