Переход от случайного события к случайной величине

[Andrey Soloduhin]

Нашел определение:
М. Лоэв Теория вероятностей (глава 2)
"...линейные комбинации индикаторов (0 или 1) некоторого конечного разбиения называется простыми случайными величинами..."
"элементарная случайная величина есть линейная комбинация счетного числа индикаторов не совместных событий"
вообще пытаюсь разобраться сейчас со 2 главой - много интересного.

Моя цель:
Есть множество дискретных исходов случайной величины, необходимо построить распределение случайной величины при малой выборке.
Ни одна вероятность исхода не должна быть равна нулю.

Один вариант аппроксимация нормальным распределением - этот вариант не учитывает сложные "ненормальные" распределения - этот вариант используется в PCA (и еще очень много где).

Меня интересует другой вариант - вычисление распределения "сходу".
Напрашивается замена мат. модели случайной величины (СВ) как:
СВ есть число благоприятных исходов некоторого события из множества всех исходов (по сути классическое определение вероятности). Прежде чем сразу отбросить данную модель необходимо задуматься на тем что же такое физически СВ? Как мы вычисляем СВ?

Распределением СВ могло бы быть распределением вероятностей чисел повторений некотрого события (тут может помочь формула Бернулли). Не могу перейти на формальные рельсы.
Непонятно как учитывать несколько результатов опытов в имеющейся выборке.
Останется вопрос о степени дискретизации СВ.

Добавлено спустя 2 часа 52 минуты 10 секунд:

Можно так:
СВ это число повторений (m из n) некоторого события вероятность (p) которого:
1. остается постоянной при измерении (схема Бернулли)
2. меняется от опыта к опыту

[Andrey Soloduhin]

3. p может иногда от опыта к опыту оставаться постоянной (если бы всегда то это было бы биномиальные распределение)

[GAA]

Чтобы избежать полной путаницы очень важно различать: дискретную случайную величину и статистическую оценку распределения вероятностей этой случайной величины.

1. Пусть $\Omega$ — счетное множество элементарных исходов. Грубо говоря, дискретной случайной величиной $\xi$, заданной на $\Omega$, является функция $\Omega \to \mathbb R$.
Пример 1. Пусть $\Omega = \{\omega_1, \omega_2,..., \omega_6 \}$ — множество граней кубика, $\text{P}(\omega_i) = 1/6$ (вероятности выпадения граней равны). Задать случайную величину можно так:
(i) $\xi(\omega_i) = i$, $i=1,...,6$ (грани ставится в соответствие её номер, $\text{P}\{\xi = i\} = 1/6$),
а можно задать и так:
(ii)$\xi(\omega_i) = 0$, $i=1,...,6$ (постоянная случайная величина, $\text{P}\{\xi = 0\} = 1$)
или так
(iii)$\xi(\omega_1) = \xi(\omega_3) = \xi(\omega_5) = 0$, $\xi(\omega_2) = \xi(\omega_4) = \xi(\omega_6) = 1$ (на гранях с четными номерами принимает значение 1, а н а гранях с нечетными — значение 0, $\text{P}\{\xi = 0\} = 1/2$).
Если $\Omega$ несчетно, то определение (даже дискретной) случайной величины требует аккуратности (см. определение случайной величины в курсах ТВ, например, Н.И. Черновой).

2. Пусть получена выборка, в которой случайная величина $\xi$ приняла свои значения $\xi_1, \xi_2, ..., \xi_m$, $n_1, n_2, ..., n_m$ раз. Тогда, если о случайной величине больше ничего не известно, в качестве оценки распределения естественно положить $p^{*}_i = n_i/N$, где $N=\sum n_i$.
Пример 2. Рассмотрим случайную величину из пункта (iii) предыдущего примера, но отбросим предположение о том, что вероятности граней равны. Выполнив подбрасывание кубика N раз, обнаружим: случайная величина приняла значение 0, $n_1$ раз, а значение 1 — $n_2$. В качестве оценки распределения вероятностей можно положить: $p^*_1=n_1/N, p^*_2 = n_2/N$.
Это базовые сведения из математической статистики.

[Andrey Soloduhin]

GAA писал(а):

Чтобы избежать полной путаницы очень важно различать: дискретную случайную величину и статистическую оценку распределения вероятностей этой случайной величины.

1. Пусть $\Omega$ — счетное множество элементарных исходов. Грубо говоря, дискретной случайной величиной $\xi$, заданной на $\Omega$, является функция $\Omega \to \mathbb R$.
Пример 1. Пусть $\Omega = \{\omega_1, \omega_2,..., \omega_6 \}$ — множество граней кубика, $\text{P}(\omega_i) = 1/6$ (вероятности выпадения граней равны). Задать случайную величину можно так:
(i) $\xi(\omega_i) = i$, $i=1,...,6$ (грани ставится в соответствие её номер, $\text{P}\{\xi = i\} = 1/6$),
а можно задать и так:
(ii)$\xi(\omega_i) = 0$, $i=1,...,6$ (постоянная случайная величина, $\text{P}\{\xi = 0\} = 1$)
или так
(iii)$\xi(\omega_1) = \xi(\omega_3) = \xi(\omega_5) = 0$, $\xi(\omega_2) = \xi(\omega_4) = \xi(\omega_6) = 1$ (на гранях с четными номерами принимает значение 1, а н а гранях с нечетными — значение 0, $\text{P}\{\xi = 0\} = 1/2$).
Если $\Omega$ несчетно, то определение (даже дискретной) случайной величины требует аккуратности (см. определение случайной величины в курсах ТВ, например, Н.И. Черновой).

В целом согласен, но можно отметить что пример с кубиком не случайная величина а множество несовместных исходов.

GAA писал(а):

2. Пусть получена выборка, в которой случайная величина $\xi$ приняла свои значения $\xi_1, \xi_2, ..., \xi_m$, $n_1, n_2, ..., n_m$ раз. Тогда, если о случайной величине больше ничего не известно, в качестве оценки распределения естественно положить $p^{*}_i = n_i/N$, где $N=\sum n_i$.
Пример 2. Рассмотрим случайную величину из пункта (iii) предыдущего примера, но отбросим предположение о том, что вероятности граней равны. Выполнив подбрасывание кубика N раз, обнаружим: случайная величина приняла значение 0, $n_1$ раз, а значение 1 — $n_2$. В качестве оценки распределения вероятностей можно положить: $p^*_1=n_1/N, p^*_2 = n_2/N$.
Это базовые сведения из математической статистики.

Таже ошибка - вы рассматриваете не СВ а множество несовместных исходов. А вообще понятно. Получаем статистические оценки вероятностей исходов СВ при условии что $N$ стремится к бесконечности - что очевидно неосуществимо на практике (это просто философское замечание).
Рассмотрим малую выборку в которой указанные выше оценки вероятностей исходов могут быть равны 0 - это очевидно неверно.
Я уже говорил что эту проблему обычно решают апроксимацией некоторым стандартным распределением я ищу вариант получения сразу теоретически обоснованного распределения (для малой выборки).

[GAA]

В предыдущем сообщении Andrey Soloduhin писал(а):

В целом согласен, но можно отметить что пример с кубиком не случайная величина а множество несовместных исходов.

Укажите, пожалуйста, на примере 1(i), в чем я ошибаюсь — почему так определенную функцию $\xi(\omega)$ нельзя считать случайной величиной? В примере 1 (как обычно принято для конечных множеств элементарных исходов, если не указано другое) в качестве алгебры событий (класса $\mathcal{A}$) рассматривается множество всех подмножеств $\Omega$.

В предыдущем сообщении Andrey Soloduhin писал(а):

Получаем статистические оценки вероятностей исходов СВ при условии что $N$ стремится к бесконечности - что очевидно неосуществимо на практике (это просто философское замечание)

Нет. Получаем (по определению!) оценку распределения вероятностей (даже) при конечном объеме выборки, а не только при $N \to \infty$ (это момент сугубо терминологический).

В предыдущем сообщении Andrey Soloduhin писал(а):

Рассмотрим малую выборку в которой указанные выше оценки вероятностей исходов могут быть равны 0 - это очевидно неверно.

Не понял. Если вы о том, что значение оценки $p^*_i$ может равняться нулю, при не нулевом значении $p_i$, то да — это может иметь место. Для построения лучших оценок необходима дополнительная информация. Например, нам может быть известно семейство распределений, которому принадлежит распределение искомой случайной величины (жаргонное выражение — распределение случайной величины известно «с точностью до параметра»).

В предыдущем сообщении Andrey Soloduhin писал(а):

Я ищу вариант получения сразу теоретически обоснованного распределения (для малой выборки)

Не понял. Очевидно, для разных случайных величин распределения будут различными, и ни о каком годном на все случаи жизни распределении идти речи не может. Возможно, Вам будет интересна [1].

Refs.
[1] Вапник В. Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979. Книга свободно доступна в электронном виде на сайте Теория вероятностей, математическая статистика и их приложения.

[Andrey Soloduhin]

GAA писал(а):

Укажите, пожалуйста, на примере 1(i), в чем я ошибаюсь — почему так определенную функцию $\xi(\omega)$ нельзя считать случайной величиной?

Если мы грани будем обозначать не цифрами 1..6 а буквами a..f то ваш пример останется корректным. В вашем примере цифры играют роль только идентификаторов а не величин.

GAA писал(а):

Нет. Получаем (по определению!) оценку распределения вероятностей даже при конечном объеме выборки, а не только при $N \to \infty$.

Я хотел сказать что эта оценка очень грубая и может давать неверные значения при малой выборке. Если допустить что эта оценка дает неверные значения в какомто случае ($p^*_i=0$ в то время как $p_i<>0$) для конечной выборки то из этого следует что в общем эта оценка неверная для случая конечной выборки.

GAA писал(а):

Например, нам может быть известно семейство распределений, которому принадлежит распределение искомой случайной величины (жаргонное выражение — распределение случайной величины известно «с точностью до параметра»).

Мне известны современные подходы к решению этой проблемы.
Я называю этот метод - апроксимацией к выбранному распределению.

GAA писал(а):

Для построения лучших оценок необходима дополнительная информация.

В этой теме я хочу поднять вопрос а нужна ли дополнительная информация?
Можно ли изменить модель расчета распределения СВ так чтобы не получалось этих нулевых вероятностей?
Я знаю что в книгах пишут что так делать нельзя, но на то и дискуссионная тема.

GAA писал(а):

Очевидно, для разных случайных величин распределения будут различными, и ни о каком годном на все случаи жизни распределении идти речи не может.

Я просто делаю смелое предположение, предлагаю дискуссию.
Я не предлагаю придумывать новый тип распределения (который как все стандартные характеризуется малым количеством параметров) я предлагаю поискать способ вычисления оценок вероятностей эмпирического распределения (примерно как предлагали вы для кубика) так чтобы не было нулевых вероятностей.
Как я уже говорил скорее всего тут нужно будет обязательно менять модель случайной величины.

GAA писал(а):

Возможно, Вам будет интересна [1].

Очень хорошая книга. На заметил ее. Спасибо.

[GAA]

Andrey Soloduhin писал(а):

GAA писал(а):

Укажите, пожалуйста, на примере 1(i), в чем я ошибаюсь — почему так определенную функцию $\xi(\omega)$ нельзя считать случайной величиной?

Если мы грани будем обозначать не цифрами 1..6 а буквами a..f то ваш пример останется корректным. В вашем примере цифры играют роль только идентификаторов а не величин.

Конечно, чем обозначать грани — цифрами или буквами — не имеет значения. Но из этого не следует, что приведенный мною пример 1(i) неверный!
Модифицируем пример. Пусть грани обозначены буквами a, b, c, d, e, f. Зададим случайную величину следующим образом: $\xi(\omega_a)= 1$, $\xi(\omega_b)=2$, $\xi(\omega_c)=3$, $\xi(\omega_d)=4$, $\xi(\omega_e)=5$, $\xi(\omega_f)=6$. Главное не то, чем мы обозначаем грани, а то, что каждому элементу $\Omega$ ставится в соответствие действительное число. При этом изначально, я обозначал грани числами исключительно ради удобства (простоты) задания случайной величины.
Подробности. В данном примере случайная величина задается на 1) несовместных событиях $A_i=\omega_i$, которые образуют конечное разбиение достоверного события, 2) каждому $A_i$ ставится в соответствие вероятность $p_i = \text{P}A_i$. В терминах [2, с.17] — это простое поле вероятностей. В терминах индикаторов [2, c.18] нашу случайную величину можно задать так $\xi = \sum\limits_{i=1}^6{\xi_iI_{\omega_i}}$, где $\xi_i = i$. (В обозначениях [2]: $X=\sum\limits_{j=1}^6{x_jI_{A_j}}$, где $x_j = j$).

Refs.
[2] Лоэв М. Теория вероятностей. — М., 1962.

[Someone]

Andrey Soloduhin в сообщении #138468 писал(а):

Если мы грани будем обозначать не цифрами 1..6 а буквами a..f то ваш пример останется корректным. В вашем примере цифры играют роль только идентификаторов а не величин.

А Вы не могли бы привести определение случайной величины? Потому что с моей точки зрения это вполне законная случайная величина. Но вдруг у Вас другое определение?

[Andrey Soloduhin]

GAA писал(а):

...

В вашем примере просто неудачно выбрана модель кубика. Сказали бы вы что возьмем например температуру имеющую значения {1,2,3,4,5,6} мне было бы нечего против сказать.

Добавлено спустя 5 минут 22 секунды:

Someone писал(а):

Потому что с моей точки зрения это вполне законная случайная величина.

С определением я согласен. Я говорил про пример.

[GAA]

Пример, в котором случайная величина задается на множестве $\Omega$, состоящем из элементов «выпала такая-то грань» кубика — является каноническим. Следующим примером, традиционно, идет пример в котором $\Omega$, составлено из пары граней, выпавших на двух кубиках. Пример я привел для того, чтобы не давать ссылки: например, обновит Н.И. Чернова конспект лекций, и ссылка будет указывать совсем в неподходящее место (и случаи такие были). Пример связанный с кубиками столь популярен, поскольку он апеллирует к обыденному опыту.

Andrey Soloduhin писал(а):

Сказали бы вы что возьмем например температуру имеющую значения {1,2,3,4,5,6} мне было бы нечего против сказать.

Если Вы не хотите, либо не можете пояснить, почему мой пример ошибочен, то приведите подробно свой пример с температурой. Только, пожалуйста, подробно! Пусть пример будет искусственным (не физическим), но математически полным.

[Andrey Soloduhin]

GAA писал(а):

Если Вы не хотите, либо не можете пояснить, почему мой пример ошибочен, то приведите подробно свой пример с температурой. Только, пожалуйста, подробно! Пусть пример будет искусственным (не физическим), но математически полным.

Весь ваш первый пост только кубик заменить на температуру.
Но я бы хотел бы не про это поговорить.

Здесь уже приводились ссылки на определение СВ на книгу Лоэв М. Теория вероятностей.
Я хочу попробывать найти другое определение где не будет участвовать понятия "линейная комбинация" и "индикатор события" - мне они кажутся сложными.
И отсюда вообще имеющееся на данный момент определение СВ мне интуитивно кажется не верным.

Хотелось бы чтобы в определении СВ участвовало понятие "число повторений события" - оно достаточно простое.

[MaximKat]

СВ - это измеримая функция $\xi:\Omega\to\mathbb{R}$
Так проще?

[GAA]

Andrey Soloduhin писал(а):

GAA писал(а):

Если Вы не хотите, либо не можете пояснить, почему мой пример ошибочен, то приведите подробно свой пример с температурой. Только, пожалуйста, подробно! Пусть пример будет искусственным (не физическим), но математически полным.

Весь ваш первый пост только кубик заменить на температуру.

Зачем всё моё первое сообщение? Модифицируйте пример 1(i)!

Все определения случайной величины, приводимые в книгах, основанных на аксиоматике Колмогорова или эквивалентной аксиоматике, будут тождественны с точность до стилистических деталей. Чтобы не погрязнуть в математических сложностях, будем рассматривать конечные множества $\Omega$ (по сравнению с общим случаем тут различия в определении СВ более чем стилистические, но связано это не с существом вопроса, а с желанием вначале дать определение без осложняющих деталей, не относящихся к делу, в случае конечного $\Omega$).

Процитирую определение СВ для этого частного случая, приводимое в [3, c.43] и пример, непосредственно следующий за ним:
«Всякая числовая функция $\xi=xi(\omega)$, определенная на (конечном) пространстве элементарных событий $\Omega$ будет называться (простой) случайной величиной. (Происхождение термина «простая» случайная величина станет понятным после введения общего понятия случайной величины в § 4 гл. II).
Пример 1. В модели двукратного подбрасывания монеты с пространством исходов $\Omega$={ГГ, ГР, РГ, РР} определим случайную величину $\xi=\xi(\omega)$ с помощи таблицы: $\xi$(ГГ)=2, $\xi$(ГP)=1, $\xi$(РГ)=1, $\xi$(РР)=0. Здесь $\xi(\omega)$ по своему смыслу есть не что иное, как число «гербов», отвечающих исходу $\omega$.»

Refs
[3] Ширяев А.Н. Вероятность. — М.: Наука, 1980.

[Andrey Soloduhin]

MaximKat писал(а):

СВ - это измеримая функция $\xi:\Omega\to\mathbb{R}$
Так проще?

Кто его знает.

Функция это уже достаточно сложное понятие - всетаки соответствие ведь.
Измеримость как можно выразить через множественные понятия?

Что это может дать при эмпирическом вычислении оценок вероятностей распределения СВ ?

Добавлено спустя 11 минут 58 секунд:

GAA писал(а):

...

Я не против.
Но мне сейчас важно найти какие нибуть формализмы относительно темы дискуссии.
Эта проблема тормозит мое исследование.

[GAA]

Andrey Soloduhin писал(а):

Измеримость как можно выразить через множественные понятия?

Определение измеримости функции (пространства, множества) дается в [2] (см. указатель в конце книги для поиска страниц), в [3], и лекциях (за 2005 год) Черновой Н.И. по ТВ в гл. 6. «Случайные величины и их распределения». Там же [в лекциях Н.И.] приводится пример неизмеримых функций заданных на конечном $\Omega$. Так, что, конечно, с формальной точки зрения, даже для функций, заданных на конечном $\Omega$, измеримость оговаривать надо. (Это я поясняю свои слова из предыдущего сообщения: «по сравнению с общим случаем тут различия в определении СВ более чем стилистические...»)

Andrey Soloduhin писал(а):

Что это может...?

Ничего.

Может быть последующие цитаты помогут Вам в освоении измеримости.

Открывая тему на форуме ТВ НГУ Исследователь писал(а):

Сигма-алгебры и пр. в ТВ ввели для того, чтобы бороться с неизмеримыми множествами. Однако в классическом курсе матана неизмеримое множество строится, используя аксиому выбора, к принятию которой довольно вопросов. Более того, Соловай (Solovay) построил модель математического анализа без использования аксиомы выбора, и в этой модели все множества измеримы (нет ни одного неизмеримого множества!). Таким образом, существование неизмеримых множеств зависит исключительно от некоторой договорённости между математиками, принявших не ZF, а аж ZFC. Аксиома выбора же очень неконструктивна и, например, то же построенное неизмеримое множество весьма необозримо, ничего особого о его строении сказать нельзя: мы "знаем" только, что оно "существует". Опять же, благодаря аксиоме выбора, появляется парадокс Банаха-Тарского с неизмеримыми множествами. Может быть, без этой аксиомы будет проще?

На что Н.И.Чернова писал(а):

Сигма-алгебры и пр. в ТВ ввели для того, чтобы бороться с неизмеримыми множествами
Это лишь одна сторона медали. Я не знакома с тем, что сделал Solovay, но если мы хотим работать с мерой на прямой, совпадающей с длиной на интервалах, и к тому же сигма-аддитивной, то либо придется задавать ее не на всех подмножествах R, либо отказываться от иных следствий аксиомы выбора. Но это все ерунда. Хотите пример неизмеримой функции, куда как чаще возникающий в ТВ, чем "индикатор множества Витали" или "индикатор суслинского множества"?

Омега={@, #, %}; F={Омега, пустое, {@}, {#, %}} - сигма-алгебра. Вер. мера P задана так: P(@)=1/3, P(#, %) = 2/3.
Функция
f(w)=1, если w=@,
f(w)=2, если w=#,
f(w)=3, если w=%
измеримой относительно F не является. Случайной величиной - тоже. Никаких аксиом выбора при этом не потребовалось. Может возникнуть вопрос: зачем такая экзотика, почему не взять сразу в качестве сигма-алгебры F'=2^{Омега}, присвоив вер. меру каждому элементу Омега в отдельности, и тем самым не сделать все функции измеримыми? Чуть позже я отвечу на этот вопрос.
============================================
Сигма-алгебры и измеримость функций относительно заданной сигма-алгебры в теории вероятностей возникли не только и не столько для борьбы с неизмеримыми по Лебегу множествами и не в связи с геометрической вероятностью.

В теории вероятностей весьма часто приходится оперировать со свойствами сигма-алгебр, порожденных какими-то случайными величинами (с.в.), а также с измеримостью одних с.в. относительно сигма-алгебр, порожденных другими с.в. Где именно?
1) Независимость: две с.в. независимы если и только если независимы порожденные ими сигма-алгебры (два набора м-в независимы, если любые два м-ва - по одному из каждого набора - независимы как события). То же для независимости в совокупности.
2) Функциональная зависимость: с.в. \xi измерима относительно сигма-алгебры, порожденной с.в. \eta тогда и т.т., когда существует борелевская функция g такая, что \xi=g(\eta). Для дискретных с.в. можно эту измеримость пояснить так: разбиение Омега на части, на которых \xi=const, оказывается крупнее, чем такое же разбиение на множества \eta=const.

Несть числа местам, где используются эти два свойства, особенно второе. Самое важное - это вещи, связанные с условными матожиданиями (когда, грубо говоря, одна с.в. \xi из L_2 проецируется - самым здоровым гильбертовым способом - на пространство случайных величин, измеримых относительно сигма-алгебры, порожденной другой с.в. \eta из L_2). Результат такой операции проектирования - с.в. \xi*, измеримая относительно \eta, т.е. функция от \eta со свойствами ортопроекции. Этот аппарат применяется и в мартингалах (которые используют всюду - от финансового анализа до гауссовских случайных процессов), и в задачах регрессии, и в мат.статистике - при построении эффективных оценок, и т.п.
Резюмируя: можно было бы даже примириться с тем, что случайной величиной называется любая функция из Омега в R. Как бы мы с этим жили, трудно сказать, но живут нематематики как-то . И не знать ничего ни про какие м-ва Витали и парадоксы Банаха - Тарского. Но любые попытки описать взаимоотношения между двумя с.в. на одном вероятностном пространстве так или иначе (при пристальном взгляде математика) приведут к вопросам измеримости одной с.в. относительно сигма-алгебры, порожденной другой или другими с.в., или к независимости этих порожденных сигма-алгебр, или к их зависимости, но не вложенности.
===================================
Вот теперь к примеру выше.
Пусть на Омега={@, #, %} с сигма-алгеброй F'=2^{Омега} и мерой P{w}=1/3 для всех w мы задали с.в. \eta(w)=1 при w=@ и \eta(w)=2 при прочих w.
Сигма-алгебра, порожденная \eta, есть как раз F={пусто, Омега, {@}, {#, %}}. С.в. \xi(w), которую мы выше построили (теперь это с.в. - измеримая относительно F') будет неизмерима относительно F. Толку в таком простом примере из этого извлечь не удастся, но легко понять, что измеримость и неизмеримость с аксиомой выбора не слишком связаны