Байесовские оценки, функция правдоподобия,условная плотность

[Sdy]

ShMaxG в сообщении #1588399 писал(а):

Ну, хорошо, тогда в Вашем посте Выше получается нет проблем.

Спасибо.

ShMaxG в сообщении #1588399 писал(а):

функция правдоподобия с детерминированными переменными и параметром $f(x,\theta)$ или $f_{\theta}(x)$, а есть $f(X,\theta)$ или $f_{\theta}(X)$, которая есть функция правдоподобия с подставленными на места $x_i$ случайными величинами $X_i$, она у Боровкова и Черновой тоже называется функцией правдоподобия.

Я правильно понимаю, что какого-то способа различать их нет? Нет каких-то общепринятых названий для обоих случаев и нужно в каждом случае внимательно смотреть что было аргументом?

[ShMaxG]

Sdy в сообщении #1588401 писал(а):

Я правильно понимаю, что какого-то способа различать их нет? Нет каких-то общепринятых названий для обоих случаев и нужно в каждом случае внимательно смотреть что было аргументом?

Надо смотреть, у всех по-разному. Следуя традиции на нашей кафедре, я обозначаю случайные величины большими буквами, а их реализации малыми. У Боровкова А.А. вон прямые и косые буквы. А у автором из интернета может быть все что угодно. Многие не заморачиваются и даже не отличают выборку и ее реализацию, потому что из контекста обычно понятно о чем идет речь. Я много программирую, поэтому привык думать о типах объектов, с которыми имею дело. Если автор не различает то, что различаю я, то это создает у меня напряжение ума. А другому может наоборот важнее простота описания и проще ничего не различать.

[Sdy]

ShMaxG, спасибо за ответ.
Да, про выборку и её реализацию я уже понял, что тут нет сложившейся традиции в обозначениях. Мне нравится случайные величины обозначать греческими буквами, а значения, которые они принимают -- маленькими латинскими, на бумаге так сложнее их спутать, как по мне. Но судя по всему, в статистике и машинном обучении, это не слишком частое обозначение.

Но я тут больше имел ввиду, как различать функцию правдоподобия $f_\theta(\xi) = f_\theta(\xi_1,...,\xi_n)$ и функцию правдоподобия $f_\theta(x) = f_\theta(x_1,...,x_n)$, где $\xi$ это случайный вектор, как я определял выше, а $x$ -- его реализация?
Функцию правдоподобия, как функцию от реализации, я просто первый раз встретил. Вроде как при выводе свойств оценки, полученной методом максимального правдоподобия мы используем именно функцию правдоподобия вида $f_\theta(\xi)$.

[ShMaxG]

Sdy в сообщении #1588413 писал(а):

Но я тут больше имел ввиду, как различать функцию правдоподобия $f_\theta(\xi) = f_\theta(\xi_1,...,\xi_n)$ и функцию правдоподобия $f_\theta(x) = f_\theta(x_1,...,x_n)$, где $\xi$ это случайный вектор, как я определял выше, а $x$ -- его реализация?

Вы сказали, что греческие буквы используете для обозначения случайных величин, а латинские - для реализаций. Тогда читателю становится понятно, что первая функция у вас случайная, а вторая нет. Или Вы что-то другое имеете ввиду?

[Sdy]

ShMaxG в сообщении #1588416 писал(а):

Или Вы что-то другое имеете ввиду?

Да, другое, извините, что запутал.
Попробую так сформулировать. Я знаком с функцией правдоподобия $f_\theta(\xi) = f(\theta, \xi)$ и до этого момента, встречал только её. В том числе, при вывода различных свойств оценки, полученной методом максимального правдоподобия.

В тоже время, Вы говорите, что функцией правдоподобия называется и $f_\theta(x) = f(\theta, x)$. И у меня тут сразу два вопроса возникает:
1. Когда возникает необходимость в таком определении, отличном от того, что даёт Боровков? Как она используется? Не возникает ли противоречий с определением $f_\theta(\xi)$? Если это долго расписывать, то меня удовлетворит ссылку на литературу. То есть мне тут просто интересно, почему существуют два различных объекта, которые носят одно и тоже название.
2. Вопрос, конечно, размытый, но всё-таки интересно, что "обычно" статистик или человек, занимающийся машинным обучением, понимает под функцией правдоподобия? Т.к. вопрос плохо сформулирован то мне интересна и просто субъективная точка зрения.

[ipgmvq]

Даже Рональд Фишер, когда придумал это правдоподобие и метод наибольшего правдоподобия, к 1921 году, не заморачивался этим различием и непринужденно использовал его по необходимости в зависимости от того, хотел ли он оценить свойства для семейства распределений или оценить параметры для конкретной реализованной выборки (observations).
https://royalsocietypublishing.org/doi/ ... .1922.0009

[svv]

Sdy в сообщении #1588413 писал(а):

Мне нравится случайные величины обозначать греческими буквами, а значения, которые они принимают -- маленькими латинскими, на бумаге так сложнее их спутать, как по мне.

Их действительно сложно спутать, но, с другой стороны, между латинскими и греческими буквами нет полного соответствия. Это не мешает читателю понимать, какая греческая буква какой латинской соответствует в Вашем тексте?

[ShMaxG]

Sdy
Ну мне кажется тут все гораздо проще. С помощью функции правдоподобия мы выводим оценки. Мы можем найти $\theta$, максимизирующий $f(x,\theta)$, а затем в полученную функцию $\hat\theta(x)$ подставить $x=X$ и получить случайную величину, оценку. А можем сразу максимизировать $f(X,\theta)$ и получать оценку $\hat\theta(X)$ как случайную величину, минуя одно лишнее действие (подставновку). Не думаю, что есть какое-то содержательное различие...

[Sdy]

ipgmvq, видимо, мог себе позволить.)

Снова оговорюсь, $\xi = (\xi_1,...,\xi_n)$ это у меня выборка из независимых одинаково распределённых случайных величин, а $x = (x_1,...,x_n) \in \chi^n$ это наши реализации выборки.
Уже на $150$ странице Боровков тоже использует для функции правдоподобия вид $f_\theta(x)$. Также он говорит, что при каждом $\theta = t$, $f_t(x)$ это плотность распределения в $\chi^n$. Вроде как мы установили, что это не просто какая-то плотность распределения. Это плотность совместного распределения случайного вектора $\xi$, то есть при каждом $t$, $f_t(x) = \rho_{(\xi_1,...,\xi_n)}(x_1,...,x_n)$.
Пусть, как и у Боровкова, наш параметр $\theta$ имеет плотность распределения $q(t)$.
Тогда, если рассмотреть произведение $f_t(x)q(t)$, то оно у нас получается равно $f(x,t) = f_t(x)q(t) = \rho_{(\xi_1,...,\xi_n)}(x_1,...,x_n)q(t)$.
Но в таком случае $f(x,t)$ это плотность совместного распределения $\xi$ и $\theta$ в том и только том случае, если $\xi$ и $\theta$ независимы.
Меня вообще смущает, что здесь слева от знака равенства стоит $f(x,t)$. Хотел написать $g(x,t)$ но решил сохранить обозначение из книги.
Так вот, что я упускаю? Выделенная жирным эквивалентность должна оказаться ложной. Но пока что не понимаю, почему.

-- 06.04.2023, 03:52 --

ShMaxG, спасибо за ответ.
Понял, постараюсь к этому относиться больше как к формальности, а не как к содержательной вещи.

[ShMaxG]

Sdy в сообщении #1588446 писал(а):

Но в таком случае $f(x,t)$ это плотность совместного распределения $\xi$ и $\theta$ в том и только том случае, если $\xi$ и $\theta$ независимы.

Нет. Если бы они были независимы, то тогда $f_t(x)$ не зависело бы от $t$, а обычно зависит. А именно, если они были независимыми, то должно быть
$\int f(x,t)\,dt = f_t(x)$, но это невозможно, так как мы берем интеграл по $t$ и результат от $t$ зависеть не может.

[Sdy]

svv в сообщении #1588443 писал(а):

Их действительно сложно спутать, но, с другой стороны, между латинскими и греческими буквами нет полного соответствия. Это не мешает читателю понимать, какая греческая буква какой латинской соответствует в Вашем тексте?

(Оффтоп)

Я этот стиль позаимствовал из книг по теории вероятностей. Этого стиля придерживается, например, Альберт Николаевич Ширяев в своих книгах.
$\xi, \eta, \zeta$ это у нас случайные величины. А значения они принимают $x, y, z$. Когда распишешь всякие соотношения в таких терминах несколько сотен раз, очень к таким обозначениям привыкаешь, $x_i$ автоматически к $\xi_i$ прикрепляется, $y_i$ ходит за $\eta_i$, а $z_i$ поспевает за $\zeta_i$. В статистике же и машинном обучении судя по всему, не очень эта традиция распространена.

-- 06.04.2023, 04:04 --

ShMaxG
А как мы можем тогда утверждать, что $f_t(x)q(t)=\rho_{(\xi_1,...,\xi_n)}(x_1,...,x_n)q(t)$ это на самом деле $\rho_{(\xi_1,...,\xi_n, \theta)}(x_1,...,x_n, t)?$
Я ошибаюсь тут :

Sdy в сообщении #1588446 писал(а):

$f_t(x)$ это плотность распределения в $\chi^n$. Вроде как мы установили, что это не просто какая-то плотность распределения. Это плотность совместного распределения случайного вектора $\xi$, то есть при каждом $t$, $f_t(x) = \rho_{(\xi_1,...,\xi_n)}(x_1,...,x_n)$.

?

[ipgmvq]

Sdy в сообщении #1588448 писал(а):

А как мы можем тогда утверждать, что $f_t(x)q(t)=\rho_{(\xi_1,...,\xi_n)}(x_1,...,x_n)q(t)$ это на самом деле $\rho_{(\xi_1,...,\xi_n, \theta)}(x_1,...,x_n, t)?$

Это как раз Байес придумал (в 18-м веке, ещё до того, как Фишер в 1921 году придумал правдоподобие).

-- 05.04.2023, 23:26 --

Sdy в сообщении #1588448 писал(а):

В статистике же и машинном обучении судя по всему, не очень эта традиция распространена.

Александр Александрович в своем учебнике, который Вы цитировали, даже использует термин "генеральная совокупность" и "выборка из совокупности с распределением".
Есть даже фраза "$\textit{X}_n$ есть выборка из распределения P", которую автор правда закавычил.

[ShMaxG]

Sdy в сообщении #1588448 писал(а):

А как мы можем тогда утверждать, что $f_t(x)q(t)=\rho_{(\xi_1,...,\xi_n)}(x_1,...,x_n)q(t)$ это на самом деле $\rho_{(\xi_1,...,\xi_n, \theta)}(x_1,...,x_n, t)?$

Это неотрицательная функция, определенная на множестве значений пары $(x,t)$, и интеграл которой по пространству значений пары $(x,t)$ равен единице. Следовательно, эта функция может играть роль функции плотности распределения $(X,\theta)$. Введение в расмотрение именно такого распределения и лежит в основе байесовского подхода.

[Sdy]

ShMaxG, но тогда нужно же ещё установить, что $F_{\xi, \theta}(s,u)$ (совместная функция распределения) равна интегралу в соответствующих пределах от $f(x,t)$. Ведь насколько я знаю, только лишь неотрицательности и равенства единице интеграла нам не хватает, чтобы какие-то новые распределение задавать. Спасибо, завтра попробую это вывести.

Если это получится, то мы получим, что у нас совместная плотность равна произведению маргинальной плотности $q(t)$ и этой самой функции $f(x,t)$. Но тогда просто по определению условной плотности, поделив равенство на $q(t)$ мы и получим, что $f(x,t)$ это просто условная плотность $\rho_{\xi|\theta}(x|t)$. Верно?


И ещё хотел спросить, мы функцию правдоподобия обозначали и как $f_\theta(x)$ и как $f(\theta, x)$. Я же верно понимаю, что вот здесь у Боровкова слева от знака равенства имеется ввиду не функция правдоподобия, а просто некоторая функция, которую можно было бы обозначить и $g(x,t)$ и говорить про неё всё тоже, что я выше сказал про $f(x,t)?$

Sdy в сообщении #1588446 писал(а):

Тогда, если рассмотреть произведение $f_t(x)q(t)$, то оно у нас получается равно $f(x,t) = f_t(x)q(t) = \rho_{(\xi_1,...,\xi_n)}(x_1,...,x_n)q(t)$.

[ipgmvq]

Sdy в сообщении #1588455 писал(а):

мы функцию правдоподобия обозначали и как $f_\theta(x)$ и как $f(\theta, x)$.

Обычно $f$ обозначает плотность вероятности, которая является функцией от x (потому что параметры для нее это данность).
Функцию правдоподобия лучше обозначать заглавной буквой L. И прописывать ей единственным аргументом $\theta$ (потому что значения в выборке для неё в практической статистике это данность).
Когда мы используем $f$ и для плотности вероятности и для функции правдоподобия есть шанс породить большую путаницу.