Многомерная дискретная плотность вероятностей

[Андрей1]

Посоветуйте литературу (которую можно найти в библиотеках или купить) по задачам аппроксимации многомерной дискретной плотности вероятностей или методам оценки асимпотической плотности для сумм двумерных случайных величин (с возможностью разложения по N, если членов в сумме конечно и не слишком много).

Интересует задача оценки двумерной дискретной плотности $P\{a, b\}, a=0,1,2,...; b=0,1,2,...$
Известно, что a и b нельзя считать независимыми, но зависимость эта слабая.

Есть ли для нарастающих двумерных сумм (двумерной) случайной величины (типа $(p_1,q_1) + (p_2,q_2)+...=(P, Q)$), описывающей редкое событие, какие-нибудь предельные (асимпотические) универсальные плотности (возможно, в зависимости от типа связи между p и q)?

[Андрей1]

Жаль, что никто ничего не смог пока подсказать...

Хочется вообще понять, насколько развита теория в этом направлении и стоит ли надеяться, что где-то уже ответили на основные вопросы, которые возникают всвязи с этой задачей...

Например, есть такой вопрос, если связь между дискретными переменными слабая, то можно ли плотность $P\{i,j\}$ аппоксимировать независимой плотностью $P\{i,j\}=P_1\{i\}P_2\{j\}$ (такая аппроксимация имеет явное преимущество - частотные оценки для $P_1\{i\}$ и $P_2\{i\}$ будут более точными на тех же данных, потому что каждая переменная может принимать намного меньше значений, чем двумерная переменная).
А если и нельзя - то возникает идея все равно представить независимую плотность как разложение в ряд от зависимых. И теория копулы http://ru.wikipedia.org/wiki/%D0%9A%D0% ... 0%BB%D0%B0 тут явно должна как-то помочь (вопрос только - как ).

[PAV]

За ссылку - спасибо, очень интересный объект, не знал про такой.

Я рекомендую не употреблять в данном контексте термин "дискретная плотность", потому что он не является употребительным и сбивает с толку. Речь идет просто о многомерном дискретном распределении.

По сути дела ничего, к сожалению, особо содержательного сказать не могу.

-- Чт дек 03, 2009 10:06:52 --

(Оффтоп)

В энциклопедическом словаре по теории вероятностей статьи про "копулу" нет.

[Андрей1]

PAV в сообщении #267658 писал(а):

Я рекомендую не употреблять в данном контексте термин "дискретная плотность", потому что он не является употребительным и сбивает с толку. Речь идет просто о многомерном дискретном распределении.

Да, Вы не первый, кто критикует меня за это .
Ну я, честно говоря, не понимаю, почему нельзя называть ее плотностью. Дискретный случай можно понимать, как частный случай непрерывного (нужно только дельта функцию использовать). А там - как известно - плотность.

[PAV]

Просто терминологически не принято, поэтому сбивает с толку.

[Андрей1]

Да, посмотрел литературу, народ действительно разделяет "density estimation" и "estimation of probabilities in
categorical data". Надо будет мне подправить...

[Pavia]

Андрей1 в сообщении #267522 писал(а):

Жаль, что никто ничего не смог пока подсказать...

Хочется вообще понять, насколько развита теория в этом направлении и стоит ли надеяться, что где-то уже ответили на основные вопросы, которые возникают всвязи с этой задачей...

Например, есть такой вопрос, если связь между дискретными переменными слабая, то можно ли плотность $P\{i,j\}$ аппоксимировать независимой плотностью $P\{i,j\}=P_1\{i\}P_2\{j\}$ (такая аппроксимация имеет явное преимущество - частотные оценки для $P_1\{i\}$ и $P_2\{i\}$ будут более точными на тех же данных, потому что каждая переменная может принимать намного меньше значений, чем двумерная переменная).
А если и нельзя - то возникает идея все равно представить независимую плотность как разложение в ряд от зависимых. И теория копулы http://ru.wikipedia.org/wiki/%D0%9A%D0% ... 0%BB%D0%B0 тут явно должна как-то помочь (вопрос только - как ).

$P\{i,j\}=P_1\{i\}P_2\{j\}$ Если это выполнимо то $P_1\{i\},P_2\{j\}$ называются мажоритарными. Я тебе даже более скажу при сильной связи в определенных случаях можно ввести преобразование которое позволит разделить переменные. Хотя бы тот-же PCA применить или. Но про критерии я не слышал. Хотя вру вроде что-то попадалось. Правда с поиском не заморачивался сильно, тоже хотел базовые вещи найти. Если что найдешь дай знать.

Цитата:

(будут более точными на тех же данных, потому что каждая переменная может принимать намного меньше значений, чем двумерная переменная).

Палка о двух конах мы можем внести большую ошибку если они связанны не таким образом.

Похоже в математике полно черных дыр.

[Андрей1]

Pavia в сообщении #268859 писал(а):

Цитата:

(будут более точными на тех же данных, потому что каждая переменная может принимать намного меньше значений, чем двумерная переменная).

Палка о двух конах мы можем внести большую ошибку если они связанны не таким образом.

В моем случае зависимость слабая и независимая оценка (пока) побеждает.

-- Вт дек 08, 2009 17:17:20 --

Pavia в сообщении #268859 писал(а):

Похоже в математике полно черных дыр.

Ага.
Задачу можно еще уточнить. Можно вспомнить, что каждый исход $(i,j)=(a_1,b_1)+(a_2,b_2)+...(a_t,b_t)+...+(a_N,b_N)$ (нарастающая сумма), где случайные величины $a_t и b_t$ могут принимать только два значения 0 или 1.
Эту информацию тоже можно как-то использовать, поскольку каждая частичнична сумма - тоже дает какую-то информацию (но только не очевидно как).

[Андрей1]

Pavia в сообщении #268859 писал(а):

Похоже в математике полно черных дыр.

И еще пару "черных пятен":
1) допустим известно некоторое свойство неизвестного дискретного распределения (допустим известны значения сумм вероятностей некоторых исходов).
Вопрос, как в таком случае оценивать неизвестное распределение (в зависимости от того, являются ли известные суммы случайными или неслучайными величинами)?
2) допустим, имеется несколько выборок и известно, что некоторая характеристика в одной выборки (например, среднее значение) строго больше/меньше, чем в другой выборке. Вопрос, как в таком случае оценивать неизвестные распределения.

[PAV]

Не совсем четкая постановка (конкретнее было бы яснее), но в принципе разумный общий подход такой: рассматривается функция правдоподобия, описывающая все, что мы наблюдаем. В нее подставляются результаты наблюдений и полученное выражение максимизируется по всем параметрам распределения. Если про распределение априори известны какие-то соотношения, то они участвуют в этой задаче в виде ограничений.

[Андрей1]

PAV в сообщении #269596 писал(а):

... в принципе разумный общий подход такой: рассматривается функция правдоподобия, описывающая все, что мы наблюдаем...

Понятно. Но для этого (1) данные должны быть из одной выборки, (2) они должны быть независимы и (3) значения связей должны быть статистически независимы от данных.

[PAV]

(1) и (3) непонятны. Можете примеры привести?

Что же касается (2), то тоже необязательно. Никто не запрещает рассмотреть какую-нибудь модель зависимых данных, просто тогда параметров может быть значительно больше. Однако тоже пример какой-нибудь был бы нелишним для конкретики.

[Андрей1]

PAV в сообщении #269596 писал(а):

Не совсем четкая постановка (конкретнее было бы яснее)...

1) Допустим известно, что заданных $Q_1, Q_2, T \in Z, V$ : $\sum_{i>j}{P\{i,j\}}=Q_1$, $\sum_{i<j}{P\{i,j\}}=Q_2$, $\sum_{i+j \le T}{P\{i,j\}}=V$.
Текущий лучший подход таков (он пока побеждает): сначала, используя независимую оценку, строим оценку $P'\{i,j\}$ распределения, затем методом $\chi^2$, считая все $P''\{i,j\}$ как независимые параметры, и рассматривая значения $P'\{i,j\}$ как частотные оценки, находим значения $P''\{i,j\}$, которые удовлетвоят связям (и минимизируют $\chi^2$).
2) Допустим известно, что для двух выборок 1 и 2: матожидание значений $M_1(i)>M_2(i)$ и $M_1(j)<M_2(j)$ (то есть, при бесконечном росте числа элементов выборок, среднее от первой дискретной величены (в рассматриваемом двумерном дискретном случае) больше среднего у второй выборки, а среднее от второй дискретной величены меньше среднего у второй выборки).
Задача - произвести оценку распределений, учитывая это условие.
Да, правдопобие тут должно помочь, правда, в книжке "Constrained Statistical Inference: Order, Inequality, and Shape Constraints" http://eu.wiley.com/WileyCDA/WileyTitle ... 08272.html обходятся как-то без этого .

-- Чт дек 10, 2009 13:37:51 --

PAV в сообщении #269819 писал(а):

(1) и (3) непонятны. Можете примеры привести?

Попробую:
(1). Можно рассмотреть результаты бросания большого числа асиметричных костей. Понятно, что для этих данных нет смысла искать параметры распределения, поскольку данные не основаны на каком-то одном распределении.
(3) Связь может быть случайной величеной. Понятно, что если эта величена появится в правдоподобии, то крайне желательно, чтобы она была статистически независимой от всего остального, что войдет в правдоподобие .

-- Чт дек 10, 2009 13:42:18 --

PAV в сообщении #269819 писал(а):

Что же касается (2), то тоже необязательно. Никто не запрещает рассмотреть какую-нибудь модель зависимых данных, просто тогда параметров может быть значительно больше. Однако тоже пример какой-нибудь был бы нелишним для конкретики.

Честно говоря, я не помню почти ни одной теоремы для зависимых данных (кроме метода $\chi^2$ для статистически слабо зависимых данных, где эту зависимость пытаются учесть корреляциями).