2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3  След.
 
 Re: Статистическая задача
Сообщение24.10.2015, 20:53 
Заслуженный участник


05/08/14
1564
B@R5uk в сообщении #1065845 писал(а):
Переключения происходят независимо друг от друга с некоторой постоянной средней частотой.

Непонятно, что ТС имеет ввиду под "независимо друг от друга с некоторой постоянной средней частотой". Если имеется ввиду то, что переключения есть Марковская цепь, то проблема в самом деле немного сложнее.
В этом случае надо для каждого наблюдения считать вероятность нахождения в каждом из состояний, используя формулу Байеса. Тогда вероятность следующего значения случайного процесса находится с учётом этих вероятностей состояний. Правдоподобие будет произведением этих вероятностей.

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение24.10.2015, 21:05 
Аватара пользователя


26/05/12
1534
приходит весна?
dsge в сообщении #1066274 писал(а):
B@R5uk в сообщении #1065845 писал(а):
Переключения происходят независимо друг от друга с некоторой постоянной средней частотой.

Непонятно, что ТС имеет ввиду под "независимо друг от друга с некоторой постоянной средней частотой".
Это аналогично приходу покупателя в магазин или срабатыванию детектора ионизирующих частиц. Каждое событие происходит независимо от предыдущих или последующих, но в целом они происходят с постоянной средней частотой.

dsge в сообщении #1066251 писал(а):
Не хочется нарушать правила раздела "Помогите решить / разобраться" и предоставлять готовое решение для ТС.
Увы, я не в состоянии построить эту функцию самостоятельно, поэтому именно ответ и желаю. Впрочем, если вы дадите наводку на разбор решения такой же или аналогичной задачи, то я тоже буду рад. Сейчас же я даже не представляю, как решать эту задачу.

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение24.10.2015, 21:27 
Заслуженный участник


05/08/14
1564
B@R5uk в сообщении #1066282 писал(а):
Это аналогично приходу покупателя в магазин или срабатыванию детектора ионизирующих частиц. Каждое событие происходит независимо от предыдущих или последующих, но в целом они происходят с постоянной средней частотой.

Т.е. число переключений из одного состояния в другое на промежутке времени подчиняется Пуассоновскому процессу?

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение24.10.2015, 21:31 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Ну, ждём уточнения постановки от ТС. Это именно смена состояния на противоположное?

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение24.10.2015, 22:27 
Заслуженный участник


12/07/07
4438
А почему нельзя рассматривать просто как смесь?
$$P_i = p \frac {\lambda_1^i}{i!}e^{-\lambda_1} + (1-p) \frac{\lambda_2^i}{i!}e^{-\lambda_2},$$ $0< \lambda_1 < +\infty$, $0< \lambda_2 < +\infty$, $0<p<1$.

-- Сб 24.10.2015 21:36:34 --

dsge, не бойтесь нарушить правила раздела. Исследование, допустим, EM-алгоритма — это не стандартная учебная задача. В любом случае, в правилах раздела явно указаны возможности: «Дать ссылки на теоретические факты, которые должны быть использованы в решении задачи», «Описать общий ход решения, опустив технические детали, которые автор вопроса может восстановить самостоятельно».

-- Сб 24.10.2015 21:38:26 --

Ссылки на толковые свежие обзоры — очень приветствуются.

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение25.10.2015, 00:35 
Аватара пользователя


26/05/12
1534
приходит весна?
dsge в сообщении #1066305 писал(а):
Т.е. число переключений из одного состояния в другое на промежутке времени подчиняется Пуассоновскому процессу?
Совершенно верно!
Евгений Машеров в сообщении #1066309 писал(а):
Это именно смена состояния на противоположное?
Совершенно верно, переключение — это смена параметра $\lambda$ с $\lambda_1$ на $\lambda_2$ или обратно.

GAA в сообщении #1066328 писал(а):
А почему нельзя рассматривать просто как смесь?
$$P_i = p \frac {(\lambda_1)^i}{i!}e^{-\lambda_1} + (1-p) \frac{(\lambda_2)^i}{i!}e^{-\lambda_2},$$
Здесь нет корреляции во времени между близкими элементами выборки, которая однозначно есть в интересующем меня распределении. Фактически, выборка, подчиняющаяся данному распределению (с параметром $p=0.5$) получается, если выборку с моим распределением случайным образом перемешать. И в первую очередь меня интересуют не эти параметры $\lambda_1$ и $\lambda_2$ (хотя и их тоже хочется узнать), а та средняя частота переключений, которая сидит в корреляциях между соседними элементами в выборке.

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение25.10.2015, 04:02 
Заслуженный участник


05/08/14
1564
Более общий и сложный подход здесь (это не обзор, а научная статья, но там можно найти ссылки на первоисточники):
http://www.ssc.upenn.edu/~fdiebold/papers/paper110/CDS.pdf

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение25.10.2015, 09:50 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
GAA в сообщении #1066328 писал(а):
А почему нельзя рассматривать просто как смесь?


Тут другой смысл параметра p. Не вероятность нахождения в определённом состоянии, а вероятность его смены. Модель смеси позволяет оценить параметры двух пуассоновских, при этом параметр p не оценивается, в случае переключений в смеси $p=\frac 1 2$, оценка получается достаточно простая, если методом моментов - из среднего и дисперсии выборки.
Но потом начинаются сложности. Можно, оценив $\mu$ и $\lambda$, отнести отчёты к одному или другому состоянию в зависимости от значения отсчёта (меньше - к $\mu<\lambda$, больше - к другому состоянию), но поскольку могут быть порождены большие значения для состояния с меньшим параметром $\mu$. как и малые для состояния с большим параметром $\lambda$, будут ложные отнесения и частота переключений будет сильно завышена. Перебор всех $2^n$ вариантов даёт ответ, но вычислительно неприемлемо. Какое-то ощущение, что можно использовать динамическое программирование, но неясно как.

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение25.10.2015, 10:48 
Заслуженный участник


12/07/07
4438
B@R5uk, Евгений Машеров, понял. Спасибо! Подумаю.

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение25.10.2015, 11:50 
Аватара пользователя


26/05/12
1534
приходит весна?
Хочу попытаться разобраться с функцией правдоподобия на простейшем примере. Пусть у меня есть простое распределение Пуассона с параметром $\lambda$ и выборка из $N$ экземпляров случайной величины, подчиняющейся этому распределению. Я хочу оценить параметр $\lambda$. Я рассуждаю следующим образом: вероятность того, что данная конкретная выборка имеет значение $k$ равна$$p(k)=\frac{\lambda^{k}e^{-\lambda}}_{k!}$$
Тогда я говорю, что вероятность $p$ получить имеющуюся у меня выборку $\left\{k_n\right\}$ с заданным параметром $\lambda$ равна произведению вероятностей получить каждый из элементов выборки:$$\[p=\prod\limits_{n=1}^{N}{p\left( {{k}_{n}} \right)}=\prod\limits_{n=1}^{N}{\frac{{{\lambda }^{{{k}_{n}}}}{{e}^{-\lambda }}}{{{k}_{n}}!}}=\frac{{{\lambda }^{\sum\limits_{n=1}^{N}{{{k}_{n}}}}}{{e}^{-N\lambda }}}{\prod\limits_{n=1}^{N}{{{k}_{n}}!}}\]$$
Теперь я говорю, что наилучшей для меня оценкой параметра $\lambda$ будет та, при которой полученная вероятность максимальна. Максимум ищется школьными производными, но для начала я прологарифмирую вероятность (логарифм функция монотонно возрастающая, поэтому максимум не сместится и не исчезнет):$$\[\ln p=\ln \lambda \sum\limits_{n=1}^{N}{{{k}_{n}}}-N\lambda -\ln \prod\limits_{n=1}^{N}{{{k}_{n}}!}\]$$$$\[{{\left. \frac{d}{d\lambda }\ln p \right|}_{\lambda =\widetilde{\lambda }}}=\frac{1}{\widetilde{\lambda }}\sum\limits_{n=1}^{N}{{{k}_{n}}}-N=0\]$$$$\[\widetilde{\lambda }=\frac{1}{N}\sum\limits_{n=1}^{N}{{{k}_{n}}}\]$$
Оценка для параметра распределения получилась весьма правдоподобной, но на сколько верны сами рассуждения?

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение25.10.2015, 13:44 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Некоторый несколько грешащий эмпиризмом, но, возможно, работающий подход.

(Оффтоп)

Считаем на раз-два

Первый шаг - оценка параметров двух Пуассонов. Для них матожидание и дисперсия равны параметру распределения $\lambda$, начальные моменты - первый начальный $M_1$и есть матожидание, второй начальный $M_2=M^2+D^2=\lambda+\lambda^2$. Для смеси начальные моменты смешиваются с теми же весами, что компоненты смеси. А тут, в силу того, что число переходов из 1 в 2 и обратно равны или отличатся на 1, веса можно принять 0.5. Тогда $M_1=\frac {\lambda+\mu} 2$ и $M_2=\frac {\lambda+\lambda^2+\mu+\mu^2} 2$ (здесь $M_i$ - найденные по выборке значения, $\lambda$ и $\mu$ параметры законов Пуассона для двух состояний). Здесь можно положить $\lambda=\kappa+\delta$ и $\mu=\kappa-\delta$
Решаем полученное квадратное уравнение, получаем законы Пуассона.
$\kappa=M_1$, $\delta=\sqrt{M_2-M_1-M_1^2}$
Второй шаг - классификация и оценка частоты переходов.
Задаёмся значением вероятности переключения p и рассчитываем по Байесу вероятности принадлежности каждого наблюдения, начиная со второго, к одному или второму закону (для первого производим расчёт для обоих случаев). Рассчитываем правдоподобие для выбранного значения p и начальной точки. По сетке значений p, или рассматривая, как одномерную оптимизацию, находим самый правдоподобный вариант.

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение25.10.2015, 14:24 
Аватара пользователя


26/05/12
1534
приходит весна?
Евгений Машеров в сообщении #1066523 писал(а):
Задаёмся значением вероятности переключения p и рассчитываем по Байесу вероятности принадлежности каждого наблюдения, начиная со второго, к одному или второму закону (для первого производим расчёт для обоих случаев). Рассчитываем правдоподобие для выбранного значения p и начальной точки. По сетке значений p, или рассматривая, как одномерную оптимизацию, находим самый правдоподобный вариант.
Эти слова для меня пока китайская грамота. Лучше пока прокомментируйте, пожалуйста, моё решение, всё ли в нём верно. Если да, то есть ли там функция правдоподобия хоть в каком-то виде? Не та ли это вероятность получить мою выборку? Или же её там вообще нет?

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение25.10.2015, 14:42 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Да вроде всё нормально. Но это задача куда проще поставленной вначале.

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение25.10.2015, 14:52 
Аватара пользователя


26/05/12
1534
приходит весна?
Понятно, спасибо. Просто, надо с чего-то начинать. Сейчас попробую разобрать модель, которую предложил GAA. Она ещё достаточно проста как мне видится (концептуально, во всяком случае), но уже не столь тривиальна.

 Профиль  
                  
 
 Re: Статистическая задача
Сообщение25.10.2015, 15:57 
Аватара пользователя


26/05/12
1534
приходит весна?
Ну, для вероятности получить конкретную выборку случайной величины, подчиняющейся предложенной GAA модели получается такая формула:$$\[\ln p=\sum\limits_{n=1}^{N}{\ln \left( \frac{q{{\left( {{\lambda }_{1}} \right)}^{{{k}_{n}}}}{{e}^{-{{\lambda }_{1}}}}}{{{k}_{n}}!}+\frac{\left( 1-q \right){{\left( {{\lambda }_{2}} \right)}^{{{k}_{n}}}}{{e}^{-{{\lambda }_{2}}}}}{{{k}_{n}}!} \right)}\]$$
Производные по искомым параметрам выглядят так же громоздко и нет никакой надежды получить аналитические формулы, только численное решение. Это почему-то совсем не похоже, на те простые формулы, что предлагает Евгений Машеров (для параметров $\lambda_1$ и $\lambda_2$).

Если я правильно понял идею этого метода расчёта, то для моего распределения необходимо рассмотреть $2^N$ (где $N$ — размер выборки) случаев. Каждый случай отличается своим соответствием {номер события}-{состояние}. А вероятность каждого случая (которая в двух, рассмотренных мной задачах, была равна $2^{-N}$, так как не было корреляции между соседними выборками) теперь ещё так же будет зависеть от того, было ли переключение или нет между каждыми $2^{N-1}$ парами соседей. Сюда и войдёт вероятность переключения, связанная с искомой мною средней частотой переключений. Что-то меня пугает размер формулы. И есть сомнения в нормировке. Я, вообще, правильно рассуждаю?

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 35 ]  На страницу Пред.  1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group