2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2, 3  След.
 
 Re: Статистическая задача
Сообщение24.10.2015, 20:53 
B@R5uk в сообщении #1065845 писал(а):
Переключения происходят независимо друг от друга с некоторой постоянной средней частотой.

Непонятно, что ТС имеет ввиду под "независимо друг от друга с некоторой постоянной средней частотой". Если имеется ввиду то, что переключения есть Марковская цепь, то проблема в самом деле немного сложнее.
В этом случае надо для каждого наблюдения считать вероятность нахождения в каждом из состояний, используя формулу Байеса. Тогда вероятность следующего значения случайного процесса находится с учётом этих вероятностей состояний. Правдоподобие будет произведением этих вероятностей.

 
 
 
 Re: Статистическая задача
Сообщение24.10.2015, 21:05 
Аватара пользователя
dsge в сообщении #1066274 писал(а):
B@R5uk в сообщении #1065845 писал(а):
Переключения происходят независимо друг от друга с некоторой постоянной средней частотой.

Непонятно, что ТС имеет ввиду под "независимо друг от друга с некоторой постоянной средней частотой".
Это аналогично приходу покупателя в магазин или срабатыванию детектора ионизирующих частиц. Каждое событие происходит независимо от предыдущих или последующих, но в целом они происходят с постоянной средней частотой.

dsge в сообщении #1066251 писал(а):
Не хочется нарушать правила раздела "Помогите решить / разобраться" и предоставлять готовое решение для ТС.
Увы, я не в состоянии построить эту функцию самостоятельно, поэтому именно ответ и желаю. Впрочем, если вы дадите наводку на разбор решения такой же или аналогичной задачи, то я тоже буду рад. Сейчас же я даже не представляю, как решать эту задачу.

 
 
 
 Re: Статистическая задача
Сообщение24.10.2015, 21:27 
B@R5uk в сообщении #1066282 писал(а):
Это аналогично приходу покупателя в магазин или срабатыванию детектора ионизирующих частиц. Каждое событие происходит независимо от предыдущих или последующих, но в целом они происходят с постоянной средней частотой.

Т.е. число переключений из одного состояния в другое на промежутке времени подчиняется Пуассоновскому процессу?

 
 
 
 Re: Статистическая задача
Сообщение24.10.2015, 21:31 
Аватара пользователя
Ну, ждём уточнения постановки от ТС. Это именно смена состояния на противоположное?

 
 
 
 Re: Статистическая задача
Сообщение24.10.2015, 22:27 
А почему нельзя рассматривать просто как смесь?
$$P_i = p \frac {\lambda_1^i}{i!}e^{-\lambda_1} + (1-p) \frac{\lambda_2^i}{i!}e^{-\lambda_2},$$ $0< \lambda_1 < +\infty$, $0< \lambda_2 < +\infty$, $0<p<1$.

-- Сб 24.10.2015 21:36:34 --

dsge, не бойтесь нарушить правила раздела. Исследование, допустим, EM-алгоритма — это не стандартная учебная задача. В любом случае, в правилах раздела явно указаны возможности: «Дать ссылки на теоретические факты, которые должны быть использованы в решении задачи», «Описать общий ход решения, опустив технические детали, которые автор вопроса может восстановить самостоятельно».

-- Сб 24.10.2015 21:38:26 --

Ссылки на толковые свежие обзоры — очень приветствуются.

 
 
 
 Re: Статистическая задача
Сообщение25.10.2015, 00:35 
Аватара пользователя
dsge в сообщении #1066305 писал(а):
Т.е. число переключений из одного состояния в другое на промежутке времени подчиняется Пуассоновскому процессу?
Совершенно верно!
Евгений Машеров в сообщении #1066309 писал(а):
Это именно смена состояния на противоположное?
Совершенно верно, переключение — это смена параметра $\lambda$ с $\lambda_1$ на $\lambda_2$ или обратно.

GAA в сообщении #1066328 писал(а):
А почему нельзя рассматривать просто как смесь?
$$P_i = p \frac {(\lambda_1)^i}{i!}e^{-\lambda_1} + (1-p) \frac{(\lambda_2)^i}{i!}e^{-\lambda_2},$$
Здесь нет корреляции во времени между близкими элементами выборки, которая однозначно есть в интересующем меня распределении. Фактически, выборка, подчиняющаяся данному распределению (с параметром $p=0.5$) получается, если выборку с моим распределением случайным образом перемешать. И в первую очередь меня интересуют не эти параметры $\lambda_1$ и $\lambda_2$ (хотя и их тоже хочется узнать), а та средняя частота переключений, которая сидит в корреляциях между соседними элементами в выборке.

 
 
 
 Re: Статистическая задача
Сообщение25.10.2015, 04:02 
Более общий и сложный подход здесь (это не обзор, а научная статья, но там можно найти ссылки на первоисточники):
http://www.ssc.upenn.edu/~fdiebold/papers/paper110/CDS.pdf

 
 
 
 Re: Статистическая задача
Сообщение25.10.2015, 09:50 
Аватара пользователя
GAA в сообщении #1066328 писал(а):
А почему нельзя рассматривать просто как смесь?


Тут другой смысл параметра p. Не вероятность нахождения в определённом состоянии, а вероятность его смены. Модель смеси позволяет оценить параметры двух пуассоновских, при этом параметр p не оценивается, в случае переключений в смеси $p=\frac 1 2$, оценка получается достаточно простая, если методом моментов - из среднего и дисперсии выборки.
Но потом начинаются сложности. Можно, оценив $\mu$ и $\lambda$, отнести отчёты к одному или другому состоянию в зависимости от значения отсчёта (меньше - к $\mu<\lambda$, больше - к другому состоянию), но поскольку могут быть порождены большие значения для состояния с меньшим параметром $\mu$. как и малые для состояния с большим параметром $\lambda$, будут ложные отнесения и частота переключений будет сильно завышена. Перебор всех $2^n$ вариантов даёт ответ, но вычислительно неприемлемо. Какое-то ощущение, что можно использовать динамическое программирование, но неясно как.

 
 
 
 Re: Статистическая задача
Сообщение25.10.2015, 10:48 
B@R5uk, Евгений Машеров, понял. Спасибо! Подумаю.

 
 
 
 Re: Статистическая задача
Сообщение25.10.2015, 11:50 
Аватара пользователя
Хочу попытаться разобраться с функцией правдоподобия на простейшем примере. Пусть у меня есть простое распределение Пуассона с параметром $\lambda$ и выборка из $N$ экземпляров случайной величины, подчиняющейся этому распределению. Я хочу оценить параметр $\lambda$. Я рассуждаю следующим образом: вероятность того, что данная конкретная выборка имеет значение $k$ равна$$p(k)=\frac{\lambda^{k}e^{-\lambda}}_{k!}$$
Тогда я говорю, что вероятность $p$ получить имеющуюся у меня выборку $\left\{k_n\right\}$ с заданным параметром $\lambda$ равна произведению вероятностей получить каждый из элементов выборки:$$\[p=\prod\limits_{n=1}^{N}{p\left( {{k}_{n}} \right)}=\prod\limits_{n=1}^{N}{\frac{{{\lambda }^{{{k}_{n}}}}{{e}^{-\lambda }}}{{{k}_{n}}!}}=\frac{{{\lambda }^{\sum\limits_{n=1}^{N}{{{k}_{n}}}}}{{e}^{-N\lambda }}}{\prod\limits_{n=1}^{N}{{{k}_{n}}!}}\]$$
Теперь я говорю, что наилучшей для меня оценкой параметра $\lambda$ будет та, при которой полученная вероятность максимальна. Максимум ищется школьными производными, но для начала я прологарифмирую вероятность (логарифм функция монотонно возрастающая, поэтому максимум не сместится и не исчезнет):$$\[\ln p=\ln \lambda \sum\limits_{n=1}^{N}{{{k}_{n}}}-N\lambda -\ln \prod\limits_{n=1}^{N}{{{k}_{n}}!}\]$$$$\[{{\left. \frac{d}{d\lambda }\ln p \right|}_{\lambda =\widetilde{\lambda }}}=\frac{1}{\widetilde{\lambda }}\sum\limits_{n=1}^{N}{{{k}_{n}}}-N=0\]$$$$\[\widetilde{\lambda }=\frac{1}{N}\sum\limits_{n=1}^{N}{{{k}_{n}}}\]$$
Оценка для параметра распределения получилась весьма правдоподобной, но на сколько верны сами рассуждения?

 
 
 
 Re: Статистическая задача
Сообщение25.10.2015, 13:44 
Аватара пользователя
Некоторый несколько грешащий эмпиризмом, но, возможно, работающий подход.

(Оффтоп)

Считаем на раз-два

Первый шаг - оценка параметров двух Пуассонов. Для них матожидание и дисперсия равны параметру распределения $\lambda$, начальные моменты - первый начальный $M_1$и есть матожидание, второй начальный $M_2=M^2+D^2=\lambda+\lambda^2$. Для смеси начальные моменты смешиваются с теми же весами, что компоненты смеси. А тут, в силу того, что число переходов из 1 в 2 и обратно равны или отличатся на 1, веса можно принять 0.5. Тогда $M_1=\frac {\lambda+\mu} 2$ и $M_2=\frac {\lambda+\lambda^2+\mu+\mu^2} 2$ (здесь $M_i$ - найденные по выборке значения, $\lambda$ и $\mu$ параметры законов Пуассона для двух состояний). Здесь можно положить $\lambda=\kappa+\delta$ и $\mu=\kappa-\delta$
Решаем полученное квадратное уравнение, получаем законы Пуассона.
$\kappa=M_1$, $\delta=\sqrt{M_2-M_1-M_1^2}$
Второй шаг - классификация и оценка частоты переходов.
Задаёмся значением вероятности переключения p и рассчитываем по Байесу вероятности принадлежности каждого наблюдения, начиная со второго, к одному или второму закону (для первого производим расчёт для обоих случаев). Рассчитываем правдоподобие для выбранного значения p и начальной точки. По сетке значений p, или рассматривая, как одномерную оптимизацию, находим самый правдоподобный вариант.

 
 
 
 Re: Статистическая задача
Сообщение25.10.2015, 14:24 
Аватара пользователя
Евгений Машеров в сообщении #1066523 писал(а):
Задаёмся значением вероятности переключения p и рассчитываем по Байесу вероятности принадлежности каждого наблюдения, начиная со второго, к одному или второму закону (для первого производим расчёт для обоих случаев). Рассчитываем правдоподобие для выбранного значения p и начальной точки. По сетке значений p, или рассматривая, как одномерную оптимизацию, находим самый правдоподобный вариант.
Эти слова для меня пока китайская грамота. Лучше пока прокомментируйте, пожалуйста, моё решение, всё ли в нём верно. Если да, то есть ли там функция правдоподобия хоть в каком-то виде? Не та ли это вероятность получить мою выборку? Или же её там вообще нет?

 
 
 
 Re: Статистическая задача
Сообщение25.10.2015, 14:42 
Аватара пользователя
Да вроде всё нормально. Но это задача куда проще поставленной вначале.

 
 
 
 Re: Статистическая задача
Сообщение25.10.2015, 14:52 
Аватара пользователя
Понятно, спасибо. Просто, надо с чего-то начинать. Сейчас попробую разобрать модель, которую предложил GAA. Она ещё достаточно проста как мне видится (концептуально, во всяком случае), но уже не столь тривиальна.

 
 
 
 Re: Статистическая задача
Сообщение25.10.2015, 15:57 
Аватара пользователя
Ну, для вероятности получить конкретную выборку случайной величины, подчиняющейся предложенной GAA модели получается такая формула:$$\[\ln p=\sum\limits_{n=1}^{N}{\ln \left( \frac{q{{\left( {{\lambda }_{1}} \right)}^{{{k}_{n}}}}{{e}^{-{{\lambda }_{1}}}}}{{{k}_{n}}!}+\frac{\left( 1-q \right){{\left( {{\lambda }_{2}} \right)}^{{{k}_{n}}}}{{e}^{-{{\lambda }_{2}}}}}{{{k}_{n}}!} \right)}\]$$
Производные по искомым параметрам выглядят так же громоздко и нет никакой надежды получить аналитические формулы, только численное решение. Это почему-то совсем не похоже, на те простые формулы, что предлагает Евгений Машеров (для параметров $\lambda_1$ и $\lambda_2$).

Если я правильно понял идею этого метода расчёта, то для моего распределения необходимо рассмотреть $2^N$ (где $N$ — размер выборки) случаев. Каждый случай отличается своим соответствием {номер события}-{состояние}. А вероятность каждого случая (которая в двух, рассмотренных мной задачах, была равна $2^{-N}$, так как не было корреляции между соседними выборками) теперь ещё так же будет зависеть от того, было ли переключение или нет между каждыми $2^{N-1}$ парами соседей. Сюда и войдёт вероятность переключения, связанная с искомой мною средней частотой переключений. Что-то меня пугает размер формулы. И есть сомнения в нормировке. Я, вообще, правильно рассуждаю?

 
 
 [ Сообщений: 35 ]  На страницу Пред.  1, 2, 3  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group