2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3  След.
 
 Re: Задачка
Сообщение24.03.2006, 00:13 
Заслуженный участник


15/05/05
3445
USA
photon писал(а):
Yuri Gendelman писал(а):
Ну в худшем случае - 3 графика. :wink:

Ну почему же 3? Можно и одним...

Ваш вариант - не худший. 3 - это если использовать плоские ЧБ графики для целей конструирования мельничного колеса. :wink:


Руст писал(а):
На самом деле суточные или сезонные изменения погоды это только корреляции с некоторой функцией зависящей от этих параметров, которые выявляются от данных наблюдений при больших интервалах наблюдений. Эти выводы о корреляциях дают только некоторые уточнения о прогнозах, но ни как не выводят из области вероятности этих прогнозов. Вопрос прогнозирования по данным наблюдения не такой простой. Я когда то занимался с близкими к этому проблемами. Всё это нельзя изложить в таком маленьком формате.

Это - подход компьютерной программы типа Statistica.
Можно конечно назвать разницу температур между зимой и летом "корреляцей с некоторой функцией". Но все-таки следует помнить: основной вклад в эту разницу вносит эллиптичность земной орбиты (понимание физического механизма _рулез форевер_).

Поправка: основной вклад в эту разницу все-таки вносит наклон оси вращения Земли к земной орбите. А эллиптичность земной орбиты вызывает разницу климатов сев. и южн. полушарий.

 Профиль  
                  
 
 
Сообщение24.03.2006, 00:17 


20/12/05
2
Кстати, о полиномах Лагранжа и о сплайнах. Это не корректно сказать, что полиномы Лагранжа неустойчивы при зашумленных данных.
"При зашумленных данных" сплайн тоже будет построен на основании этих данных, т.е. полином будет интеролировать эти самые данные.
На практике, конечно, используют сплайны.

 Профиль  
                  
 
 
Сообщение24.03.2006, 00:46 
Заслуженный участник


15/05/05
3445
USA
neyro писал(а):
Кстати, о полиномах Лагранжа и о сплайнах. Это не корректно сказать, что полиномы Лагранжа неустойчивы при зашумленных данных.
"При зашумленных данных" сплайн тоже будет построен на основании этих данных, т.е. полином будет интеролировать эти самые данные.
На практике, конечно, используют сплайны.

Я выразился не совсем точно. Речь идет не о неточностях измерения. Сам алгоритм построения регрессионного полинома может быть, в зависимости от исходных данных, очень неустойчив к ошибкам округления (представьте себе случай x <= 1 и y <= 10000). Об этом пишут в книгах по численным методам. Тогда уж, если не сплайны, то разложение по (дискретным) полиномам Чебышева. Что не проще сплайнов.

 Профиль  
                  
 
 
Сообщение24.03.2006, 02:53 


10/02/06
54
А почему все говорят о возможной периодичности, но не предлагают дискретное преобразование Фурье. Кстати, исторически эта тема выросла на прогнозировании высоты приливов.

 Профиль  
                  
 
 
Сообщение24.03.2006, 03:18 
Заслуженный участник
Аватара пользователя


17/10/05
3709
:evil:
MrD писал(а):
А почему все говорят о возможной периодичности, но не предлагают дискретное преобразование Фурье.

Ну, во первых, дискретное преобразование Фурье будет плохо работать на примерно равноотстоящих данных. Во вторых, мне лично не очень понятно соотношение частоты опроса и частоты ожидаемых периодических процессов. Кроме того, важно может быть и соотношение уровня шума к уровню сигнала. Если шум достаточно велик, то не очень понятен смысл предсказания -- хотя сигнал (типа сезонных или дневных колебаний) можно выделить и предсказать. Модель же шума тоже может меняться в зависимости от погодных условий -- затишье перед бурей, например.

MrD писал(а):
Кстати, исторически эта тема выросла на прогнозировании высоты приливов.

Которая тема -- обсуждения или Фурье?

 Профиль  
                  
 
 автора сюда!
Сообщение24.03.2006, 10:03 
Экс-модератор
Аватара пользователя


23/12/05
12064
По-моему, все, кто принимает участие в данном обсуждении, уже сошлись на мысли, что в самом общем случае ничего хорошего с предсказанием не выйдет, но иногда (при малой зашумленности, при необходимости предсказания на малый временной промежуток, при наличии периодически проявляющихся изменений и т.п.) что-то с некотрой точностью можно прогнозировать. Хотелось бы теперь получить уточнения от sMs: например, какие временные интервалы рассматриваются? (может быть мы тут говорим о сезонных колебаниях... можем еще об одиннадцатилетних циклах поговорить, а имеется в виду поведение ветра на протяжении нескольких часов)

 Профиль  
                  
 
 
Сообщение25.03.2006, 17:48 


22/03/06
5
Суть этой задачи сводится к конструированию датчика (микроконтроллера так сказать) который должен сначала включится, затем собрать статистику за достаточной большой промежуток времени примерно 30мин. затем начать анализировать данные который поступают с динамической частотой, и на основе этих данных он должен строить график и прогнозировать изменения ветра , тесть его скорости, до следующего забора данных (так сказать тика). Речь идёт о довольно незначительных промежутках времени, буквально 10-60 сек. тесть от 10 до 60. Как собрать статистику и как построить график по имеющимся данным я знаю, а вот как математически спрогнозировать изменения мне непонятно.
:!: Если кто-нибудь знает как проделать прошу прописать алгоритм, ну или что-нибудь похожее на него, и ещё одна просьба давать ссылочки на упоминаемые вами методы, заранее благодарен!

 Профиль  
                  
 
 
Сообщение25.03.2006, 17:57 


10/02/06
54
Для такой постановки задачи - никак. Теперь о периодичности речь не идет, а любой другой способ будет давать результат не лучше, чем продолжение последнего измеренного значения на нужный интервал. Только без головной боли и риска вляпаться в ошибку алгоритма.

 Профиль  
                  
 
 
Сообщение25.03.2006, 18:00 
Экс-модератор
Аватара пользователя


23/12/05
12064
MrD писал(а):
Для такой постановки задачи - никак. Теперь о периодичности речь не идет, а любой другой способ будет давать результат не лучше, чем продолжение последнего измеренного значения на нужный интервал. Только без головной боли и риска вляпаться в ошибку алгоритма.

Это Вы предлагаете линейную аппроксимацию, но можно тоже самое более точно. Хотя эти предсказания все равно будут плохие

 Профиль  
                  
 
 
Сообщение25.03.2006, 19:21 


22/03/06
5
Я все-таки, не понял можно ли описать последующее поведение графика или нет?
Способ с продолжением полученного значения на последующий интервал, так сказать линейная аппроксимация, не подходит, потому что если полученные последующие данные будут отличаться от "прогноза" датчика (это непросто датчик, а связующее звено и на основе результатов полученных на выходе будет строиться последующий процесс моделирования устройства...) т.е. будет огромная погрешность, а одной из функций этого устройства её минимизация (этой самой погрешности), и получается что этот датчик всего лишь служит для сбора статистики, а это насовсем то что требуется в задачи :(
Жду ещё предложений :)

 Профиль  
                  
 
 
Сообщение25.03.2006, 20:04 
Заслуженный участник


01/12/05
458
Уже писал - почему-то оставили мой пост без внимания. Скорость ветра можно считать распределенной нормально, соответственно мат. ожидание и дисперсию оцениваем по выборке. Ставим задачу прогноза, в гауссовском случае оптимальный прогноз совпадает с линейным прогнозом, поэтому все можно явно посчитать. Фактически это будет $E(\xi_{n+1}||\sigma(\xi_0,..,\xi_n)$-условное матожидание относительно сигма-алгебры, порожденной "прошлым", это есть фунцкия от $\xi_0,..,\xi_n$, в гауссовском случае линейная. Можно найти готовые формулы, посмотрите современные учебники по ТВ.

 Профиль  
                  
 
 
Сообщение26.03.2006, 07:23 
Заслуженный участник


15/05/05
3445
USA
Юстас писал(а):
Уже писал - почему-то оставили мой пост без внимания.
...в гауссовском случае линейная...

Вы предлагаете для нормального распределения использовать линейную многомерную регрессию по измеренным данным. А мне кажется, что нужно считать измеренные значения выборкой из временного ряда, это более адекватно физическому содержанию задачи.
Хотя это больше теоретическая дискуссия. Практически такое предсказание не более ценно, чем предсказание траектории броуновской частицы.

 Профиль  
                  
 
 
Сообщение26.03.2006, 09:44 


10/02/06
54
Yuri Gendelman писал(а):
Практически такое предсказание не более ценно, чем предсказание траектории броуновской частицы.


:appl:

 Профиль  
                  
 
 
Сообщение26.03.2006, 10:27 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Юстас писал(а):
Скорость ветра можно считать распределенной нормально,


Я в этом сильно сомневаюсь. Соответственно, более чем уверен, что линейная регрессия по имеющимся данным даст результаты худшие, чем другие виды регрессий.

Вопрос к автору - есть ли в наличии достаточный обучающий материал, т.е. реальные наблюдения для решаемой задачи? Без этого ничего хорошего наверняка не получится, так как с потолка можно предлагать самые разные модели, но никак нельзя проверить, какие из них адекватны, а какие - нет. Только проверкой на реальных данных.

Если данные есть, то с ними нужно поработать. Прежде всего - реализовать разные методы интерполяции (их уже тут много предлагали) и посмотреть на точность их предсказания. Может, удастся выбрать один или несколько лучших. Может, в разных ситуациях лучшими будут то один, то другой метод. Тогда при практическом применении можно попробовать поступать так: аппроксимировать имющиеся данные всеми известными методами, а прогноз делать по тому, который наилучшим образом ложится на эти имеющиеся данные. Или можно брать среднее значение прогнозов разных методов, причем коэффициенты (веса) либо подобрать заранее и фиксировать, либо также определять динамически по тому, насколько хорошо каждый метод интерполировал имеющиеся данные.

Многие методы интерполяции позволяют приписывать разным точкам разные веса. Этим имеет смысл пользоваться (наверное), приписывая меньшие веса более старым наблюдениям.

Самая неприятная вещь - это, конечно, резкое изменение характера поведения предсказываемой величины. Это общая беда любых методов, потому что они все равно на самом деле умеют строить только модель, согласующуюся с наблюдаемыми данными, и резкое изменение поведения учесть не в состоянии. Можно попробовать опять-таки на основе обучающего материала попробовать научиться предсказывать резкое изменение ветра по предыдущим наблюдениям. Но я сильно не уверен, что в данном случае эта задача физически разрешима. Ведь резкий порыв или наоборот стихание ветра в данной точке вызван физическими причинами, находящимися на расстоянии от нее. Вряд ли можно это предсказать по измерениям в этой же точке. Возможно, было бы лучше поставить насколько датчиков вокруг мельницы на определенном расстоянии от нее и снимать информацию с них.

Что можно сделать в рамках стандартного подхода - это на основе набранной статистики понять, могут ли в принципе интерполяционные методы, известные системе, давать надежный прогноз в текущих условиях. И в соответствии с этим давать не только прогноз, но и его надежность. Если надежность невелика, то система должна вести себя так, как если бы прогноза и не было толком, т.е. должна быть готова к любым неожиданностям. Соответственно, в один день, когда погода стабильна и резких изменений нет, система будет давать надежные прогнозы, а в день, когда ветер постоянно резко меняется, система понимает, что надежный прогноз в таких условиях она делать просто не умеет и сообщает об этом на более высокий уровень.

 Профиль  
                  
 
 Вопрос
Сообщение26.03.2006, 13:14 
Заслуженный участник
Аватара пользователя


28/09/05
287
Постановка задачи, предложенной sMs, напомнила мне одну тему. Задача, о котрой я там говорил, взята отсюда. sMs, признайтесь, имеете ли Вы какое-то отношение к проекту "ДВИЖЕНИЕ ПЛЮС"? :)

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 35 ]  На страницу Пред.  1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group