Задача о прогнозировании

[sMs]

PAV писал(а):

Вопрос к автору - есть ли в наличии достаточный обучающий материал, т.е. реальные наблюдения для решаемой задачи? Без этого ничего хорошего наверняка не получится, так как с потолка можно предлагать самые разные модели, но никак нельзя проверить, какие из них адекватны, а какие - нет. Только проверкой на реальных данных.

Материала предостаточно)))))

PAV писал(а):

Прежде всего - реализовать разные методы интерполяции (их уже тут много предлагали) и посмотреть на точность их предсказания. Может, удастся выбрать один или несколько лучших.

Идея отличная.... буду экспериментировать

PAV писал(а):

Может, в разных ситуациях лучшими будут то один, то другой метод. Тогда при практическом применении можно попробовать поступать так: аппроксимировать имающиеся данные всеми известными методами, а прогноз делать по тому, который наилучшим образом ложится на эти имеющиеся данные.

Вот тут мне не очень понятно, ну допустим я аппроксимировал всеми методами, получил определённые значения по результатам каждого из методов, и как определить какие данные самые точные, "который наилучшим образом ложится на эти имеющиеся данные"-как это понять.

PAV писал(а):

Многие методы интерполяции позволяют приписывать разным точкам разные веса. Этим имеет смысл пользоваться (наверное), приписывая меньшие веса более старым наблюдениям.

а какие это методы, извините если вопрос покажется глупым ;(

PAV писал(а):

Соответственно, в один день, когда погода стабильна и резких изменений нет, система будет давать надежные прогнозы, а в день, когда ветер постоянно резко меняется, система понимает, что надежный прогноз в таких условиях она делать просто не умеет и сообщает об этом на более высокий уровень.

а как мне определить что именно в этот день погода будет резко меняться (на основе каких данных, или на основе какого промежутка времени), разве не может быть такого что погода резко портится...
Спасибо за уделённое мне время

[sMs]

lofar писал(а):

Постановка задачи, предложенной sMs, напомнила мне одну тему. Задача, о котрой я там говорил, взята отсюда. sMs, признайтесь, имеете ли Вы какое-то отношение к проекту "ДВИЖЕНИЕ ПЛЮС"?

Я вас заверяю никакого отношения к этому движению я не имею, но суть той задачи в сродню моей, кстати, вы не в курсе вышло ли у них что-нибудь или нет. Конечно же не хотелось бы заниматься плагиатом, но уж очень интересно каким способом была она решена

[PAV]

Пусть наш обучающий материал представлен в виде пар $(t_i,x_i)$, где $t_i$ - момент времени, $x_i$ - значение скорости ветра в этот момент, $i=1,\ldots,N$. Задача интерполирования - это подбор функции $f$, которая хорошо аппроксимирует наши данные, т.е. $f(t_i)\approx x_i$. Когда мы решаем задачу интерполирования, то выбираем некоторый функционал ошибки $E(f)$, который должен измерять отклонения предсказанных значений от истинных. Чаще всего берут сумму квадратов разностей, т.е.

$$ E(f)=\sum_{i=1}^{N}(f(t_i)-x_i)^2 $$

но возможны и другие варианты. Собственно для решения задачи мы должны задать некоторый класс функций $\cal F$, среди которых будем искать лучшую. Например, полиномы заданной степени. Т.е. мы ищем

$$ \min_{f\in{\cal F}} E(f) $$

Решение $f_0$ данной задачи и будет наилучшей аппроксимацией в данном классе, а само наименьшее значение $E(f_0)$ можно как раз рассматривать как характеристику того, насколько хорошо нам удалось приблизить. Соответственно, если заложить в систему несколько методов (т.е. несколько классов ${\cal F}_1$, ${\cal F}_2$,...) то можно найти наилучшую аппроксимацию в каждом, после чего сравнить значения функционалов ошибок и взять ту аппроксимацию, которая дает самое лучшее приближение. Или можно усреднить значения по нескольким лучшим аппроксимациям, возможно это даст тоже хороший результат.

Кстати, неплохо было бы использовать стандартную методологию деления обучающего материала на две части: собственно обучающую и тестовую. В данном случае это означает, что мы из имеющегося набора точек удаляем некоторую часть (равномерно распределенную по набору) и не используем ее при нахождении аппроксимации. А потом считаем ошибку найденного решения на тех точках, которые не были использованы, и это дает нам хорошую характеристику того, насколько можно верить найденному решению.

Что же касается весов, то речь вот о чем. Каждому слагаемому, входящему в сумму $E(f)$, можно приписать вес $w_i$, т.е. задать функционал ошибки следующим образом

$$ E(f)=\sum_{i=1}^{N}w_i(f(t_i)-x_i)^2 $$

Это означает, что мы штрафуем отклонения истинных значений от предсказанных по-разному. Поскольку у нас t - время, то имеет смысл наибольший вес придавать последнему значению, предыдущему - поменьше и т.д. Можно, например, начать со значения $w=1$ и уменьшать вес по геометрической прогрессии. При этом интерполирующая система будет больше настраиваться на недавнее поведение погоды, а не на то, что было уже сравнительно давно. Задача минимизации такого функционала не должна быть принципиально сложнее исходного. В частности, если мы в качестве системы функций берем полиномы заданной степени, то решения выражаются через суммы разных функций от имеющихся переменных. Типа сумма, сумма квадратов и т.д. С весами решение будет точно таким же, только ровно те же веса появятся в этих самых суммах.

[PAV]

Что же касается резких изменений, то, разумеется, это проблема. Если в течение долгого времени дул постоянный ветер, то любая разумная предсказывающая система будет предсказывать то же самое значение. Причем если она также выдает уверенность в своем предсказании, то чем дольше это будет продолжаться, тем больше будет эта уверенность. И если ветер внезапно стихнет, то предсказать это заранее невозможно.

Что сделать можно. Во-первых, если ни одна интерполяция не дает хорошего значения ошибки на имеющихся данных, то, разумеется, верить ни одному прогнозу нельзя.

Нужно в полной мере использовать накопленную статистику за недавний период. Например, можно фиксировать все моменты в прошлом, когда ситуация резко поменялась и сделанный прогноз сильно ошибся. Чем больше будет таких ситуаций, тем меньше нужно верить любому прогнозу.

Теоретически можно попытаться использовать имеющийся материал, сделать по нему выборку реальных ситуаций резкого изменения характера поведения интерполируемой функции и попытаться предсказать такое изменение на основе предыдущих данных. Сначала стоит посмотреть на имеющиеся графики глазами и попробовать понять - нет ли какого-либо признака, который может предвещать резкое изменение? Допустим, появление частых колебаний или еще что-то... Можно попробовать напустить на это стандартные технологии типа нейронных сетей. Но мне лично кажется, что для данной физической задачи подобное предсказание мало реально получить.

[lofar]

sMs писал(а):

Я вас заверяю никакого отношения к этому движению я не имею, но суть той задачи в сродню моей, кстати, вы не в курсе вышло ли у них что-нибудь или нет.

В указанной мной теме приведено доказательство того, что последовательность, полученная с помощью прогнозов, состоит из независимых одинаково распределенных величин. Это означает, что состоятельный прогноз невозможен. Автор проекта "ДВИЖЕНИЕ ..." доказательству так и не поверил

Отмечу, что в доказательстве независимости существенно использовалась симметричность распределения. Так что, возможно, эти рассуждения не пройдут в Вашем случае.