Проверка математической модели на реальных данных

[R_e_n]

Добрый день.
Есть реальные данные, есть придуманная модель, как проверить хорошо ли она описывает данные или нет?

Если я правильно понял, то преподаватель говорил, что если разница между реальными данными и математической моделью есть белый шум, то модель хорошая. Это так?

Вот я нашел разницу в каждый момент времени

я проверил гипотезу о нормальном распределении Шапиро и Вилкинсон W-тест (Shapiro and Wilk's W-test) и он ее отверг.
Т. е. модель точно плохая?

[provincialka]

R_e_n в сообщении #841893 писал(а):

если разница между реальными данными и математической моделью есть белый шум, то модель хорошая

Хм... немного слишком смелое заявление. Например, пусть "явление" задается константой $x = 0$, а модель - белым шумом". Тогда раазница между ними тоже есть "белый шум". И вы будете считать такую "модель" правильной?

[R_e_n]

provincialka в сообщении #841899 писал(а):

R_e_n в сообщении #841893 писал(а):

если разница между реальными данными и математической моделью есть белый шум, то модель хорошая

Хм... немного слишком смелое заявление. Например, пусть "явление" задается константой $x = 0$, а модель - белым шумом". Тогда раазница между ними тоже есть "белый шум". И вы будете считать такую "модель" правильной?

Скорее всего я неправильно понял слова преподавателя, он имел в виду какой-то конкретный случай, а я обобщил. А как можно проверить?

Наверное вопрос звучит глупо и универсального ответа тут нет, следует смотреть на конкретную модель и конкретные данные. Или все таки можно, что-то сказать? Например, если математические ожидания совпадают и дисперсия не превышает чего-нибудь там

[Shtorm]

R_e_n, да всё зависит от конкретной модели и того реального объекта, который она моделирует. В некоторых случаях говорят, что отклонение модельных расчётов от реальных данных составляет 5% - очень хорошая модель. А в каких-то случаях 5% - это много. Например, создали Вы математическую модель движения нового летательного аппарата, и потом по сравнении с экспериментальной рабочей моделью летательного аппарата выяснилось, что отклонение 5%. Например речь идёт о высоте подъёма относительно Земли. 100 метров или 105 метров возможно в каких-то случаях такая неопределённость будет недопустима.

[provincialka]

Вопрос о "соответствии модели объекту" один из самых трудных. Во-первых, он сильно зависит от задачи (вплоть до наличия субъективной составляющей). Во вторых принципиально нерешаем в силу недоступности "объекта самого по себе". Ибо, если он доступен - зачем же моделировать?
Впрочем, это общие рассуждения, конкретно во временных рядах я не очень "шарю", пусть специалисты выскажутся.

-- 27.03.2014, 23:20 --

по поводу 5% я как-то уже высказывалась (в оффтопе ). Но одной стат. значимости для временных рядов тоже мало. Например, проверяем датчик случайных чисал, 50% нули, 50% - единицы. Хороший датчик? А если он дает результаты $0,1,0,1,0,1...$?

[R_e_n]

Shtorm в сообщении #841915 писал(а):

что отклонение модельных расчётов от реальных данных составляет 5% - очень хорошая модель

Не могли бы пояснить, что значит отклонение 5%?
$ \frac 1 n \sum_{i=1}^n \frac {|X_i - Y_i|} {|X_i|} < 0.05$ , где $X_i$ - реальные данные, $Y_i$ - предсказанные моделью, так?

[provincialka]

А почему вы делите на $n$? Обычно проценты берутся от самой величины.

[Shtorm]

R_e_n, с учётом всего того, что написали выше мы с provincialkой не так уж и важно как именно берутся 5%, если мы говорим в общем и целом. А вот если Вы конкретно опишите нам - что за модель и какого процесса - вот тогда и будет конкретика.

[R_e_n]

provincialka в сообщении #841930 писал(а):

А почему вы делите на $n$? Обычно проценты берутся от самой величины.

Пусть в каждый момент времени у меня $ \frac {|X_i - Y_i|} {|X_i|} = 0.01$, тогда за сто шагов, ошибка будет равна 1 или сто процентов. между тем реальные данные от предсказанных все также отличаются на 1%. Мне кажется правильнее усреднять.

[provincialka]

R_e_n в сообщении #841940 писал(а):

тогда за сто шагов, ошибка будет равна 1

Это если складывать. А вы возьмите максимум, т.е. равномерную оценку.

[R_e_n]

Shtorm в сообщении #841937 писал(а):

R_e_n, с учётом всего того, что написали выше мы с provincialkой не так уж и важно как именно берутся 5%, если мы говорим в общем и целом.

Да мне бы в общем и целом, моделей полно всяких видел / строил. Мне бы лучше, что я должен приложить к модели? Сейчас я - аспирант, строю какие-то модели. Что я должен написать, например в статью / в диссертацию. Вот модель, можете ее использовать ошибку получите не более 5 %. Правильно? Обычно я писал так: вот модель, вот у нее мат ожидание, вот у нее дисперсия. Конец. Но ведь дисперсия может быть и очень большой. А тут я услышал про то, что разность должна быть белым шумом, и задумался. Надо наверное как то по-научнее объяснять почему я выбрал модель такую. Вот вы мне сказали про 5% мне это понравилось:)

-- 28.03.2014, 00:00 --

provincialka в сообщении #841943 писал(а):

R_e_n в сообщении #841940 писал(а):

тогда за сто шагов, ошибка будет равна 1

Это если складывать. А вы возьмите максимум, т.е. равномерную оценку.

А если выстрелит там пара значений, а так вроде усреднил и порядок.

[Shtorm]

R_e_n в сообщении #841953 писал(а):

Вот вы мне сказали про 5% мне это понравилось:)

Может быть и зря сказал Вы прочитайте там по ссылке, которую provincialka привела, где она высказывалась о 5% изделия №2 Этот пример очень ярко показывает область применимости того или иного значения погрешности.

[R_e_n]

Shtorm в сообщении #841959 писал(а):

R_e_n в сообщении #841953 писал(а):

Вот вы мне сказали про 5% мне это понравилось:)

Может быть и зря сказал Вы прочитайте там по ссылке, которую provincialka привела, где она высказывалась о 5% изделия №2 Этот пример очень ярко показывает область применимости того или иного значения погрешности.

Хорошо, я уже понял, что про белый шум не верно. Вы мне скажите так, что я должен приложить к своей модели? Наверное к любой модели независимо от данных надо прикладывать какую-то ошибку, если имеются реальные данные. По какой формуле ее считать? Как среднеквадратичное отклонение?

Хотя наверное опять не правильно сформулировал, ибо в примере с генератором случайных чисел, надо еще корреляцию какую-нибудь считать. Так что наверное продолжу по старинке:
- модель
- мат ожидание
- дисперсия

[provincialka]

Вы все время используете какое-то абстрактное слово "модель". Дык, они разные бывают. Одно дело, вы моделируете случайную величину (величины), другое - временной ряд. И от чего вы собираетесь брать мат. ожидание и дисперсию?

[R_e_n]

Да, извиняюсь, под моделью я понимаю стохастическую модель какого-нибудь физического процесса или стоимость ценной бумаги.
Собственно, я нашел похожий вопрос: http://dxdy.ru/topic77386.html, но видно там человек тоже не до конца понимал чего хочет, поэтому и обсуждение было недолгим.