Отличие математической модели от аппроксимации

[PAV]

(Оффтоп)

Да, такое качество предсказания не сильно впечатляет, их можно понять. Другое дело, что тут сложно сказать, сумели ли вы получить весь возможный потенциал. Может быть, можно было предсказать и лучше, но только вы не сумели? А может быть, если бы заказчики предоставили достаточно содержательные признаки, влияющие на объект предсказания, то и результат можно было бы сделать гораздо лучше.

К сожалению, не в упрек Вам будет сказано, чистые математики признают только строго обоснованные, чаще всего классические процедуры, которые излагаются в учебных курсах и теоретических научных работах. И частенько у них нет необходимой нацеленности на результат. Если бы вы были коммерческой структурой, живущей за счет таких заказов, то не исключено что приложили бы больше усилий, возможно нашли какие-то нестандартные ходы, или же предложили бы заказчикам какие-то другие варианты, которые могли бы им быть коммерчески интересны. Например, провести кластеризацию клиентов на какие-то содержательные с точки зрения заказчика группы, или выдвинули свои предложения по поводу признаков, которые должны иметься у заказчика, и которые могут теоретически повысить качество предсказания. А математик нередко выдает научно обоснованный отрицательный результат - и на этом успокаивается, считая свою задачу выполненной...

А вообще если заказчик действительно заинтересован в результате, то в случае такого рода задач достаточно общепринято устраивать открытый конкурс. Типа, например, такого, о котором я упоминал здесь. Любители (и профессионалы) в области анализа данных с удовольствием в них принимают участие, а конкуренция побуждает к активному поиску лучшего работающего решения.

[Maslov]

epros в сообщении #494045 писал(а):

Касательно же "содержательности" или "феноменологичности" модели, то, по-моему, это как раз не имеет никакого значения. Можно считать, что формула закона тяготения Ньютона является чистой феноменологией, что Ньютон просто аппроксимировал реальные силы тяготения простой степенной формулой (мы ведь знаем из ОТО, что на самом деле закон тяготения сложнее). Однако ж эта формула весьма неплохо предсказывает движение небесных тел (а не просто аппроксимирует известные ранее данные). Так что есть все основания именовать её "моделью" и не отказывать теории Ньютона в праве на некую "содержательность".

Я никогда не утверждал, что "содержательная" -- это хорошая модель, а "феменологическая" -- плохая "немодель". И закон всемирного тяготения был приведен именно как пример очень хорошей и чрезвычайно полезной феменологической модели. Что же касается предсказательной силы, то она к степени содержательности прямого отношения не имеет; другое дело, что для содержательной модели, построенной на базе некоторой теории или подхода, обычно легче указать границы области применимости.

PAV в сообщении #494210 писал(а):

опустим, что некоторый заказчик хочет получить "математическую модель", которая бы с удовлетворительной точностью описывала его данные. Сам он в математике не слишком силен, поэтому справиться своими силами не может, и желает поручить это нанятому эксперту.

Необходимым условием построения работоспособной модели является указание класса задач, которые с помощью этой модели предполагается решать, и критериев оценки адекватности. До тех пор пока заказчик этого не поймет, вопросы взаимодействия к ним относятся, скорее, к области маркетинга, а не математического моделирования. Математическая модель -- это некоторая формальная процедура, которая позволяет получить значения интересующих нас данных по известным значениям входных параметров, и выкидывать из нее результаты параметрической идентификации, на мой взгляд, неправильно, а иногда -- просто невозможно.

Рассмотрим, например, нейронные сети. Построить нейросетевую модель означает выбрать конфигурацию сети и, в обязательном порядке, определить конкретные значения весов. Взятая отдельно от весов структура сети мало кому интересна и вряд ли может называться моделью.

[ewert]

(Оффтоп)

PAV в сообщении #494266 писал(а):

не в упрек Вам будет сказано, чистые математики признают только строго обоснованные,

Да мы там были как раз скорее шалопаями: просто построили некие регрессии. Хотя один из нас (не я, разумеется) был и вполне грамотным вероятностником. Посмотрели, не высматривается ли чего, и пришли к единодушному выводу: не-а.

[mserg]

PAV, я не понял примера. Если точки примерно лежат на прямой, и их довольно много, то нужно очень постараться, чтобы получить не прямую. Если специально не изращаться, то будет получена прямая, не смотря на волюнтаризм выбора параметров подбора модели. Все-таки имею некоторый опыт в этом деле.

Если экспериментальные точки лежат не совсем на прямой, то с чего бы это у разных экспертов получится одинаковая модель. Один может получить параболу, другой - экспоненту, третий - дугу окружности и т.д.

Если Вы хотите что-либо продемонстрировать, то лучше бы выбрать такой пример, чтобы для «экспериментальных данных» «не существовало» аналитической модели. Это гораздо ближе к реальности.

[epros]

ewert в сообщении #494251 писал(а):

И где-то процентов на десять наши предсказания будут превышать значения просто белого шума.

Для фондового рынка такой результат был бы более чем хорош - он бы позволил реально очень быстро обогатиться. Но там другие проблемы: Таких умных, которые отслеживают всевозможные закономерности с помощью разнообразных навороченных алгоритмов, полно. Поэтому когда появляется успешно играющий алгоритм, рынок довольно быстро это просекает и корректирует своё поведение, сводя эффективность этого алгоритма к нулю. Ну, не к нулю в буквальном смысле, конечно, а к нормальным среднерыночным показателям.

Maslov в сообщении #494277 писал(а):

Я никогда не утверждал, что "содержательная" -- это хорошая модель, а "феменологическая" -- плохая "немодель".

Я только хотел сказать, что "содержательность" или "феноменологичность" - это довольно неопределённые понятия, поэтому вряд ли стоит их брать за основу при попытке что-то более или менее строго определить.

[ewert]

epros в сообщении #494352 писал(а):

рынок довольно быстро это просекает и корректирует своё поведение

Там был никакой не рынок, и просекать было некому и нечего. Там были просто перевозчики, которые хотели бы спрогнозировать потребности в своих услугах и на основании этого оптимизировать свою деятельность. Ну и оказалось, что спрогнозировать чуть-чуть можно, но не шибко-то.

[epros]

(Оффтоп)

ewert в сообщении #494737 писал(а):

Там был никакой не рынок, и просекать было некому и нечего. Там были просто перевозчики, которые хотели бы спрогнозировать потребности в своих услугах и на основании этого оптимизировать свою деятельность. Ну и оказалось, что спрогнозировать чуть-чуть можно, но не шибко-то.

Да, да, я понял.