Отличие математической модели от аппроксимации

[PAV]

mserg
насколько я понимаю, Вы собираетесь либо создать инструмент для описания экспериментальных данных (и дальнейшего прогноза), либо предлагать услуги по этой деятельности. В принципе, эта ниша совсем не пустая. Существует определенное количество таких инструментов общего назначения, а также я находил сайты, где люди предлагали такие услуги. Мое личное мнение - что для совсем уж нетребовательных заказчиков это может сработать, но в целом такой подход работает обычно плохо и результат получается слабый.

Что же до основного вопроса - то я однозначно считаю, что это аппроксимация, а не модель. Например, вот по какой причине. В качестве метода регуляризации, с помощью которого контролируется переученность системы, Вы решили взять сложность ее описания. Разумный подход, хотя и не единственный. Наверняка кстати не новый. Но в любом случае, остается еще выбрать соотношение между точностью аппроксимации и сложностью. Этот выбор Вы делаете сами (ну или заказчик), и от данных он не зависит. А модель явления все-таки обычно должна быть объективной. Странно, когда модель оказывается зависящей от волюнтаристского выбора способа регуляризации и некоторых числовых параметров, которые делает ее автор или потребитель.

[ewert]

PAV в сообщении #493663 писал(а):

Странно, когда модель оказывается зависящей от волюнтаристского выбора способа регуляризации и некоторых числовых параметров, которые делает ее автор или потребитель.

Вообще-то не так уж и странно. Когда, скажем, в методе наименьших квадратов в качестве модели используют алгебраические многочлены, а не какие-то обобщённые -- чем это не волюнтаризм?... Вполне себе волюнтаризм. А ведь так делают.

[synphara]

Цитата:

Вообще-то не так уж и странно. Когда, скажем, в методе наименьших квадратов в качестве модели используют алгебраические многочлены, а не какие-то обобщённые -- чем это не волюнтаризм?

Ну так поэтому это и аппроксимация, а не выявленный закон, который mserg называет математической моделью.

[mserg]

Боюсь что моделей, которые описывают реальность «как все на самом деле», не было, нет, и не будет. И «объективность» - это просто достаточно высокая степень доверия, и не более того.

Модели могут быть грубыми, или более точными. Это обычное дело. Заказчик вполне может сказать, что он хочет.

По мере появления дополнительных данных, волюнтаризм сходит на нет. Например, мы обсуждали проблему продолжения ряда. Если у нас будут такие данные:
1,2 и все, то волюнтаризм будет доминировать и «формула», описывающая ряд, может быть весьма разной. Если данные будут:
1,2,4,8,16,32,64,128,256,512,1024
то получить «неправильную модель» из-за волюнтаризма будет сложнее. Речь, напомню, шла об определении волюнтаристского термина «длина формулы».
Если будет 300 чисел, то чтобы получить не $2^{n-1}$, нужно быть альтернативно одаренным.
С точностью будет то же самое. Это, конечно, при условии, что новые данные все время будут «разные». Кстати говоря, для моделей, которые можно бы назвать «объективными», ситуация ни чем не лучше.

Способ борьбы с волюнтаризмом №2 – это одна общая модель на множество задач (скажем, 10000 штук) из самых разных областей. В этом случае модели, описывающие данные конкретных задач, могут иметь «общие куски» (например, одна параметрическая модель на несколько задач, определения некоторых новых общих функций, и т.д.). В общем случае, сложность одной общей модели не больше (в реальности будет сильно меньше), чем сумма сложностей отдельных моделей.

[Maslov]

На мой взгляд, исходный вопрос сформулирован некорректно: в большинстве случаев математическая модель строится именно методом аппроксимации (по крайней мере, именно так определяются параметры модели по имеющимся экспериментальным данным), поэтому противопоставлять эти два понятия терминологически неправильно.

Правильнее говорить о математических моделях разной степени содержательности: от чисто феноменологических (описывающих внешние стороны некоторого явления без претензий на объяснения причин) до содержательных (претендующих на объяснение природы явления). Реальные процессы зачастую слишком сложны, чтобы можно было построить их содержательную модель, поэтому часто приходится довольствоваться феноменологическими моделями; главное -- четко отдавать себе отчет о границах их применимости. Бессмысленно говорить о "хорошести" или "плохости" модели, до тех пор пока мы не определили, каким образом и для решения каких задач она будет использоваться.

Тот же закон всемирного тяготения довольно долго был чисто феноменологической моделью.

Что же касается использования длины формулы в качестве критерия адекватности модели, то вот здесь-то и живет волюнтаризм, ибо все определяется набором "элементарных" функций: возьмем в качестве элементарных только четыре действия арифметики -- получим один класс моделей заданной "простоты", добавим экспоненты/синусы/косинусы -- получим другой класс, добавим спец. функции и операторы дифференцирования/интегрирования -- совсем-совсем третий. Любую функциональную зависимость можно обозвать буквой $\theta$ и таким образом получить для нее формулу длиной 1.

[PAV]

Волюнтаризм волюнтаризму рознь. Мне кажется, что имеется очевидная, хотя возможно и плохо формализуемая разница между выбором общего вида функциональной зависимости и между выбором способа регуляризации, а уж тем более - между взятием совсем уж с потолка конкретных весов, с которыми будут входить в целевую функцию точность аппроксимации и отклонение от регуляризующих условий.

Можно сказать, что первое значительно более устойчиво, чем второе.

Ну вот например. Рассмотрим стандартную задачу линейной регрессии. Имеется набор данных в виде точек на плоскости $(x_i,y_i)$. Мы посмотрели на них и увидели, что наблюдается приблизительная линейная зависимость игреков от иксов. Тогда мы постулировали модель, согласно которой имеется зависимость $y_i=ax_i+b+z_i$, где $a$ и $b$ - фиксированные коэффициенты, а $z_i$ - независимые случайные величины (ошибки наблюдений), распределенные нормально с нулевым средним и одинаковой для всех сигмой. Заметим, что решение о выборе такой модели мы принимаем только взглянув на данные, в том смысле, что всерьез мы конкретные значения при этом еще не использовали. Далее в рамках выбранной модели мы можем по выборке оценивать неизвестные параметры, строить доверительные интервалы и так далее. Но конкретные числовые значения этих оценок, полученные по данной выборке, уже нельзя считать определенными точно, а потому их уже обычно в модель не включают.

Если нам дадут другую выборку, но полученную из того же источника и описывающую тот же объект, то скорее всего мы по ней примем ту же самую линейную модель, однако конкретные числовые значения параметров получатся уже немного другими, хотя и в пределах допустимой статистической погрешности. Таким образом, выбор линейной зависимости - это устойчивое решение, которое вполне вероятно отражает объективную реальность, и потому его разумно называть моделью. А вычисление конкретных числовых параметров по выборке - очевидно явно зависит от выборки, эти значения изменятся даже при незначительном ее шевелении, и потому это очевидно приближенные к реальности значения, точность которых зависит от объема данных и от случая.

[synphara]

Цитата:

Можно сказать, что первое значительно более устойчиво, чем второе.

Первое в вашем примере вообще не аргументируется и похоже повторение решения о линейности это вообще возможно вопрос ригидности человеческого мышления. Вы берёте, например, линейную модель, но реальный закон который влияет на изменчивость случайных величин может оказаться слабонелинейным. Визуально по облаку вы это не отличите. А нелинейность при экстраполяционном прогнозировании может сыграть плохую роль, особенно если экстраполировать приходится на большой "расстоянии" от измеренных значений. Есть конечно такой подход что после аппроксимации высчитывается средняя относительная ошибка, анализируется изменчивость значений остатков в зависимости от влияния независимой\мых перменной. И выбирается та модель которая даёт оптимальные значения этих оценок. Однако адекватность этих оценок может просто потонуть в дисперсии случайных величин.

Стабильность решения о типе модели мне кажется сомнительной, оно почти с потолка берётся. А вот стабильность решения о самой оптимизации (те самые коэффициенты регрессии или веса в нейронных сетях) возможно и выше. В той же регресии есть оценка случайности полученных результатов (проверка на значимость через критерий Фишера). При небольшой выборке и низкой корреляции эта оценка вам скажет что ваши коэффициенты - случайны. При большой выборке и высокой корреляции вы можете быть математически аргументированно уверены что досъём измерений или полная пересъёмка значимо не изменит результаты вашей регуляризации.

Это верно кроме случаев когда в поведение случайной величины вмешивается дополнительный фактор не действоваший ранее (или действовавший слабо), что и происходит в экономике, что и мешает применению там традиционных подходов в основе которых лежит аппроксимация.

[Maslov]

PAV в сообщении #493806 писал(а):

Но конкретные числовые значения этих оценок, полученные по данной выборке, уже нельзя считать определенными точно, а потому их уже обычно в модель не включают.

Это зависит от класса модели. Если мы говорим о законе Гука, значение коэффициента упругости для конкретной среды в формулировку модели действительно не входит. Но во многих практических применениях коэффициенты модели являются ее неотъемлемой частью.

При этом задача построения математической модели распадается на два этапа: структурная идентификация (выбор вида аппроксимирующей зависимости) и параметрическая идентификация (определение конкретных параметров этой зависимости).

Например, при построении математической модели химического процесса на основе закона действующих масс структурная идентификация заключается в определении набора элементарных стадий, из которых складывается процесс, а параметрическая -- в определении констант скоростей отдельных стадий. Более того, в связи с тем, что модель сводится к системе обыкновенных дифференциальных уравнений, проверить адекватность структурной идентификации без определения значений параметров просто невозможно.

[epros]

mserg в сообщении #493458 писал(а):

Вот приходите Вы к потенциальному заказчику и говорите: "У вас есть данные - я могу по ним построить модель". Тут же прибегает какай-нибудь старый пе... специалист, и заявляет: это просто аппроксимация, верить этому нельзя, а это - тыкая в меня, просту чудак на букву М. Вот, мы, тут, такие, умные, успешные, с опытом, у нас справка (ученая степень), и т.д. И все - сам ничего не может, и другим не даст.
Когда говорят об аппроксимации - то в массовом сознании это полиномы, сплайны, нейросети, и т.д. - это, по большому счету, никому не интересно.

Ага, понятно, почему слова имеют значение. Ну, раз Вы хотели бы назвать это моделью, так и назовите. А если появится критически настроенный "специалист" (грамотный заказчик всегда должен иметь такого под рукой, называется: "адвокат дьявола" ), то с умным видом объясните заказчику, что у Вас - не просто аппроксимация существующих данных, а модель, которая позволяет по новым рыночным данным предсказывать наиболее правильный ход трейдера (о том, что она может его предсказывать катастрофически плохо, можно благоразумно умолчать ).

[mserg]

Классика жанра такова. Математическая модель строится на некотором наборе предположений. Эти предположения можно даже назвать аксиомами для реального мира, выраженного математическим языком. Они принимаются «на веру» без каких-либо доказательств. Например, ДОПУСТИМ, что:
* Долю всех заболевших в некотором городе можно охарактеризовать действительным числом от 0 до 1
* Скорость заражения в данный момент пропорциональна количеству уже заболевших (переболевших) и еще не болевших.
Нетрудно записать это математическим языком.

Если речь пойдет о классической механике, см. там существует набор физических аксиом (они же предположения): http://ru.wikipedia.org/wiki/%D0%9A%D0% ... 0%BA%D0%B0.

Далее, применяя заданную аксиоматику и всю мощь формального математического аппарата, модели можно «пользовать».

Доверие к (математической) модели складывается из двух факторов:
* Минимум предположений при ее построении
* Максимальное соответствие имеющимся данным из реального мира

Вот и все.

Если модель «неудачно» описывает реальность, мы ей «не верим». Но от этого она не перестает быть моделью. И мы ее выбрасываем.

Когда речь идет о компьютерном подборе модели, то нужен критерий выбора лучшей из них. Допуская некоторую вольность речи, можно сказать, что объем допущений – это выраженная в битах длина модели. Да, это дает плохой метод подбора модели, в то время как остальные вообще ... хранят молчание. И про волюнтаризм выбора длины формулы и прочее я уже отвечал неоднократно. Ну, найдите дискуссии 60-х годов о методах, применяемых в исследовании операций. Там имеем полный волюнтаризм. И чрезвычайно высокую практическую эффективность. Ну, работает это, что вы от меня хотите?

synphara может проделать такое упражнение. Возьмет игру на бирже как «реальность», и нейросети как ее «математическую модель». Т.е. просто выпишет, какие были сделаны тут предположения. И увидит, что эти предположения правильнее назвать «безудержной фантазией», и то и «галлюцинациями». И вот, исходя из этих галлюцинаций, будет делаться прогноз.

То, что описал PAV, называется параметрической моделью. Например, в механике Ньютона, в котором мир состоит из тел, каждое из них имеет параметры: координаты, скорость, массу, приложенные силы. Но если объект в единственном экземпляре, это же не значит, что его поведение запрещено называть моделью.

epros у нас отжег. Хотя неявно была описана другая схема работы с заказчиком. Например так: берем у заказчика исторические данные за 6 месяцев, по 5-ти подбираем модель. На 6-м месяце (последнем) проверяем – вместе с заказчиком пялимся в график изменения счета. Если выигрыша нет, расходимся. Если есть выигрыш, пялимся в «формулу», которая играет (подбирается же аналитическая модель), анализируем ее. Можно даже прикинуть, когда модель обломится (деление на нуль, отрицательный корень и т.п.).
Большая просьба, прежде чем писать, хоть что-нибудь прочесть в обсуждении.

[synphara]

Цитата:

synphara может проделать такое упражнение. Возьмет игру на бирже как «реальность», и нейросети как ее «математическую модель». Т.е. просто выпишет, какие были сделаны тут предположения. И увидит, что эти предположения правильнее назвать «безудержной фантазией», и то и «галлюцинациями». И вот, исходя из этих галлюцинаций, будет делаться прогноз.

Да я уже запутался в ваших системах и предположениях. Вы, кстати, так ни не объяснили чем вы пользуетесь. Мне всё кажется что у вас толи нейросети, толи регрессия общего вида, толи автоматизированный перебор кучи моделей
с критерием выбраковки их по мне так и не ставшему понятным критерию (толи сложности через длинну формулы, которая останаливает переобученность модели, толи еще чего). Ну хорошо если это у вас работает. Я не против .

-- 18.10.2011, 23:40 --

А на счёт ответа на ваш главный вопрос лучше всего ответил Maslov в сообщении post494015.html#p494015

У вас это полюбому модель. Но чувак со степенью от вас требует не феноменологической модели, а содержательной. Хотя не факт что в экономике - она вообще возможна.

...правда там какое-то шевеление происходит. Теория игр, еще что-то возникает. М.б. экономика найдёт что-то своё, уникальное...

[Klad33]

Maslov в сообщении #493823 писал(а):

.. задача построения математической модели распадается на два этапа: структурная идентификация (выбор вида аппроксимирующей зависимости) и параметрическая идентификация (определение конкретных параметров этой зависимости).

Очень верная мысль. Но в данной теме, как мне кажется, идет война терминов. Математика многогранна и в ней можно найти как математическую модель, внутри которой имеется блок аппроксимации, так и аппроксимацию целой математической модели. Если первое понятно и пояснений не требует, то примером второго является, например, аппроксимация редкого катастрофического явления, где само явление описывается сложной математической моделью.

[epros]

mserg в сообщении #494012 писал(а):

Большая просьба, прежде чем писать, хоть что-нибудь прочесть в обсуждении.

Сильно извиняюсь, если я что-то прочёл недостаточно внимательно - ленюсь. Но "что-нибудь" я всё же прочёл. И из прочитанного я сделал вывод, что Ваш вопрос - чисто терминологический, а цели, побуждающие Вас к его "правильному" решению - маркетинговые. Я, конечно, учитываю, что очевидно (для заказчика) неадекватный выбор термина Вам не подходит. Поэтому я привёл Вам некие аргументы в пользу выбора термина "модель". Не смотря на весь легкомысленный контекст, аргументы, по-моему, достаточно убедительные. Но, конечно, если Ваша программа не может принимать решения на основании только исторической информации (т.е. без сегодняшних и будущих параметров), то эти аргументы Вам не подойдут. Т.е., если я правильно понял ситуацию, суть тут не в схеме работы с заказчиком, а в возможностях продукта, который Вы предлагаете.

Касательно же "содержательности" или "феноменологичности" модели, то, по-моему, это как раз не имеет никакого значения. Можно считать, что формула закона тяготения Ньютона является чистой феноменологией, что Ньютон просто аппроксимировал реальные силы тяготения простой степенной формулой (мы ведь знаем из ОТО, что на самом деле закон тяготения сложнее). Однако ж эта формула весьма неплохо предсказывает движение небесных тел (а не просто аппроксимирует известные ранее данные). Так что есть все основания именовать её "моделью" и не отказывать теории Ньютона в праве на некую "содержательность".

[PAV]

Приведу гипотетический и умозрительный пример "общения с заказчиком", который, как мне представляется, может служить подтверждением моей точки зрения. Допустим, что некоторый заказчик хочет получить "математическую модель", которая бы с удовлетворительной точностью описывала его данные. Сам он в математике не слишком силен, поэтому справиться своими силами не может, и желает поручить это нанятому эксперту. Предположим, что он для большей уверенности в полученном решении решил нанять двух независимых экспертов, чтобы потом сравнить их результаты. И данные он тоже разделил на две части: одну отдал первому, другую - второму.

Допустим, как и раньше, что оба эксперта решили использовать линейную зависимость, однако коэффициенты у них, разумеется, получились несколько различны. Если они представляют результаты свой работы как модель, выражаемую конкретной зависимостью (с цифрами), то получается, что заказчику предъявляют две формально разных формулы, называя каждую из них "моделью". Это может его обескуражить, особенно если он, как было предположено, в математике не особо силен. Поймет ли он сам, что эти результаты не противоречат друг другу - большой вопрос.

С другой стороны, эксперты могут представить результаты своей работы иначе, а именно так. В качестве модели функциональной зависимости выбрана линейная (приводится общая формула с неизвестными коэффициентами). Значения параметров этой модели могут быть с некоторой точностью оценены по имеющимся данным. В рассматриваемом случае (предъявляется та выборка, которую заказчик передал соответствующему эксперту) значения коэффициентов получились такие-то. Плюс еще можно попытаться оценить точность.

В этом случае с точки зрения заказчика все выглядит гораздо более убедительно: та часть, которую эксперты представили как модель, у них совпала в точности, ну а про параметры сразу было сказано, что они оценены приближенно по имеющимся данным, поэтому отличие тоже совершенно объяснимо.

В случае же той схемы, которую предлагает mserg, все еще сложнее, потому что в зависимости от параметров оптимизации, которые он выберет сам, даже вид формулы может получиться очень разный. Объяснить заказчику такую разницу будет уже гораздо сложнее.

[ewert]

Я могу лишь привести для сравнения тему которую нам тут не так давно (с год назад) некоторые коммерсанты предложили.

У них был довольно большой массив данных по клиентам: кто, в какую дату и какие перевозки (кажется, речь шла о перевозках) в какие календарные дни заказывал. И можно ли их (заказы) предсказать на будущее, опираясь на предыдущую статистику. А, нет, не на будущее вообще, а на каждую конкретную дату или хоть неделю в будущем.

Ну мы провели соотв. анализы и сказали: да, в принципе, можно. Некоторая корреляция наблюдается. И где-то процентов на десять наши предсказания будут превышать значения просто белого шума. А вот больше -- уж никак нельзя, извините; накопленная статистика говорит, что большей корреляции уж никак не выйдет.

Они так носом повертели, повертели -- да и слиняли.