Люди, порой, не видят очевидные вещи [нелин. аппроксимация]

[mserg]

Аппроксимация - это же "внутреннее дело" математики, т. е. замена одного математического объекта на другой в соответствии с определенным критерием или еще как-то...

Если речь идет о математических моделях, т. е. применимости на практике, то наиболее универсальный механизм проверки - это перекрестная проверка (cross checking), разве нет? Проблема же не только в том, что "среднее" при заменах съезжает. Например, если прогнозируют продажи, то их иногда сначала логарифмируют, потом аппроксимируют, и потом обратно "экспонируют". Это делается для того, чтобы единичные случайные крупные продажи не "портили статистику". Как ни странно, результат прогнозирования при таком фокусе бывает выше, чем прямая аппроксимация продаж. Есть и другие примеры... дисбаланс данных, когда аппроксимируемые данные распределены неравномерно, скажем, по оси абсцисс. Или когда критерий математической модели таков (так нужно в реальности), что аппроксимация даже теоретически не совпадает со средним.

В общем, я бы на регрессию (в статистическом смысле) не налегал, а больше бы доверился перекрестной проверке. А при ней "любые преобразования" имеют право на рассмотрение.

[prof.uskov]

mserg, в данном случае меня, все же, интересует именно регрессионный анализ.

-- 30.10.2016, 12:31 --

Евгений Машеров в сообщении #1164207 писал(а):

Да никакие не нужны. Кроме того, что это Наименьшие Квадраты. Это чисто алгебраический факт.
Регрессоры определяют некоторое натянутое на них пространство. Когда мы строим МНК-оценку, мы проецируем регрессанд на это пространство. Отклонения от регрессии лежат в пространстве, ортогональном к названному. "Игреки с крышкой" же лежат в этом пространстве. Соответственно, второе соотношение следует из того, что скалярное произведение ортогональных векторов ноль. А первое - теорема Пифагора.
"Предпосылки" нужны для того, чтобы обосновать, что МНК это хорошо. И затем получить статистические свойства. А сами соотношения чисто вычислительные. Лишь бы квадраты.

Да, нашел в Себер "Линейный регрессионный анализ".

[prof.uskov]

Евгений Машеров в сообщении #1164207 писал(а):

Да никакие не нужны. Кроме того, что это Наименьшие Квадраты. Это чисто алгебраический факт.

Да, разобрался, из геометрии МНК следует:
$\sum (y_{i}-\bar{y})^2=\sum (\hat{y_{i}}-\bar{y})^2+\sum e_{i}^2$. (1)
$\sum (y_{i}-\hat{y_{i}})(\hat{y_{i}}-\bar{y})=0$, (2)
Но получается, что параметры в модель должны входить линейно.
Для произвольного нелинейного МНК (1) и (2) могут не выполняться?

[Евгений Машеров]

Для "произвольного нелинейного МНК", для начала, не то, чтобы нельзя посчитать среднее арифметическое игреков, но у него существенно меньше смысла, ввиду неаддитивности нелинейных связей.

[prof.uskov]

Евгений Машеров в сообщении #1165038 писал(а):

Для "произвольного нелинейного МНК", для начала, не то, чтобы нельзя посчитать среднее арифметическое игреков, но у него существенно меньше смысла, ввиду неаддитивности нелинейных связей.

Да, но нелинейный МНК - очень распространенная на практике штука, ведь многие искусственные нейронные сети прямого распространения, по-сути, - нелинейный МНК, например, многослойный персептрон, обучающийся по методу обратного распространения ошибки.

[prof.uskov]

mserg в сообщении #1164243 писал(а):

Аппроксимация - это же "внутреннее дело" математики, т. е. замена одного математического объекта на другой в соответствии с определенным критерием или еще как-то...

Если речь идет о математических моделях, т. е. применимости на практике, то наиболее универсальный механизм проверки - это перекрестная проверка (cross checking), разве нет?

Проверке адекватности модели посвящена тема post1159386.html?hilit=#p1159386