Люди, порой, не видят очевидные вещи [нелин. аппроксимация]

[Евгений Машеров]

Нет. Он может быть ещё хуже, накапливая ошибку быстрее.

[prof.uskov]

Евгений Машеров в сообщении #1162315 писал(а):

Нет. Он может быть ещё хуже, накапливая ошибку быстрее.

Странно, я где-то читал, что рекурсивный МНК - способ борьбы с обращением плохообусловленной матрицы. :)

[Евгений Машеров]

Если матрица плохо обусловлена - то, используя рекурсивный алгоритм, получим ноль или близкое к нулю в знаменателе.
Преимущества рекурсивных алгоритмов - сокращение требований к памяти (особенно при специальной структуре матрицы, что играет в задачах обработки речи, можно с $n^2$ сократить память до n) и возможность пересчитывать "на лету" (что тоже полезно для обработки сигналов).

[Евгений Машеров]

prof.uskov в сообщении #1162151 писал(а):

Есть еще вопрос, если
$rank(\mathbf F^T \mathbf F)<l$, где $l$ - размерность матрицы $\mathbf F$, то формулу
$\mathbf b=(\mathbf F^T \mathbf F)^{-1} \mathbf F^T \mathbf y$
использовать нельзя, так как матрица $\mathbf F^T \mathbf F$ вырожденная.
Одно из решений можно найти найти по формуле
$\mathbf b=(\mathbf F^T \mathbf F)^{+} \mathbf F^T \mathbf y$,
где $\mathbf A^{+}=(\mathbf A^T \mathbf A)^{-1} \mathbf A^T $
Так ли это?

Если матрица F вырожденная, то не так. Приведенная формула для псевдообратной матрицы работает, если прямоугольная матрица A "максимального ранга", то есть её ранг равен минимуму из числа строк и столбцов. Тогда $A^TA$ обратима, и вычисление возможно. Если это не так, можно использовать
$A^+=\lim_{k\to 0}(A^TA+kI)^{-1}A^T$ или построить сингулярное разложение $A=S\Lambda C$ и получить $A^+=C^T\Lambda^+S^T$
где $\lambda_i^+=\begin{cases} 1/\lambda_i, &\lambda_i > 0\\ 0,&\lambda_i=0 \end{cases}$

[ewert]

Евгений Машеров в сообщении #1162531 писал(а):

Приведенная формула для псевдообратной матрицы работает, если прямоугольная матрица A "максимального ранга", то есть её ранг равен минимуму из числа строк и столбцов.

Как-то всё не в ту степь. (не обратил тогда внимания за непринципиальностью)

Во-первых, в невырожденном случае псевдообратная матрица тупо совпадает с просто обратной, а не умноженной на какую-то там сопряжённую. Во-вторых, для совпадения (пусть и неправильно указанного) требуется не только полнота ранга, но и чтоб ещё исходная матрица была "высокой" (во всяком случае, не "широкой").

[Евгений Машеров]

Ну нет у прямоугольной матрицы "просто обратной".

[ewert]

Первое замечание снимаю (инстинктивно ориентировался на обратные к Граму). Второе остаётся в силе.

[Евгений Машеров]

Ну, так мы же рассматриваем применение к задаче МНК? А там строк заведомо больше, чем столбцов. В общем случае придётся рассматривать два варианта.

[prof.uskov]

В регрессионном анализе известно соотношение: дисперсия объясняемой переменной равна сумме дисперсии, объясняемой регрессией и дисперсии, которую не удается объяснить:
$\sum (y_{i}-\bar{y})^2=\sum (\hat{y_{i}}-\bar{y})^2+\sum e_{i}^2$. (1)
Вопрос, с учетом каких предпосылок выполняется (1)?

При выводе (1) используется формула:
$\sum (y_{i}-\hat{y_{i}})(\hat{y_{i}}-\bar{y})=0$, (2)
откуда она следует?

[Евгений Машеров]

Теорема Пифагора. А откуда здесь ортогональность взялась - из минимизации квадратов.

[prof.uskov]

Евгений Машеров в сообщении #1164184 писал(а):

Теорема Пифагора. А откуда здесь ортогональность взялась - из минимизации квадратов.

Формула (2) - это по сути, оценка момента корреляции. Первый сомножитель - оценка аддитивной помехи. Равенство нулю получается из независимости аддитивной помехи от других переменных. Так как это оценка, то равенство нулю в формуле (2) должно быть приближенным, выполняемым лишь в среднем, соответственно формула (1) - тоже приближение.

-- 29.10.2016, 23:54 --

Евгений Машеров в сообщении #1164184 писал(а):

Теорема Пифагора. А откуда здесь ортогональность взялась - из минимизации квадратов.

Вывода формулы (1) на основе теоремы Пифагора не встречал.

[Евгений Машеров]

Оно точно выполняется. По построению.

[prof.uskov]

Евгений Машеров в сообщении #1164191 писал(а):

Оно точно выполняется. По построению.

Где описано? Читаю Ферстера и Демиденко, там (1) выводится алгебраически с использованием (2). При этом, условия выполнения (2) вообще не указаны.

-- 30.10.2016, 00:01 --

Евгений Машеров в сообщении #1164191 писал(а):

Оно точно выполняется. По построению.

Какие из предпосылок регрессионного анализа должны выполняться? Все, кроме нормальности шума?

[Евгений Машеров]

Да никакие не нужны. Кроме того, что это Наименьшие Квадраты. Это чисто алгебраический факт.
Регрессоры определяют некоторое натянутое на них пространство. Когда мы строим МНК-оценку, мы проецируем регрессанд на это пространство. Отклонения от регрессии лежат в пространстве, ортогональном к названному. "Игреки с крышкой" же лежат в этом пространстве. Соответственно, второе соотношение следует из того, что скалярное произведение ортогональных векторов ноль. А первое - теорема Пифагора.
"Предпосылки" нужны для того, чтобы обосновать, что МНК это хорошо. И затем получить статистические свойства. А сами соотношения чисто вычислительные. Лишь бы квадраты.

[prof.uskov]

Евгений Машеров в сообщении #1164207 писал(а):

Да никакие не нужны. Кроме того, что это Наименьшие Квадраты. Это чисто алгебраический факт.
Регрессоры определяют некоторое натянутое на них пространство. Когда мы строим МНК-оценку, мы проецируем регрессанд на это пространство. Отклонения от регрессии лежат в пространстве, ортогональном к названному. "Игреки с крышкой" же лежат в этом пространстве. Соответственно, второе соотношение следует из того, что скалярное произведение ортогональных векторов ноль. А первое - теорема Пифагора.
"Предпосылки" нужны для того, чтобы обосновать, что МНК это хорошо. И затем получить статистические свойства. А сами соотношения чисто вычислительные. Лишь бы квадраты.

Но гипотеза адекватности модели должна выполняться? Аппроксимирующая зависимость должна в точности соответствовать истинной с точностью до оцениваемых параметров, которые входят линейно. Для нелинейных параметров это работать не будет?