Корректность метода наименьших квадратов

[sergei1961]

1. Рассмотрим стандартную постановку задачи приближения набора точек на плоскости с помощью прямой методом наименьших квадратов - везде написано, что задача сводится к решению системы для коэффициентов прямой размером $2 x 2$. Гораздо реже доказывается корректная разрешимость этой системы при условии, что все точки различны, - пишем главный определитель, он больше нуля по неравенству Коши-Буняковского, или неравенству между средними арифметическим и квадратичным, условие равенства исключено при постановке задачи.
2. Вопрос 1. Переходим в этой задаче от прямой к параболе - квадратному трёхчлену. Для его коэффициентов получаем систему $3 x 3$. Дайте ссылку, где доказана корректная разрешимость этой системы.
3. Вопрос 2. В этом случае для главного определителя $3 x 3$ получается неравенство между суммами степеней. Его можно элементарно доказать?
4. Вопрос 3. Получается система с положительно определённой матрицей. Это можно увидеть сразу и использовать при доказательстве невырожденности, не считая определители?
Те же вопросы для приближения многочленами любой степени по методу наименьших квадратов.
5. Вопрос 4. Как доказать корректность? Как доказать нужное неравенство между суммами степеней, если использовать путь через главный определитель?
6. Вопрос 5. Как доказать положительную определённость матрицы системы для коэффициентов, если она выполняется при степени полинома больше трёх?
7. Вопрос 6. Есть простой обходной путь доказательства корректности метода (=однозначной разрешимости системы для коэффициентов) для произвольной степени приближающего полинома?

[Pphantom]

sergei1961 в сообщении #1195354 писал(а):

1. Рассмотрим стандартную постановку задачи приближения набора точек на плоскости с помощью прямой методом наименьших квадратов - везде написано, что задача сводится к решению системы для коэффициентов прямой размером $2 x 2$. Гораздо реже доказывается корректная разрешимость этой системы при условии, что все точки различны, - пишем главный определитель, он больше нуля по неравенству Коши-Буняковского, или неравенству между средними арифметическим и квадратичным, условие равенства исключено при постановке задачи.

Предположим, что точки на плоскости образуют "облако" с симметричным относительно центральной точки распределением плотности. Сопадающих точек, естественно, нет. Задача также будет разрешима?

[sergei1961]

Все иксы должны быть разными. Это же стандартная задача из учебника, тут можно немного недоговаривать или выразиться приблизительно, хорошо? А если все иксы разные - то однозначна разрешима методом наименьших квадратов.

[g______d]

А я всё равно не понимаю. Ну возьмём вершины равностороннего треугольника, например, так, чтобы абсциссы у всех вершин были разные.

[Pphantom]

sergei1961 в сообщении #1195372 писал(а):

Все иксы должны быть разными.

Это никак не противоречит моему условию, в подобном "облаке" точек с совпадающими абсциссами вполне может не быть. Например, представьте, что "облако" состоит из точек, расположенных в вершинах правильных многоугольников разных размеров с одним и тем же центром. Понятно, что подобрать угол поворота каждого многоугольника так, чтобы общих абсцисс не было, тривиально.

sergei1961 в сообщении #1195372 писал(а):

А если все иксы разные - то однозначна разрешима методом наименьших квадратов.

Честно говоря, мой исходный вопрос был риторическим. Ответ на него отрицателен, подумайте, почему.

[sergei1961]

Разве в приведённых примерах-треугольник, многоугольник - нельзя прямую провести методом наименьших квадратов? Она же через точки не проходит, просто существует и всё, обеспечивая минимум сумме квадратов расстояний до точек. Что-то я не понимаю, в чём проблема.

[Pphantom]

sergei1961 в сообщении #1195393 писал(а):

Разве в приведённых примерах-треугольник, многоугольник - нельзя прямую провести методом наименьших квадратов? Она же через точки не проходит, просто существует и всё, обеспечивая минимум сумме квадратов расстояний до точек. Что-то я не понимаю, в чём проблема.

А попробуйте представить, как должна быть расположена прямая, проходящая через "облако" (тут его удобнее представлять именно облаком точек). Понятно, что она должна проходить через центр. А под каким углом к горизонтали?

[sergei1961]

Ну ладно, облако, Вы же астроном, кажется. То есть Вы опровергаете теорему, доказанную в учебниках: через любое число точек на плоскости с разными иксами проходит и при том ровно одна прямая, решающая задачу о минимуме суммы квадратов расстояний от прямой до этих точек?
Наверное, я потерял нить, о чём мы дискутируем. Вы о какой-то похожей, но другой задаче?

[Pphantom]

sergei1961 в сообщении #1195401 писал(а):

Ну ладно, облако, Вы же астроном, кажется.

Ну да. И что?

sergei1961 в сообщении #1195401 писал(а):

То есть Вы опровергаете теорему, доказанную в учебниках: через любое число точек на плоскости с разными иксами проходит и при том ровно одна прямая, решающая задачу о минимуме суммы квадратов расстояний от прямой до этих точек?

Давайте для начала посмотрим на учебник, в котором это доказывается. А то есть у меня нехорошее подозрение, что Вы немного перепутали формулировку доказываемого утверждения.

[g______d]

sergei1961 в сообщении #1195393 писал(а):

Разве в приведённых примерах-треугольник, многоугольник - нельзя прямую провести методом наименьших квадратов?

Можно, но она, очевидно, не единственна.

[DeBill]

sergei1961
0. Все эти задачи сводятся к общей:
$\left\lVert Ax-b\right\rVert^2 \to \min, x\in \mathbb{R}^n, b\in\mathbb{R}^k,k\geqslant n$
Решение:
$\left\lVert Ax-b\right\rVert^2 = (Ax-b,Ax-b) = (Ax,Ax) - 2(Ax,b)+(b,b) = (A^{\ast}Ax,x) -2(A^{\ast}b,x) +(b,b)$.
Дифференцируя, и приравнивая нулю, получим $Qx = c$, где $Q = A^{\ast}A, c = A^{\ast}b$, откуда $x=Q^{-1}c$
Rem. 1. Решение есть всегда, ибо функционал выпукл и неотрицателен.
Rem.2. О корректности: $Q=A^{\ast} A$ есть матрица Грама для векторов из $\mathbb{R}^k$ - столбиков матрицы $A$. Ее определитель равен квадрату объема парал- да, натянутого на эти вектора. Поэтому $\det A \ne 0 \Leftrightarrow$ столбцы матрицы $A$ линейно независимы $\Leftrightarrow \operatorname{rank} A = n$
Rem.3. Матрица $Q$ (т.е., соотв-я ей квадратичная форма) неотрицательно определена, как всякая матрица Грама: $(Qx,x) = (A^{\ast}Ax,x) =(Ax,Ax)\geqslant 0$ для всех $x\in \mathbb{R}^n$ (и даже $>0$ в корректном случае: $\operatorname{rank} A = n \Leftrightarrow \operatorname{Ker} A =0 $ ).
1. Для задачи линейной регрессии $y = (a,x), a\in \mathbb{R}^n, x\in \mathbb{R}^n$ : пусть заданы наблюдения $(x^j,y^j), j=1,...,k (x^j \in \mathbb{R}^n, y^j \in\mathbb{R})$. МНК грит: надо найти минимум по "$a$" суммы $\sum\limits_{j=1}^{k} ((a,x^j) - y^j)^2$. Это - задача "0" в обозначениях $b=(y^1,...,y^k), x=(a^1,...,a^n), A=(A_{j,i})_{j=1,i=1}^{j=k,i=n}, A_{j,i} = x^j_i$. Условие корректности: ранг матрицы наблюдений $A$ равен $n$.
2. Полиномиальная регрессия $y=a_0 + a_1x +.. +a_n x^n$ сводится к "1" заменой $x_1=1, x_2 = x, x_3= x^2,... x_{n+1} = x^n $.
2.1. Корректность: из Rem.2 и определителя Ван-дер-Монда ( надо не менее $n+1$ эксперимента в РАЗЛИЧНЫХ точках)
2.2. Полож. определенность: оттуда же и Rem.3.

[sergei1961]

Можно я такой ссылкой отделаюсь, понятно написано:
http://www.cleverstudents.ru/articles/mnk.html
Вы же тоже это учили когда-то, так же?
Всё совсем просто: пишем функцию суммы квадратов, она зависит от двух переменных-коэффициентов прямой, берём по каждому коэффициенту производные, приравниваем нулю, получаем систему.
Я и спрашивал, где это в приличных текстах подробно ОБОСНОВЫВАЕТСЯ хотя бы для прямой? То есть, что это действительно минимум, и что получается корректно разрешимая система? В этом смысл вопроса. Я таких учебников сразу не нахожу. Надеюсь, что подскажут

-- 26.02.2017, 00:27 --

De Bill - эти умные вещи мне известны в основном, ещё раз обдумаю, спасибо. Вопрос не в этом. Простой метод - хочется простого обоснования, доступного моим курсантам, хотя бы для 2 и 3 - прямая и парабола. Ещё остался вопрос про конкретные неравенства для параболы. И не понял про вандермонду-там же суммы степеней стоят, а не просто степени, разве это он?

[DeBill]

Нда... Я дал ответы на все 6 вопросов... Но, видимо, не на те, что интересовали ТС...
Задача "найти прямую, для которой сумма квадратов расстояний до нее от заданных точек - минимальна" - это совсем другая задача. Все , что я написал выше - хорошо известное, и относящееся к случаю, когда расстояние меряется "вдоль оси Oy". Для "честного" расстояния меж точкой и прямой, как я понимаю, задача будет поганой и нелинейной...

[sergei1961]

Давайте уточню только два вопроса, но более конкретно.
1. Ищется ссылка на уважаемый и желательно доступный учебник, в крайнем случае, произвольный текст, в котором МНК грамотно обоснован хотя бы для случая прямой и параболы. Не для математиков- поэтому без функционального и выпуклого анализа, матриц Грама - желательно элементарное прямое доказательство. Просто на плоскости - переменная одна.
2. При обосновании МНК для параболы для доказательства разрешимости системы 3 уравнений для главного определителя получается неравенство, в нём 6 слагаемых, каждое - суммы степеней иксов. Его можно доказать непосредственно?

-- 26.02.2017, 00:44 --

Да нет, как раз я имею в виду ту же задачу, вдоль оси OY. Всё по делу, спасибо, только меня интересуют сформулированные выше вопросы. Про положительную определённость я из Вашего ответа понял.

[g______d]

sergei1961 в сообщении #1195401 писал(а):

То есть Вы опровергаете теорему, доказанную в учебниках: через любое число точек на плоскости с разными иксами проходит и при том ровно одна прямая, решающая задачу о минимуме суммы квадратов расстояний от прямой до этих точек?

По вашей ссылке другое утверждение -- с суммой квадратов разностей ординат.

А то, что вы заявляете в цитированной фразе, просто неправда.

-- Сб, 25 фев 2017 13:45:53 --

А, уже написали.