Метод наименьших квадратов для школьников

[alisa-lebovski]

Рассмотрим задачу подбора линейной зависимости $y=a+bx$ по точкам $(x_i,y_i)$ методом наименьших квадратов

$$\sum_{i=1}^n(y_i-a-bx_i)^2\to\min.$$

Понятно, как это могут решить студенты, знакомые с матанализом функций нескольких переменных. Надо найти частные производные по $a,b$, приравнять нулю, получить и решить систему. Строго говоря, там надо проверить еще матрицу вторых производных. Но представим себе, что результат нужно получить для школьников, не владеющих матанализом. Реально ли это сделать чисто школьными методами (вообще без производных)? Может быть, это есть где-нибудь?

[slavav]

Можно построить квадратные уравнения по $a$ и по $b$. Минимумы у них находятся школьными методами. Нам нужна точка в пространстве $(a, b)$ в которой достигаются оба минимума. Получится система из двух линейных уравнений.

[alisa-lebovski]

slavav, то что решением системы, составленной из уравнений, полученных минимизацией каждой переменной при известной другой, является глобальный минимум, само по себе нуждается в неком доказательстве, а с ходу выглядит жульничеством. Дети скажут: ведь на самом деле мы минимизируем cразу по двум переменным, и ни одну из них нельзя считать известной.

[slavav]

Не совсем так. МНК в данном случае доказывает что минимума нет ни в какой другой точке кроме той что мы нашли из системы. Затем придётся элементарными средствами доказывать что значение нашей функции в этой точке действительно меньше чем в любой другой.

[xagiwo]

Если в точке не достигается минимум по $a$, то изменив $a$, не меняя при этом $b$ мы получим меньшее значение. То есть в точке, в которой достигается минимум, должен достигаться и минимум по $a$

[slavav]

Немного геометрии: возьмём точки $(x_i, y_i)$ и прямую $y = bx + a$. Если мы их подвергаем параллельному переносу значение нашей функции не поменяется. Перенесём точки так чтобы их центр тяжести оказался в нуле.

Выпишем квадратное уравнение для $a$ и обнаружим что линейный член обнулился:

$$ f(a, b) = N a^2 + 2a\left[b\sum\limits_{i=1}^{N}x_i - \sum\limits_{i=1}^{N}y_i\right] + g(b)$$

$$ f(a, b) = N a^2 + g(b)$$

Параметры разделены. Доказательство минимальности становится тривиальным.

Заодно получили факт что минимальная прямая проходит через центр масс множества точек.

[nnosipov]

alisa-lebovski в сообщении #1548011 писал(а):

Реально ли это сделать чисто школьными методами (вообще без производных)?

Более чем. В линейной алгебре и геометрии эту задачу решают без производных. Если школьники знают многомерную теорему Пифагора (а почему бы и нет), то этого вполне достаточно. А можно просто выделять полные квадраты (убирать линейную часть) и затем приводить квадратичную форму к сумме квадратов (опять же выделяя полный квадрат). Хотя последнее это уже лишнее (форма-то априори положительно определена).

[TOTAL]

Пусть $\sum_{i=1}^n1*(y_i-a-bx_i) \ne 0$, тогда

$$\sum_{i=1}^n(y_i-[a+t]-bx_i)^2 = \sum_{i=1}^n(y_i-a-bx_i)^2+t^2\sum_{i=1}^n1^2-2t\sum_{i=1}^n(y_i-a-bx_i),$$

т.е. за счет $t$ сумму можно уменьшить.

Аналогично, пусть $\sum_{i=1}^nx_i(y_i-a-bx_i) \ne 0$, тогда ...

[Евгений Машеров]

Раскрыть квадраты в скобках, привести подобные, выделить два квадрата, зависящих от a и b. Приравнять их нулю и решать полученную систему уравнений.

[alisa-lebovski]

Удалось сделать так: перейти к центрированным переменным и выделить 2 полных квадрата.