Корректность метода наименьших квадратов

[Pphantom]

sergei1961 в сообщении #1195407 писал(а):

Можно я такой ссылкой отделаюсь, понятно написано:

Можно, поскольку этого действительно достаточно:

Pphantom в сообщении #1195404 писал(а):

А то есть у меня нехорошее подозрение, что Вы немного перепутали формулировку доказываемого утверждения.

Вот они и оправдались.

Вы путаете две задачи (что, впрочем, случается довольно часто): о нахождении прямой, сумма квадратов расстояний до которой от всех точек минимальна, и о нахождении прямой, для которой $\sum (y_i-(a\,x_i + b))^2$ минимальна. Это разные задачи. С "прикладной" точки зрения вторая соответствует случаю, когда в аппроксимируемых данных $x_i$ известны точно, и отклонения точек от прямой обусловлены исключительно погрешностями в определении $y_i$. Подобный подход иногда называют "упрощенным МНК" для того, чтобы как-нибудь отличать от полноценного.

Да, в такой постановке (с ошибками только по ординатам) Ваше исходное утверждение из п.1 верно. Для такой постановки и все вопросы из остальных пунктов легко убиваются, что, собственно, уже и показал DeBill. А вот для "полноценного" МНК - задачу, которую Вы реально описали, а не подсознательно имели в виду - и утверждение из п.1 неверно, и для остальных все становится резко сложнее.

[DeBill]

sergei1961 в сообщении #1195407 писал(а):

про вандермонду-там же суммы степеней стоят, а не просто степени, разве это он?

Эта матрица ($Q$) есть произведение $A^{\ast}A$, где $A$- типа вандермонды, токо не квадратная...
Да, для курсантов это не прокатит....
Увы, подходящего учебника не знаю.
Для параболы: если $Q_{ij} = \sum\limits_{s=1}^{N} x_s^{i+j}, i,j=0,1,2$, то для любого $c=(c_0,c_1,c_2)$,
$\sum\limits_{i,j=0}^{2} Q_{ij}c_ic_j = \sum\limits_{s=1}^{N} \sum\limits_{i=0}^{2}c_ix_s^i\sum\limits_{j=0}^{2}c_jx_s^j =$
$\sum\limits_{s=1}^{N} (c_0 +c_1x_s +c_2x_s^2)^2 \geqslant 0$,
причем равно нулю только тогда, когда все $x_s$ - корни квадратного трехчлена
$c_0 +c_1x +c_2x^2$....

[sergei1961]

Мне кажется, что напрасно мне поставили в вину перепутывание двух задач и что-то ещё бессознательное... Ведь с самого начала было сказано, что это стандартная задача из учебников, ведь всем понятно, что одна такая, а другая нет. Хорошо, пусть я был неточен в постановке задачи, для меня услышанное очень полезно, спасибо, всё к лучшему. Жаль, что ссылку пока так и не нашли.
Заинтересовался по поводу второй задачи с "настоящими" расстояниями до прямой, хотя я не согласен с оценкой, что именно такой МНК "настоящий", но это просто слова, назовём его так. Есть ЛЮБАЯ ссылка, где метод в таком действительно нелинейном варианте изложен понятно (теперь уже для математика), но без ненужной зауми?
Про неравенства. Хочется использовать положительность главного определителя системы в этой задаче для получения неравенств для степенных сумм с независимым доказательством, разобраться, что это за неравенства для любой степени. Для системы двух уравнений (прямая) получается неравенство К-Б, или среднее квадратичное больше среднего арифметического. Для системы трёх уравнений (парабола), получается такое неравенство. Пусть $S_j=\sum_k x_k^j$. Тогда надо доказать неравенство:

$$ S_4 S_2 S_0 + 2 S_3 S_2 S_1 > (S_2)^3 + (S_3)^2 S_0 + S_4 (S_1)^2. $$

Похоже, можно просто попарным сравнением слагаемых доказать, хотелось бы глубже понять структуру этих неравенств, их место среди подобных при произвольной степени порождающей системы.
Отступление: ещё я не люблю вандермонду и других пид..., предлагаю называть определитель соответствующий просто степенным. Или исторически правильно - именем Ньютона, который его рассмотрел, придумав метод интерполяции, который мы называем зачем-то именем Лагранжа, вот бы последний удивился, он ссылался на Ньютона. Или именем де Муавра, которому Ньютон предложил всё это обосновать, и который вывел формулу для определителя, формулу для соответствующей обратной матрицы и тд. Только жизнь у де Муавра была намного тяжелее, в основном потому, что ему пришлось бежать из своей страны, потеряв всех родных и близких после того, что называется на современном языке геноцидом и концлагерем (он там сидел). И потому, что не умел и не хотел трахаться с заслуженными академиками, носить титул их жён, избираться в академию за 2 работы (4 за всю жизнь), содержащие полученные ранее другими результаты.

[Евгений Машеров]

Pphantom в сообщении #1195358 писал(а):

sergei1961 в сообщении #1195354 писал(а):

1. Рассмотрим стандартную постановку задачи приближения набора точек на плоскости с помощью прямой методом наименьших квадратов - везде написано, что задача сводится к решению системы для коэффициентов прямой размером $2 x 2$. Гораздо реже доказывается корректная разрешимость этой системы при условии, что все точки различны, - пишем главный определитель, он больше нуля по неравенству Коши-Буняковского, или неравенству между средними арифметическим и квадратичным, условие равенства исключено при постановке задачи.

Предположим, что точки на плоскости образуют "облако" с симметричным относительно центральной точки распределением плотности. Сопадающих точек, естественно, нет. Задача также будет разрешима?

В обычной постановке МНК - будет. С тривиальным, но однозначным решением y=0. Неопределённость появляется, если требуется минимизировать суммы отклонений по иксам и игрекам.

-- 26 фев 2017, 11:34 --

Стандартная постановка МНК $\min_a \Sigma (y_i-f(x_i,a))^2$
Модель "с ошибкой в регрессорах" действительно сильно сложнее. Вплоть до того, что для неё в некоторых вариантах постановки нет состоятельных оценок.

-- 26 фев 2017, 11:36 --

sergei1961 в сообщении #1195458 писал(а):

Есть ЛЮБАЯ ссылка, где метод в таком действительно нелинейном варианте изложен понятно (теперь уже для математика), но без ненужной зауми?

Посмотрите Е.З.Демиденко, "Линейная и нелинейная регрессии", книжка для экономистов написана, вроде просто. А вообще много литературы (в основном таки эконометрической, там показателей без ошибки измерения, увы, не бывает, такое свойство у людей вообще и у госстатистики в частности)

-- 26 фев 2017, 11:42 --

Оставляя в стороне вопрос о "моральном облике академиков" и порождённый им вопрос о разыменовании матриц и методов, ограничусь ответом на то, почему в степенной модели (обычного) МНК достаточно иметь больше наблюдений (с различными иксами), чем параметров, чтобы решение существовало.
Для существования решения нужно, чтобы матрица $X^TX$ имела полный ранг. Для этого необходимо, чтобы полный ранг имела матрица X, составленная из значений отдельных иксов и их степеней. Если у неё ранг неполон, значит, можно высшую степень выражать через линейную комбинацию низших степеней. Ура, мы умножение упразднили? Или всё-таки не упразднили?

[DeBill]

sergei1961 в сообщении #1195458 писал(а):

Для системы трёх уравнений (парабола),

положительная определенность матрицы, по критерию Сильвестра, равносильна положительности всех главных (да и прочих "симметричных") миноров.

sergei1961 в сообщении #1195458 писал(а):

хотелось бы глубже понять структуру этих неравенств,

Это - "транснеравенства". Видимо

[DeBill]

Кстати, про задачу о прямой с "честными расстояниями":
Сумма квадратов расстояний от точек до прямой - это момент инерции системы наших точек (с единичными массами в них) относительно прямой. Общие соображения (или теорема Штейнера, или множители Лагранжа, или тупое "передвинем прямую параллельно в центр масс - станет лучше" ) говорят, что минимальная прямая проходит через центр масс системы точек. Состряпаем - в стиле Арнольда - эллипс инерции нашей системы. Его полуоси и отвечают мин (и мах) нашего квадратичного уклонения....
При этом: как только "облако точек" имеет симметрии, более крутые, чем симметрии эллипса (т.е., боле чем пара ортогональных осевых симметрий), так задача вырождается, и решений бесконечно много...

[Евгений Машеров]

Ну, собственно, этот вариант постановки, когда дисперсии ошибок всех переменных одинаковы (или известны с точностью до общего множителя, тогда просто меняются масштабы переменных, приводя к равенству дисперсий), оценивать достаточно просто. Это сводится к нахождению первой главной компоненты. Неопределённость в том случае, когда у корреляционной матрицы несколько одинаковых старших С.З., соответственно собственный вектор, соответствующий максимальному, не определяется однозначно (это как раз пример со сферически симметричными точками, приведенный выше, но такая ситуация может быть и не в столь изящной картине).