Теперь самое время вспомнить, что мы ищем оценку, а не точное значение (ну то есть нам нужно точное значение, но, как говаривал по аналогичному поводу Ленин - "Мы не утописты"
(Оффтоп)
Далее он пояснял, что кухарка управлять государством не может, хотя такую глупость враги большевикам и приписывают, управлять должны специалисты, и надо учить молодых рабочих, как те выучатся, так и управлять смогут; потом пропагандисты из этого сделали "Каждая кухарка может управлять государством", впрочем, с "В здоровом теле здоровый дух" и "Истина в вине" те же приключения...
)
И для оценки введём обозначение, чтобы отличать от точного значения, "шапочку" пририсуем

То есть на самом деле

И вот тут уже мы получили, почти даром, не только оценку, но и её свойства.
Скажем, эпсилон обычно принимают случайной величиной с нулевым матожиданием. Если так - то матожидание оценки коэффициентов равно истинному значению, т.е. наша оценка несмещённая. И дисперсию оценки получить оказывается очень просто. И с распределением понятно, если известно распределение эпсилонов (нормальное? Ну так их комбинация будет также нормально распределена). И ясно, когда у нас ничего не получится - если матрица

не обращаема, определитель у нея нулевой, или, скажем иначе, есть собственные значения нулевые. И даже можно получить оценку вычислительных погрешностей, а они иногда играют тут неожиданно резко.
И становится ясно, как влияет вектор

. Собственно, страшные слова "пространство столбцов матрицы Х" становятся ясны, это просто все мыслимые линейные комбинации столбцов. У нас вектор

лежит, вообще говоря, вне этого пространства, и его можно представить суммой вектора в этом пространстве и вектора, ортогонального этому пространству. Часть, которая ортогональна - на оценку не влияет, мы от неё избавились. Часть вектора

, оказавшаяся в пространстве столбцов Х - искажает нашу оценку, делает её не равной истинному значению.