люди добрые, помогите понять что такое базис

[Munin]

bigarcus в сообщении #1023330 писал(а):

когда переходят от одной системы координат к другой, то говорят что меняют базис векторов
почему так говорят? ведь меняют и начало отсчета (значит всю систему координат).

Чаще всего рассматривают такие переходы между системами координат, которые не меняют начало отсчёта. И оставим в стороне криволинейные системы координат. Тогда мы имеем только прямолинейные СК с совпадающими началами отсчёта, такие, с которыми имеет дело линейная алгебра. (Другие - изучаются в математическом анализе и в дифференциальной геометрии.)

Для каждой точки мы имеем координаты, её задающие: $X=(x^1,x^2,\ldots,x^n).$ При этом, у нас всё пространство расчерчено сеткой координат. Как мы определим координаты точки? Мы не можем проецировать точку перпендикулярно на оси координат - ведь система координат может быть косоугольной. Мы должны сделать так: провести через точку $X$ плоскость, и посмотреть, в какой точке $X_{(i)}$ эта плоскость пересечёт $i$-ю ось координат. Тогда мы должны сравнить расстояние $OX_{(i)}$ с единичным эталоном вдоль этой оси координат $e_{(i)}$ (ведь единичные отрезки на разных осях могут быть разной длины), и тогда мы получим, наконец, $i$-ю координату точки: $x^i=\dfrac{OX_{(i)}}{e_{(i)}}.$ А что это за плоскость? Это какая-то $(n-1)$-мерная гиперплоскость $\pi_{(i)}(X),$ которая должна быть параллельна всем другим осям координат, кроме рассматриваемой $i$-й. То есть, она параллельна другой гиперплоскости $\pi_{(i)}(O),$ которая проходит через начало координат, и "натянута" на все оси координат, кроме $i$-й.

Как задать плоскость? Мы могли бы написать уравнение плоскости в координатном виде, но увы, у нас система координат ещё только строится, и поэтому мы ею пользоваться не имеем права. Тогда мы замечаем другое: мы можем выразить все точки плоскости $\pi_{(i)}(O)$ через линейную комбинацию всех базисных векторов, кроме $i$-го:

$$P\in\pi_{(i)}(O)\quad\Longleftrightarrow\quad\exists\,\lambda^1,\lambda^2,\ldots,\lambda^n\colon\quad\overrightarrow{OP}=\lambda^1\vec{e}_{(1)}+\lambda^2\vec{e}_{(2)}+\ldots(\not i)\ldots+\lambda^n\vec{e}_{(n)}.$$

А другая наша плоскость, $\pi_{(i)}(X),$ получается из этой параллельным переносом, так что $\overrightarrow{OX}=\overrightarrow{OX}_{(i)}+\overrightarrow{X_{(i)}X},$ и при этом для второго вектора тоже можно записать такое же представление:

$$\exists\,\lambda^1,\lambda^2,\ldots,\lambda^n\colon\quad\overrightarrow{X_{(i)}X}=\lambda^1\vec{e}_{(1)}+\lambda^2\vec{e}_{(2)}+\ldots(\not i)\ldots+\lambda^n\vec{e}_{(n)}.$$

А первый вектор мы можем записать как $\overrightarrow{OX}_{(i)}=x^i\vec{e}_{(i)}.$ И в результате, мы имеем для некоторых $\lambda^1,\lambda^2,\ldots,\lambda^n$:

$$\overrightarrow{OX}=\lambda^1\vec{e}_{(1)}+\lambda^2\vec{e}_{(2)}+\ldots+x^i\vec{e}_{(i)}+\ldots+\lambda^n\vec{e}_{(n)}.$$

Но базисные векторы между собой линейно независимы, и в результате мы получили, что $\overrightarrow{OX}$ линейно выражается через них, причём коэффициент на $i$-м месте $\lambda^i=x^i.$ Аналогично, перебирая все остальные оси координат, мы получаем, что все координаты точки равны коэффициентам в линейном выражении

$$\overrightarrow{OX}=\lambda^1\vec{e}_{(1)}+\lambda^2\vec{e}_{(2)}+\ldots+\lambda^n\vec{e}_{(n)}.$$

Таким образом, базис векторов и система координат для точек однозначно связаны. Каждый базисный вектор задаёт ось и единичный отрезок вдоль этой оси. Все остальные базисные векторы задают плоскость, вдоль которой точки пространства приводятся к этой оси. Если мы сменим базис, то сменится и система координат. Если мы сменим систему координат - то сменится и базис. (Повторяю и напоминаю, что это относится к прямолинейным системам координат, отложенным от одного и того же начала.)

[Lia]

bigarcus в сообщении #1023330 писал(а):

почему базис так важен, как его понять, где хорошо написано?

Думаю, где-то рядом с этой страницей:

bigarcus в сообщении #748924 писал(а):

мне пока в Гельфанде понравилась такая вещь как линейная зависимость векторов, откуда размерность пространства получается

[provincialka]

bigarcus в сообщении #1023354 писал(а):

их и представляют себе векторами из начала координат

Почему векторам? Точками...

bigarcus в сообщении #1023354 писал(а):

например при повороте системы координат

Так ведь поворот, а не сдвиг...
Если перевести на понятный мне язык -- у вас задано несколько объектов, и для каждого заданы значения двух показателей?
Хм.. зачем для задачи такой малой размерности применять метод главных компонент? Если их и так всего две?

[ewert]

Ну это простейший случай главных компонент, когда таковых только одна. При этом упрощаются лишь выкладки, но вовсе не идеология.

[provincialka]

ewert
Согласна. Как учебный прием пойдет.

[bigarcus]

Munin в сообщении #1023376 писал(а):

прямолинейные СК с совпадающими началами отсчёта, такие, с которыми имеет дело линейная алгебра.

это понятно, значит для этого и делается в статистике всякое центрирование, чтобы вращать в каждом случае можно было вокруг начала координат

остаьлную часть вашего пассажа я пока не разобрал,
медитирую над ним

Lia
ой, я и забыл про этот учебник
но там сложно написано почти все

provincialka
про ваш вопрос о том, почему векторами а не точками
я эту концепцию (думать о точках как о вектрах из начала координат в эту точку) почерпнул из http://habrahabr.ru/post/234203/
там вращают домик
оттуда я понял что такое вращение (но я не смог там проштудировать все подряд)

-- Чт июн 04, 2015 19:31:13 --

ewert
не, это я для примера говорил что дескать вот два столбца,
и им сопоставляем точки на двумерной плоскости

а вообще в PCA обычно конечно размерность большая (часты примеры 16 на 16 или около)

[provincialka]

bigarcus в сообщении #1023330 писал(а):

когда переходят от одной системы координат к другой, то говорят что меняют базис векторов

А почему бы и не говорить? Декартова система координат всегда связана с некоторым базисом. Он состоит их единичных векторов, сонаправленных с осями.
Вообще не очень понятно, в чем ваше недоумение?

[ewert]

bigarcus в сообщении #1023407 писал(а):

значит для этого и делается в статистике всякое центрирование,

Нет, вовсе не для этого, вращать можно было бы и без центрирования. А для того, чтобы работать именно с центральными, а не с начальными моментами. Чтобы функция, с которой работают, была чисто квадратичной, а не комбинацией квадратичной и линейной форм.

[bigarcus]

мне нравится подход Munin строительства мира с нуля
но такой вопрос. в криволинейных координатах оси не перпендикулярны, ок
но почему останавливает для нахождения координат проведение проекции на ось?
можно же это понимать не как опущение перпендикуляра на ось, а по-другому
давайте не опускать перпендикуляр на например ось Y, а для данной точки с координатами (x,y) делать вот что
отложили координату x по оси X, а потом в ней рисуем ось параллельную оси Y и поднимаемся на ней на y
после чего соединяем

вот картинка


почему так нельзя строить с нуля всю систему?
хочу увидеть зачем сложнее подход

[Munin]

bigarcus в сообщении #1023427 писал(а):

можно же это понимать не как опущение перпендикуляра на ось, а по-другому

Да, по сути я именно это и описал, только не использовал слово "проекция" (чтобы не сбивать путаницей с перпендикулярной проекцией).

Только вы имейте в виду не только двумерный случай, но и хотя бы трёхмерный. Тогда вы увидите, что зелёная линия должна стать не линией, а целой плоскостью.

[mihailm]

(Оффтоп)

Одни ЗУ, можно и в пургатории обсуждать

[arseniiv]

bigarcus, в криволинейных системах координат, грубо говоря, и осей-то никаких нет. Они задаются несколькими (какова размерность пространства) семействами гиперповерхностей, каждое из которых является разбиением пространства (т. е. отдельные гиперповерхности не пересекаются, а каждая точка пространства принадлежит какой-нибудь). Гиперповерхности при этом проиндексированы действительными числами, плюс несколько дополнительных требований, и координатами точки являются индексы гиперповерхностей, которым она принадлежит, из каждого из семейств. В случае аффинных систем координат гиперповерхности — это параллельные гиперплоскости (разных направлений по количеству измерений, опять же). Декартовы системы координат выделяются тем, что любые две такие гиперплоскости из разных семейств ортогональны.

Это была ситуация с одной только точки зрения аффинного («точечного») пространства. Определить, чем именно является аффинная система координат, лучше, вспомнив, что с ним связано векторное: каждой паре точек можно поставить в соответствие вектор паралленьного переноса одной в другую. Аффинную систему координат зададим точкой начала отсчёта и базисом векторного пространства, тогда каждый вектор базиса «отвечает» за свои гиперплоскости так, как вы рисовали. Декартову систему можно определить, если пространства евклидовы (только там можно опускать перпендикуляры), и тогда отличие её от какой угодно аффинной выходит в ортонормированности базиса, откуда следует, что мы можем для вычисления координат использовать скалярное произведение на соответствующий орт.

[ewert]

bigarcus в сообщении #1023407 писал(а):

но там сложно написано почти все

Ну почитайте вообще любой учебник по линейной алгебре -- Вы, судя по Вашим вопросам, не имеете о ней ни малейшего представления. А без неё так и не будете понимать, о чём вообще речь.

Хотя это странно: как Вам удалось добраться до статистики, миновав линал, которого хоть азы, но всем и всегда вдалбливают?...

[bigarcus]

я продолжу разбираться

ewert, чтобы применить PCA линал вообще знать не нужно: открываете SPSS, и тыкаете
у меня этот метод на работе боком встретился, случайно вообщето
я решил разобраться тк сначала думал что это пурга, мистика, нло

-- Чт июн 04, 2015 23:38:45 --

у PCA есть объяснения двумя путями: через eigendecomposition и singularvaluedecomposition (это более общий метод, тут можно и прямоугольные несимметричные матрицы раскладывать)

мне показалось, что первый путь проще (или я ошибаюсь?)

технически (!) я больмень понял как матрицы умножаются, транспонируются, как находятся определители, обратные матрицы, собственные вектора и собственные значения

формула там такая:

$$C=Q \Lambda Q^T$$

где $C$ - квадратная симметричная матрица (корреляционная или ковариационная)
$Q$ - в двух местах это одна и та же матрица, столбцы которой это собственные вектора матрицы $C$
$\Lambda$ - это диагональная матрица, все нули кроме главной диагонали, а на главной стоят собственные значения матрицы $C$ в порядке, соответствующем следованию собственных векторов в матрице $Q$

[ewert]

Ну Вы или хотите разобраться, что к чему -- или просто тыкаете. Если второе, то тыкайте дальше. Если же первое, то придётся освоить азы линала, иначе никак. А для этого нужно читать учебники, увы.