Вопросов по оформлению увидел всего два :) С точками в матрице уже разобрались?
Если не трогать точки, а говорить пока про номер формулы, то можно предложить такой вариант:
Код:
\begin{equation*}
\left.
\begin{aligned}
a_{11}\xi_1+a_{12}\xi_2+\ldots+a_{1 n}\xi_n=\lambda\xi_1,\\
a_{21}\xi_1+a_{22}\xi_2+\ldots+a_{2 n}\xi_n=\lambda\xi_2,\\
......................................................\\
a_{n 1}\xi_1+a_{n 2}\xi_2+\ldots+a_{n n}\xi_n=\lambda\xi_n
\end{aligned}
\right\}\eqno{(1)}
\end{equation*}
Но если использовать окружение equation без звёздочки, то там нумерация появится сама и можно будет сослаться на данную формулу.
Код:
\begin{equation}
\label{System}
\left.
\begin{aligned}
a_{11}\xi_1+a_{12}\xi_2+\ldots+a_{1 n}\xi_n=\lambda\xi_1,\\
a_{21}\xi_1+a_{22}\xi_2+\ldots+a_{2 n}\xi_n=\lambda\xi_2,\\
......................................................\\
a_{n 1}\xi_1+a_{n 2}\xi_2+\ldots+a_{n n}\xi_n=\lambda\xi_n
\end{aligned}
\right\}
\end{equation}
Пример ссылки на систему~\eqref{System}.
Лучше использовать автоматическую нумерацию формул, чтобы потом не приходилось вручную править их номера, если вы захотите, например, переставить их местами или добавить новые формулы между уже существующих.
Ну а для автоматической расстановки точек можно использовать команду hdotsfor, но она используется в матрицах. Поэтому здесь я использовал уже array, а не align:
Код:
\begin{equation}
\label{System}
\left.\begin{array}{r}
a_{11}\xi_1+a_{12}\xi_2+\ldots+a_{1 n}\xi_n=\lambda\xi_1,\\
a_{21}\xi_1+a_{22}\xi_2+\ldots+a_{2 n}\xi_n=\lambda\xi_2,\\
\hdotsfor[1.5]{1}\\
a_{n 1}\xi_1+a_{n 2}\xi_2+\ldots+a_{n n}\xi_n=\lambda\xi_n
\end{array}
\right\}
\end{equation}
В фигурных скобках в команде \hdotsfor указывается, на сколько столбцов мы распространяем точки, а числом в квадратных скобках можно регулировать частоту расстановки точек.
Думаю, здесь многие могут предложить варианты получше, но пока хотя бы такой.
