ввести на группе ортогональных матриц из R размером 3x3 - O(3) структуру гладкого многообразия, указав атлас
Воспользуйтесь теоремой о прообразе регулярного значения (подходящего отображения

). Строить атлас руками здесь можно устать.
Или вспомните, что

является объединением двух копий

и получите искомый атлас из атласа

, состоящего из пар карт, переходящих друг в друга при центральной симметрии.
найти дифференциал отображения: (

) в точке A = E
Здесь надо понимать, какова гладкая структура на множестве "первых столбцов"!
Если она индуцирована из

естественным образом, то:
кривые на

, проходящие через

, -- это в точности

, где

-- кососимметрические матрицы, поэтому

P.S. Хотя, это и так понятно -- дифференциал линейного отображения равен ему самому и ограничение на

тут ничего не меняет