что вообще значит задать скалярное произведение?
Это действительно вопрос, но это вопрос к составителю задачи -- что он имел в виду.
Возможно, требовалось предъявить два ортонормированных (относительно нового скалярного произведения) вектора.
Собственно, один по условию уже есть -- это
, а другой получается ортогонализацией
к
, т.е. вычитанием из
его проекции на
(только потом результат надо ещё отнормировать; и всё это, естественно, относительно нового скалярного произведения).
Но, возможно, имелась в виду общая форма записи нового произведения в каноническом базисе:
, где
-- некоторая симметричная положительно определённая матрица. Тогда всё совсем просто: те три условия, предъявленных к
и
, сразу же дают значения
,
и
соответственно (вообще говоря, давали бы для них систему, но тут сразу).
как здесь вообще использовать угол
Ну для подсчёта скалярного произведения, конечно, что Вы и сделали.