что вообще значит задать скалярное произведение?
Это действительно вопрос, но это вопрос к составителю задачи -- что он имел в виду.
Возможно, требовалось предъявить два ортонормированных (относительно нового скалярного произведения) вектора.
Собственно, один по условию уже есть -- это

, а другой получается ортогонализацией

к

, т.е. вычитанием из

его проекции на

(только потом результат надо ещё отнормировать; и всё это, естественно, относительно нового скалярного произведения).
Но, возможно, имелась в виду общая форма записи нового произведения в каноническом базисе:

, где

-- некоторая симметричная положительно определённая матрица. Тогда всё совсем просто: те три условия, предъявленных к

и

, сразу же дают значения

,

и

соответственно (вообще говоря, давали бы для них систему, но тут сразу).
как здесь вообще использовать угол
Ну для подсчёта скалярного произведения, конечно, что Вы и сделали.