Приведите ссылку на учебник. Автор, название, номер задачи, и в каком месте учебника определение что такое скалярное произведение. А то непонятно, или в учебнике опечатка, или Вы условие не так поняли. И зачем тут системы компьютерной алгебры ? Оне, конечно, не врут, знамо дело, но не в этом же смысл ситуации. (А смысл в том, включено ли в учебнике в определение скалярного произведения требование положительной определенности, или как).
Учебник: Г.Д. Ким, В.А. Ильин - Линейная алгебра и аналитическая геометрия. Скалярное произведение определено на стр.203 в начале параграфа 68.
Задачник: Г.Д. Ким, Л.В. Крицков - Алгебра и аналитическая геометрия. Теоремы и задачи. Том 2. Часть 1. Задача # 47.8, примемы д) и з)