Наверное, перед этим всё же описано в геометрии - как задача отыскания площади фигуры в 3Д.
Эту задачу решали определителями, кажется.
Насколько я знаю - оно впервые появилось в кватернионной алгебре у Гамильтона, а кватернионы возникли в попытках дать в трёхмерном случае матфизике такой же полезный аппарат, каковы комплексные числа в двумерных задачах.
Кватернионы возникли исключительно как алгебраическая "игра ума", а не для матфизики. Векторный смысл у них появился позже. Пикок, Грегори и Де Морган заложили основы современной абстрактной алгебры, построенной на аксиоматическом подходе к символическим выражениям (формулам), но примеров алгебр было немного: действительные и комплексные числа, и искусственно построенные примеры. Поэтому многие математики искали системы гиперкомплексных чисел, и наиболее успешную построил Гамильтон. Последующая задача виделась ему как обобщение на кватернионы всех алгебраических и аналитических теорий, имеющих место для комплексных чисел. (
Колмогоров, Юшкевич. Математика 19 века.) Как видим, математическая физика в его приоритетах не стояла. Трёхмерность тоже появилась довольно случайно, и даже легко видно, что у кватернионов per se не 3, а 4 образующих.
Интересно, что само слово "вектор" впервые появляется у Гамильтона применительно к подпространству пространства кватернионов. Но ещё до этого было слово "радиус-вектор",
http://jeff560.tripod.com/mathword.html ,
http://jeff560.tripod.com/v.html . Под ним понимался направленный отрезок от центра к планете, аналогичный радиусу окружности (лат. raduis vector = "несущий луч, луч-носитель"), не связанный с алгебраическими операциями, и даже не имеющий заданного направления (в некоторых текстах он "проводится" от планеты к центру, что по сути безразлично).
А векторы в современном понимании, как "направленные отрезки" в составе некоторой алгебры и анализа, появились, кроме Гамильтона (1843), независимо у Мёбиуса (1827, только сложение и вычитание, и умножение на коэффициент, для задач вычисления центра тяжести), и у Грассмана (1840, умножение в смысле
бивектора, не более чем 3-мерный случай, и 1844,
-мерный случай). Это если не считать правила параллелограмма у Ньютона (1687), применяемого для сил, импульсов и ускорений, и общеизвестной на рубеже 18-19 веков геометрической интерпретации комплексных чисел (2-мерный случай).