Думаю, если в задаче будут использоваться аффинные преобразования, не являющиеся изометриями, комплексные числа помогут не очень — их придётся «разбирать на части», чтобы выразить нужное. Насчёт же других вещей можно провести параллель с кватернионами — произведение (чисто векторных) кватернионов

исторически породило отдельные скалярное и векторное произведение трёхмерных векторов, являющиеся его компонентами. Произведение комплексных чисел

тоже имеет компонентами скалярное и т. н. псевдоскалярное произведение (аналогичное векторному в трёхмерии) соответствующих векторов. Так что с помощью этих двух можно выразить комплексное умножение, когда оно нужно, если не хочется ассоциировать свои векторы с комплексными числами (

, где

обозначает псевдоскалярное произведение, в координатах (в правом базисе)

,

— скалярное и не обозначаемая операция — комплексное). В простых случаях значительной разницы не должно быть.
(Отступление)
Если подходить к делу совсем последовательно, можно пустить в ход всю алгебру Клиффорда

(псевдо)евклидова пространства

целиком, существующую для таких пространств любой размерности (однозначно задаётся квадратичной формой). Как комплексные числа, так и кватернионы традиционно соответствуют двум её разным подпространствам: «просто векторы» — исходному

, а «поворачивающие штуки», с которыми связано умножение — подалгебре элементов чётной степени

. Для двумерного и трёхмерного

последняя изоморфна соответственно

как алгебрам над

. Сама

имеет размерность

, и на некоторых элементах можно определить элементарные функции типа экспоненты или логарифма, и последние удобны для манипуляции ортогональными преобразованиями, и не обязательно глубоко знать теорию этих алгебр, чтобы пользоваться всем этим для простой геометрии (как не обязательно знать, скажем, ТФКП, чтобы пользоваться комплексными числами для двумерных задач). Правда, литературу школьного уровня с необходимым минимумом посоветовать не могу.