Вот мне хотелось бы узнать, есть ли какая-нибудь более обобщенная операция, частью которой является "векторное произведение" и связано ли с ним каким-то образом скалярное произведение (как в частном случае с кватернионами).
Да, эта операция называется внешним произведением (форм или поливекторов). Скалярное произведение для нее не нужно, в трехмерном случае оно используется для задания изоморфизма между бивекторами (те самые объекты, которые представляются кососимметрическими матрицами) и обычными векторами. В многомерном случае есть аналогичное соответствие между

- и

-поливекторами (звезда Ходжа).
Векторное произведение как-то возникает естественным образом? А что в пространствах отличных от трехмерного?
Векторное произведение - это композиция внешнего произведения и звезды Ходжа. В

-мерном пространстве можно так же определить векторное произведение

векторов.
Почему эта матрица кососиметрическая, и есть ли некая симетрическая часть "связанная" с ней или возникающая в какой-то более обобщенной операции?
А вот тут все немного сложнее. Если у нас есть два вектора, то можно рассмотреть их тензорное произведение и выделить симметричную и антисимметричную части (на языке матриц: разложить матрицу ранга 1

в сумму симметричной и антисимметричной), но если рассматривать тензорные произведения 3 векторов или более, то кроме симметричной и антисимметричной возникают еще слагаемые. А если мы работаем не над действительными или комплексными числами, а над полем положительной характеристики, то все еще сложнее. Надо углубляться в теорию представлений, это Вам пока не надо.
Могу посоветовать книгу "Linear algebra via exterior products", там разбирается связь между основными понятиями линейной алгебры и внешними формами.