Говорят, такие обозначения пошли от Дирака. А вот точечки и крестики - от Гиббса, обозначения которого популяризовал Хевисайд. Это ещё 19-й век, конец. А до них были вообще "кватернионные" обозначения:

для скалярного и

- для векторного произведений (иногда с точкой после

иногда без). Кстати,

могли употребляться со скобками, так что отсюда по предположению
ewert-а
могли возникнуть и скобочные обозначения.
А, вот, нашёл: обозначения

и
![$[\mathfrak{A,B}]$ $[\mathfrak{A,B}]$](https://dxdy-02.korotkov.co.uk/f/5/6/7/567d0264867f824f4976b6d595c340e082.png)
использовал Richard Gans в 1905 году.
http://rghost.ru/6zM7VGNDZTai C. T. A Historical Study of Vector Analysis. Technical Report. 1995.
http://rghost.ru/82BQKJt2QCrowe M. J. A History of Vector Analysis. Talk based on the book. 2002.