Прочитайте какую-нибудь хорошую книжку по общей/высшей/абстрактной алгебре. Не вижу смысла пересказывать здесь то, что написано в книжках.
В самом общем случае, бинарная операция

на множестве

называется коммутативной, если

для всех

, и некоммутативной, если она не является коммутативной. Множества с операциями часто обзывают алгебраическими структурами, отсюда и название.