в курсе истории математики упоминалось о какой-то теории отношений у древних греков.
Это другие отношения. А то, что у древних греков — это что-то вроде теории дробей.
есть ли у нас вообще серьёзная литература по теории отношений на уровне Хаусдорфа, Александрова, Шеня и т.д.
По теории "отношений вообще" — не встречал. Мне кажется, что об "отношениях вообще" мало что можно сказать. Ну, рассмотреть ряд конкретных примеров интересных отношений, определить часто встречающиеся интересные свойства, рассказать об операциях на отношениях… В конце-концов, "отношение вообще" на множестве
— это просто произвольное подмножество
.
Другое дело, что о конкретных классах отношений иногда можно сказать весьма много (например, есть теория решёток — частично упорядоченных множеств, в которых каждая пара элементов имеет точную нижнюю и точную верхнюю грани).