Но я не понимаю как открытое множество вводится в топологии.
Волевым решением. Берем множество точек

, берем систему

каких-то там подмножеств этого множества

, и говорим: "Будем называть множества из

открытыми". Вот и все.
Конечно, брать надо не любую систему

, а чтобы удовлетворяла трем свойствам:
1)

,
2) Объединение любого числа множеств из

должно давать множество из

,
3) Пересечение любых двух множеств из

также должно принадлежать

.