Это не определение, а кусок чего-то там. Видимо, вы правильного определения не знаете, поэтому и путаетесь в отыскании предельных точек.
Обычное определение для числового множества.
Это некоторая ловля блох. Естественно, для определения односторонних пределов нужно, чтобы с каждой стороны существовала какая-то часть области определения, для которой эта точка была бы предельной. Однако на практике никому эта возня с областями определения не нужна.
Любая точная формулировка теоремы - ловля блох. Если функция достаточно хороша, то это должно указываться в условиях, иначе теорема просто неверна. Такой типичный пример из учебника, как функция Дирихле, тоже, по сути, ловля блох в определении непрерывности, однако для полного понимания этого определения именно эти кривые примеры и нужны.