Лучше сказать в

окрестности

.
Дело в том, что условие не накладывает никаких ограничений на поведение функции в этой окрестности.
Оно накладывает ограничения только на поведение функции вне этой окрестности: там запрещается ненулевое отклонение от

, причём именно из-за строгости хотя бы одного из неравенств

и

.
Ибо, если бы мы написали

, то функция вне окрестности не могла бы быть определена.
Впрочем, Вашу идею с асимптотой можно реализовать в функции, определённой на всей числовой оси и непрерывной везде, кроме некоторой точки

с условием:

Хотя я кажется понял, в чём Ваше затруднение.
В неправильном использовании эпсилон и дельты.Вы, вероятно, считаете, что условие

автоматически влечёт

? Да нет, показалось.