Это разные вещи и разные функции.
Функция Дирихле (функция раз), действующая на всей вещественной прямой, разрывна в каждой точке области определения. В том числе и иррациональной.
Сужение функции Дирихле на множество иррациональных чисел (функция два) тождественно нулевая функция и действительно непрерывна на своей области определения, то есть в каждой иррациональной точке.
Так же и Ваша функция
(я читаю внимательно ее определение) из
в себя - не будет непрерывной в точке
(за исключением, по всей видимости,
).
Но если бы Вы задавали эту функцию сразу на множестве вырожденных операторов (или взяли ее сужение), то она была бы и будет тождественно нулевой и непрерывной в каждой точке.
Но это другая функция.