и почему функцию

можно сделать неограниченной
Потому что уже

не ограничена.
вдруг, к примеру, на каком-то шаге

множество

совпадет с

Как только совпадет, так процесс и закончится. (Но вообще там же

несчетно, потому там до него идти как до 1-го несчетного ординала.)
непонятно, почему функция

с заявленными свойствами существует
ну вот я попытался показать непротиворечивость:
Противоречий в определении

не возникнет, поскольку за конечное число шагов мы можем определить

только для соотношений вида

, где только в одной части есть

, а остальные множества берутся из

, а там определение

самосогласовано (поскольку оно самосогласовано на

) (или здесь тоже зарыта какая-то собака?)
но текст выглядит мутно. Просто мне кажется, что там в принципе проблем нет, только написать правильно.
Неформально,

я строю так: я беру ее равной

на

, потом беру какое-то новое подмножество

, которое не лежит в

, доопределяю на нем

и пытаюсь с помощью условия

найти значение

на всех остальных множествах, на которых с помощью этой информации

можно определить. Как бы "замыкание". (если бы это было определение линейного оператора, то описание было бы проще, но на множествах оно получается сложнее).
Я еще забыл написать, что

.

Там

и

так смело сами через себя определяются
Циклических ссылок там точно нет:

определяется через

, а

- через

.
Можно было бы их как-нибудь попробовать обозвать.

, например, это множество всех подмножеств

, симметрическая разность между которыми конечна.
Определим

так:

Это опечатка

. Надо так:
Определим

так:

.
Исправил в тексте.