Я просто еще в наивной теории множеств пребываю и вопросов аксиоматизации не касался. А там элементы множества просто какие угодно объекты. Почему бы и не пары тогда.
Это не важно. Мы ведь всё равно должны по двум элементам (может быть, совпадающим), из которых один называется "первым", а другой — "вторым", найти соответствующую упорядоченную пару, а по упорядоченной паре — соответствующие элементы. Для этого удобно, чтобы упорядоченные пары были множествами со структурой, позволяющей это сделать. Если же упорядоченные пары — это не множества, а какие-то особые объекты, то нам придётся делать далеко идущие предположения об этих объектах.
Это там, где есть так называемые "Quine atoms" - множества содержащие в качестве элемента самое себя?
??? Это Вы о чём? До сих пор такие множества не упоминались.
Нет, предположение о существовании таких множеств само по себе ни к каким парадоксам не ведёт. В стандартных аксиоматизациях имеется аксиома регулярности, которая такие множества запрещает. Однако Вы можете взять учебник К. Куратовского и А. Мостовского "Теория множеств" ("Мир", Москва, 1970), и там, после формулировки всех нужных аксиом, обнаружите формулировку этой аксиомы. Авторы дают краткое обсуждение аксиомы регулярности, смысл которого сводится к тому, что "это утверждение интуитивно очевидно, но мы им пользоваться не будем".
А эта вложенность не пораждает никаких жутких парадоксов? Такое чувство, что следовало бы ожидать
Ну, парадокс Рассела построен на таких множествах, однако это не означает, что в противоречиях виноваты именно эти множества. Виновато предположение, что существует множество всех множеств (точнее — неограниченная аксиома свёртывания, которая утверждает, что всякое свойство, выраженное в языке теории, порождает множество элементов, обладающих этим свойством; в ZFC вместо этой аксиомы присутствует аксиома выделения). Дело в том, что если парадоксы в аксиоматической теории есть, то добавлением новых аксиом избавиться от них не удастся: новая аксиома — это дополнительное средство доказательства, и если мы смогли доказать два противоречащих друг другу утверждения без этой аксиомы, то с ней тем более докажем.
А в этом случае это аксиоматизация, где есть "urelement'ы"? Но почему они в таком случае не могут яыляться в том числе и парами?
Наверное, могут, но это надо явным образом описать соответствующими аксиомами. То есть, вместо одного маленького определения и кратко доказываемой теоремы у нас будут дополнительные понятия и дополнительные аксиомы. Зачем плодить сущности без явной нужды? О бритве Оккама слышали?