Нет, я все же до конца не понимаю, в каком смысле арифметика строится в теории множеств.
Не арифметика строится, а её модель.
Про введение новых обозначений уже сказали: их можно вводить сколько угодно, определяя их значение в терминах теории множеств. Это даёт так называемое консервативное расширение языка. При желании их всегда можно исключить, просто заменив их соответствующими определениями.
Стандартная схема построения "стандартной" модели арифметики следующая.
Определяется теоретико-множественная функция
последователь, которая каждому множеству
ставит в соответствие множество
.
Множество
называется
индуктивным, если оно удовлетворяет двум условиям: 1)
и 2) если
, то
.
Аксиома бесконечности утверждает, что хотя бы одно индуктивное множество существует.
Доказывается, что существует наименьшее (в смысле включения) индуктивное множество, причём, оно единственное.
Натуральный ряд определяется как наименьшее индуктивное множество, а его элементы называются
натуральными числами. Предыдущее утверждение означает, что символ
определён корректно (имеет вполне определённый смысл).
Элементы
сопоставляются натуральным числам так:
,
,
,
, …
Доказываются различные схемы определения по индукции. Например: если заданы функции
и
, то существует и единственна функция
, удовлетворяющая условиям 1)
и 2)
.
Далее мы можем определить сумму и произведение.
Для суммы мы вместо
пишем
, берём
и
, то есть, определяем
соотношениями 1)
и 2)
.
Аналогично произведение определяется соотношениями 1)
и 2)
, то есть, здесь
и
.
Далее доказывается, что выполнены все аксиомы арифметики Пеано.
Где найти подробное построение, я не знаю. В учебнике К. Куратовского и А. Мостовского "Теория множеств" глава III посвящена натуральным числам, но там не ставится задача детального построения модели арифметики. Правда, есть ссылка на цикл работ П. Бернайса.