Нет, я все же до конца не понимаю, в каком смысле арифметика строится в теории множеств.
Не арифметика строится, а её модель.
Про введение новых обозначений уже сказали: их можно вводить сколько угодно, определяя их значение в терминах теории множеств. Это даёт так называемое консервативное расширение языка. При желании их всегда можно исключить, просто заменив их соответствующими определениями.
Стандартная схема построения "стандартной" модели арифметики следующая.
Определяется теоретико-множественная функция
последователь, которая каждому множеству

ставит в соответствие множество

.
Множество

называется
индуктивным, если оно удовлетворяет двум условиям: 1)

и 2) если

, то

.
Аксиома бесконечности утверждает, что хотя бы одно индуктивное множество существует.
Доказывается, что существует наименьшее (в смысле включения) индуктивное множество, причём, оно единственное.
Натуральный ряд 
определяется как наименьшее индуктивное множество, а его элементы называются
натуральными числами. Предыдущее утверждение означает, что символ

определён корректно (имеет вполне определённый смысл).
Элементы

сопоставляются натуральным числам так:

,

,

,

, …
Доказываются различные схемы определения по индукции. Например: если заданы функции

и

, то существует и единственна функция

, удовлетворяющая условиям 1)

и 2)

.
Далее мы можем определить сумму и произведение.
Для суммы мы вместо

пишем

, берём

и

, то есть, определяем

соотношениями 1)

и 2)

.
Аналогично произведение определяется соотношениями 1)

и 2)

, то есть, здесь

и

.
Далее доказывается, что выполнены все аксиомы арифметики Пеано.
Где найти подробное построение, я не знаю. В учебнике К. Куратовского и А. Мостовского "Теория множеств" глава III посвящена натуральным числам, но там не ставится задача детального построения модели арифметики. Правда, есть ссылка на цикл работ П. Бернайса.