Нет, я все же до конца не понимаю, в каком смысле арифметика строится в теории множеств.
 Не арифметика строится, а её модель.
Про введение новых обозначений уже сказали: их можно вводить сколько угодно, определяя их значение в терминах теории множеств. Это даёт так называемое консервативное расширение языка. При желании их всегда можно исключить, просто заменив их соответствующими определениями.
Стандартная схема построения "стандартной" модели арифметики следующая.
Определяется теоретико-множественная функция 
последователь, которая каждому множеству 

 ставит в соответствие множество 

.
Множество 

 называется 
индуктивным, если оно удовлетворяет двум условиям: 1) 

 и 2) если 

, то

.
Аксиома бесконечности утверждает, что хотя бы одно индуктивное множество существует.
Доказывается, что существует наименьшее (в смысле включения) индуктивное множество, причём, оно единственное.
Натуральный ряд 
 определяется как наименьшее индуктивное множество, а его элементы называются 
натуральными числами. Предыдущее утверждение означает, что символ 

 определён корректно (имеет вполне определённый смысл).
Элементы 

 сопоставляются натуральным числам так: 

, 

, 

, 

, …
Доказываются различные схемы определения по индукции. Например: если заданы функции 

 и 

, то существует и единственна функция 

, удовлетворяющая условиям 1) 

 и 2) 

.
Далее мы можем определить сумму и произведение.
Для суммы мы вместо 

 пишем 

, берём 

 и 

, то есть, определяем 

 соотношениями 1) 

 и 2) 

.
Аналогично произведение определяется соотношениями 1) 

 и 2) 

, то есть, здесь 

 и 

.
Далее доказывается, что выполнены все аксиомы арифметики Пеано.
Где найти подробное построение, я не знаю. В учебнике К. Куратовского и А. Мостовского "Теория множеств" глава III посвящена натуральным числам, но там не ставится задача детального построения модели арифметики. Правда, есть ссылка на цикл работ П. Бернайса.