Меня теория множеств не устраивает тем, что её объекты имеют внутреннюю структуру.
??? Я не понимаю, чем она Вам мешает. Просто не вспоминайте о ней, тем более, что теория множеств горазда строить самые разные модели чего угодно, и от внутренней структуры элементов модели абсолютно ничего не зависит.
Объект должен определяться тем, что мы можем с ним делать, за какие ниточки мы его можем дергать извне. То есть допустим, натуральное число - это не какой-то там элемент какого-то (наименьшего индуктивного) множества, а просто какая-то неведомая зверушка, к которой мы умеем прибавлять 1.
И на здоровье. Я тоже смотрю на натуральные числа именно так. И на рациональные, и на алгебраические, и на действительные, и на комплексные, и на всякие прочие. Как устроены их модели в теории множеств — абсолютно неважно. Тем более, что для одного и того же можно настроить тьму разных моделей с совершенно разной структурой элементов.
Более того, арифметика Пеано первого порядка имеет модели сколь угодно большой мощности при полном выполнении всех аксиом.
Хотя абстрактная теория первого порядка, которая описывает категории, тоже очень бедная. Там есть два сорта, объекты и морфизмы, есть функции "взять начало морфизма", "взять конец морфизма" и "взять тождественный морфизм данного объекта", а также предикат "данные два морфизма композицируются в данный третий". В ней конечность не выразить. Так же, как и на языке формальной теории групп не выразить конечность группы.
С понятием конечности в теориях первого порядка вообще всё плохо. Понятие конечности невозможно определить никаким набором аксиом: если теория имеет сколь угодно большие конечные модели, то она имеет и бесконечную модель.