Давайте немного разберемся и разделим термины, а то тут часто смешиваются разные вещи, а тема и так уже полуфилософская.
Есть неформальная математика, которая делается людьми на естественном языке. Есть формальные математические теории, которые используют формальные языки. И та, и другая математика основывается на аксиомах и правилах вывода. В одном случае это утверждения естественного языка об абстрактных объектах (о сути которых мы говорить не будем, ибо это уже философия) и правила логики, по которым одни утверждения выводятся из других. В другом случае это формальные строки из формального языка и алгоритмы работы с ними для получения и проверки формального доказательства.
Неформальная теория может быть формализована, то есть ее аксиомы и правила могут быть зафиксированы, описаны простым образом, и записаны на формальном языке. Это, в некотором смысле, способ "договориться о правилах игры" - мы пытаемся записать наши правила максимально однозначно.
Математическая логика изучает формальные математические теории. То есть у нас всегда есть теория, которую мы изучаем, и теория, с помощью которой мы изучаем - метатеория. Изначально метатеорией может выступать неформальная математика. Но полезны также и формальные метатеории, например, при доказательстве теоремы Геделя о неполноте формальная арифметика выступает в качестве своей же метатеории.
Для того, чтобы определить семантические понятия, напр. модель теории, в метатеории должна быть какая-то теория множеств. Она, вообще говоря, может быть очень маленькая, например, в Reverse Mathematics Фридмана в качестве метатеории часто выступает подсистема арифметики второго порядка

, которая слабее арифметики Пеано в своей первопорядковой части. Обычно же в качестве метатеории выступает неформальная теория множеств, а если нам все-таки хочется конкретизировать правила (например, если некоторые свойства универсума теории множеств важны для наших результатов) - то

или какой-нибудь более-менее произвольный топос.