Есть понятие метатеории: У нас есть некоторая формальная система - теория, которую мы изучаем, и есть метатеория, в которой мы изучаем теорию. Обычно, чтобы сильно не заморачиваться, в метатеории есть достаточно сильные понятия, вроде понятия множества, но иногда нужно, чтобы теория была достаточно бедной. Метатеория может даже быть той же самой, что и теория, то есть теорию иногда можно формализовать внутри ее самой. Примером такого подхода может служить доказательство теоремы Геделя о неполноте. Теорию формальных систем тоже можно представить как формальную систему - обычно считается, что множество аксиом рекурсивно перечислимо, а правила вывода рекурсивны, так что их можно описать конструктивно в виде строк и оперируя со строками определить отношение "формула F выводима в формальной системе S". И опять же, можно изучать получившуюся формальную систему (теорию рекурсивно-перечислимых множеств) внутри ее самой.
Насчет литературы - есть фундаментальная книга Клини "Введение в метаматематику".
|