Верно ли я понимаю, что когда я доказываю обычным образом (не в формальном смысле, а просто как обычно делают в математике - с помощью естественного языка и обычных нормальных рассуждений) какие-то теоремы о натуральных числах, то я пользуюсь гораздо более сильными выразительными средствами, чем те, которые допускаются логикой первого порядка?
Не думаю. Возможно, вы пользуетесь аксиомами, которых нет, ну пусть, в ZFC. Но более сильное рассуждение, чем позволяется логикой, мне кажется сомнительным.
