Более того, если взять множество всех физических понятий, то получится, что физика

тоже язык. Если взять множество понятий, связанных с правовыми отношениями, то legal theory is a language. Продолжая в том же духе, получим, что все науки

языки.
Слишком широкая трактовка, Вам так не кажется?
Это не совсем так. Математика развивает свои понятия, не беспокоясь об их соответствии реальности. Физика же должна интересоваться и соответствием реальности. По этой причине в физических теориях, помимо аксиоматики, определяющей понятия, должно закладываться нечто, указывающее на физическую применимость соответствующих понятий.
вся математика в нескольких аксиомах ZFC

это же феноменально!
Это тоже не совсем так. Точнее сказать, в языке исчисления предикатов первого порядка с бинарным предикатным символом

(это - язык формальной теории множеств) формально можно выразить практически любой известный математический факт. Но на практике так не делают, ибо неудобно. Поэтому содержанием математики является определение понятий, с которыми работать будет удобно.
Например, понятие группы определяется именем "группа" и соответствующими аксиомами, хотя любая группа - тоже множество. С формальной точки зрения это является т.н. "консервативным расширением" аксиоматической теории множеств.
Другой пример: В языке арифметики Пеано не используется никаких констант, кроме

и

, и не смотря на это в нём выразима вся арифметика натуральных чисел. Но это школьникам будет неудобно, а поэтому мы консервативно расширяем арифметику такими константными символами, как

, и такими определяющими их аксиомами, как

. После этого уже не нужно в качестве соответствующих чисел употреблять неудобные термы типа

.
Кстати, естественные языки развиваются аналогичным образом. Вместо того, чтобы каждый раз говорить: "Крупное хищное млекопитающее, покрытое густым белым мехом, обитающее в арктике", мы вводим понятие "белый медведь".
В такой трактовке математика является языком, но выходит за пределы этого понятия.
Этой мысли я не понял.