Это формальный язык так определяется. Само же понятие языка включает синтаксис, семантику (и, до кучи, прагматику).
Это очень странное определение. Дело не в формальности. Неформальный язык - это тоже алфавит плюс грамматика (либо фонетика плюс грамматика - для устной речи). Это позволяет формулировать высказывания, которые имеют право быть и истинными, и ложными, и непонятно какими - совершенно не важно, ибо это просто
высказывания: "Я никогда не видел лошади, курящей апельсин", - синтаксически корректно - и ладно. А вот семантика уже добавляет некое отношение субъекта к высказыванию - как к "истинному", "ложному", "возможному, но не необходимому", "достоверному" и т.п. (варианты отношения могут быть разными). Включать семантику в сам язык - это
очень странно. Получается, что в самом языке есть средства для определения истинности высказывания: "Маша мыла раму", - это правда или нет? Откуда мы можем знать, если нам пока непонятно - о какой Маше идёт речь, когда она должна была мыть раму и где взять информацию о том, что она на самом деле делала в то время?
Ого. А где можно почитать про основания математики без теории множеств?
Вся теория доказательств (proof theory) практически обходится без употребления понятия множества (в отличие от теории моделей, например). Посмотрите также reverse mathematics.
И еще...Мне интуитивно кажется, что первичным понятием должно выбираться все-таки не множество, а отношения между объектами. Не встречали ли Вы где-нибудь подхода к построению математики на этой основе?
Зачем же "интуитивно"?

Это общеизвестный факт. В любом формальном языке (в
исчислении предикатов - уж точно) отношения между объектами записываются
формулами языка. Соответственно, любая формула языка определяет некое отношение. Формула с одной свободной переменной определяет особый тип отношения -
свойство. Вот свойствами-то и определяются "множества". Считается, что в т.н. "наивную теорию множеств" Кантора даже была (неявно) заложена аксиома: "Любое свойство определяет множество". Б.Рассел показал противоречивость такой аксиоматики, что в дальнейшем вынудило математиков относиться к аксиоматизации теории множеств более аккуратно. Вот Вам пример формулы арифметики Пеано, определяющей свойство "

является чётным числом":

. Соответственно, это свойство определяет и множество чётных чисел:

.
P.S. Лучше я уточню эту формулу, поскольку в языке арифметики Пеано всё-таки нет константы

. Итак, свойство чётности:


обозначает функцию инкремента, а константа

в языке есть.