Видимо, эта традиция исходит от "примеров" вроде множества стульев в комнате и т. п.
Когда Гильберт в "Основаниях геометрии" сформулировал аксиомы евклидовой геометрии и сказал, что это определения точек и прямых, Фреге возразил ему: это не определение, потому что из него невозможно понять, являются ли точкой его, Фреге, карманные часы. Гильберт ответил, что сущность аксиоматического метода в том и состоит, что можно "точки и прямые" заменить на "стулья и пивные кружки", и для математики ничего не изменится.
Тут два разных понимания того, что такое определение. Первый, восходящий еще к античным мудрецам, на современном языке можно было бы выразить так. Пусть

- некоторое множество объектов, в идеале - множество всех мыслимых объектов, но такой широкий замах неизбежно приводит к противоречиям. Пусть

- одноместный (это важно!) предикат с предметной областью

и

- множество тех

, для которых предикат истинен. Тогда

можно назвать понятием, а предикат

- его определением. При этом предикат:
1) формулируется на естественном языке
2) интерсубъективно ясен, то есть еще не нашлось такого

, относительно которого возникли бы сомнения, истинен

или ложен
3) не создает логического круга (т.е. понятие

нельзя определить через само

).
По сей день это единственное известное понимание термина "определение" для всех, кто не знаком с формальными теориями (а с ними, кроме профессиональных математиков, не знаком почти никто). И при таком подходе к понятию определения множество, точка, прямая и натуральное число - действительно неопределимые вещи.
И есть другой подход, который ввел в оборот вождь и учитель Гильберт и о котором говорит
arseniiv. В этом подходе определяемые объекты вводится сразу же вместе с отношениями, в которых они находятся друг к другу. Так определяются, скажем, шахматные фигуры. Нет смысла спрашивать, являются ли карманные часы Фреге шахматным конем - если поставить их на доску и играть ими в шахматы, как конем, то они будут конем. Однажды я попал в больницу и маялся там от безделья (в больницу я не собирался, и книг у меня с собой не было). Так мы с товарищем по несчастью играли в шашки корками от лимона и апельсина.