рамках математики можно что угодно определять как угодно, и очень часто можно услышать фразу в духе "неправильных определений не бывает". Но, имхо, это слишком упрощенный взгляд на вещи: правильные и неправильные определения еще как бывают.
Предпочитаю говорить, что определения бывают не правильными и неправильными, а интересными/полезными/плодотворными и нет. Пример неинтересного/бесполезного/неплодотворного определения: назовем натуральное число кузявым, если сумма его цифр в позиционной записи и десятичной системе счисления не превышает 100. Заметим, множество кузявых чисел бесконечно и нетривиально распределено в натуральном ряду. О нем наверняка можно доказать множество неочевидных теорем. Вот только кого интересуют эти теоремы? Произвольно выбрали систему записи чисел, привязались к такой бессмысленной характеристике как сумма цифр, произвольно ее ограничили...
Как отличить плодотворное определение от неплодотворного? Есть несколько тривиальных соображений. Например, интересные множества не должны быть привязаны к способу записи чисел. Кроме того, лучше бы им быть замкнутыми хоть по каким-то операциям (но уже это не обязательно: множество простых чисел ни по каким очевидным операциям не замкнуто). Ну и так далее.
Боюсь, что если на эту тему и существуют менее тривиальные соображения, то они рассеяны по мемуарам, математическому фольклору, устным сообщениям учителей своим ученикам. Хорошо бы, конечно, выработать, как сейчас модно говорить, "руководящие принципы". Вот только сомневаюсь, что это решаемая задача. Еще больше сомневаюсь, что она уже решена. Зато совершенно уверен, что она НЕ решена ни в одной книге с тегом "философия математики".