Вообще, в стандартных курсах анализа и алгебры часто обходятся наивной теорией множеств.
Да. По-моему, подавляющее большинство математиков спокойно обходятся наивной теорией множеств. При необходимости можно учесть результаты аксиоматических теорий множеств (типа несуществования множества всех множеств или необходимости (счётной) аксиомы выбора для доказательства эквивалентности определений предела по Коши и по Гейне). Так что можете не париться.
Чтобы изучить ZFC, NBG, да и вообще понимать разницу между классами, множествами, семействами, категориями(?) и т.п.
Класс от множества отличается тем, что не может быть элементом другого класса. Например, класс всех множеств не является множеством. Хотя можно построить теорию, допускающую совокупности классов. Термин "семейство" обычно используется как синоним термина "множество". Категории изучаются в специальной теории категорий. Классы часто встречаются в алгебре (многообразия всяких алгебраических систем сплошь и рядом являются классами) и топологии. Там же встречаются всякие категории и функторы.
И да,есть ли в анализе и алгебры моменты, когда приходится отказываться от наивной теории множеств и переходить к чему-то более серьезному?
Вообще говоря, такие моменты встречаются, но по этому поводу не обязательно по уши закапываться в математическую логику и аксиоматические теории. Есть риск назад не выбраться. Обычно достаточно узнать, как там разрешается интересующий Вас вопрос.
Для изучения ZFC можно использовать, например, книгу Куратовского и Мостовского "Теория множеств". Излагаемая там теория множеств отличается от ZFC отсутствием аксиомы регулярности (авторы говорят, что аксиому регулярности они считают интуитивно истинной, но пользоваться ей не хотят) и наличием аксиомы реляционных типов, которая во всей книге упоминается то ли один, то ли два раза. NBG от ZFC отличается тем, что основным понятием является не множество, а класс, в то время как множество определяется как такой класс, который является элементом какого-нибудь класса. В том, что касается множеств, ZFC и NBG идентичны, но NBG может говорить например, о таких вещах, как класс всех множеств. Впрочем, ZFC допускает консервативное расширение языка конструкцией
, где
— формула языка ZFC, в которой
— свободная переменная. Тогда класс всех множеств определяется как
. Расширение консервативное в том смысле, что совокупность доказуемых теорем о множествах в результате не меняется, но теперь можно говорить о классах. Тем не менее, NBG немножко сильнее ZFC.