Пробовал решить перебором по степеням вершин, но порядок перебора мне не совсем понятен.
Выберите произвольный порядок и перебирайте себе. Если этот порядок не понравится, выберите другой.
Судя по статье
http://e-maxx.ru/algo/catalan_numbersих должно быть равно числу Каталана.
Когда Вы пишите просто "деревья" это означает "просто деревья", т.е. ациклические неориентированные графы. В этой статье речь идет о корневых бинарных деревьях. Там же упоминается и тривиальный изоморфизм, который, очевидно, на все деревья не переносится.