Я так понимаю, что ode45 решает только ДУ 1-го порядка, разрешенные относительно производной и системы ДУ, состоящие из таких уравнений?
А других (из числа "разрешённых") и не бывает. Любое уравнение или система высших порядков стандартно сводится к системе первого порядка.
Встречаются ли ДУ 1-го порядка, которые нельзя разрешить отностительно производной? Как их решать в таком случае?
А это уже совсем другой вопрос. Естественно, встречаются. Однако проблема тут не столько в методе решения, сколько в выборе ветки уравнения. В случае неявного дифуравнения или системы при заданных начальных условиях нужно ещё найти соответствующие им значения производной или производных; но это уже -- вопрос решения никакого не дифура, а просто обычного нелинейного уравнения или системы. Т.е. вопрос сугубо самостоятельный, и его никак не обойти.
Однако если уж он решён, то дальше -- никаких проблем. Знание значений самой функции и её производных на предыдущем шаге порождает нелинейные уравнения на производные для следующего шага (или полушага, или и т.д.), но они уже вполне эффективно решаются хотя бы методом Ньютона. Эффективно, поскольку дифуры обычно приходится интегрировать всё-таки с маленьким шагом, и значения производных на предыдущем шаге будут хорошими приближениями для их значений на следующем.