...как в таких двух пакетах как Maple и MatLab решить численно задачу на собственные значения для системы обыкновенных дифференциальных уравнений...
Посмотрите этот ролик:
Finding Eigenvalues with MatlabДля заданной задачи на СЗ для ОДУ строится конечно-разностное приближение и решается полученная алгебраическая задача на поиск СЗ матрицы. Никакие специальные средства Matlab не используются.
P.S. Презентация из этого ролика:
Eigenvalues.pptx