lvenok-sea писал(а):
система
x' = ( e^(x+2y) ) -cos(3x)
y'=sqr(4+8x) - 2e^x
ее решение: функция: y=

и где же решения х0 и у0 ???
Вообще-то, Вы, наверное, не понимаете задания.
У Вас имеется система на неизвестные функции x(t) и y(t).
Имеется также решение этой системы x(t)=0, y(t)=0, которое необходимо исследовать на устойчивость.
Для этого предлагается применить теорему Ляпунова об устойчивости систем по первому приближению. Необходимо разложить функции

и

в ряд Тейлора в окрестности точки

и оставить только линейные члены. Затем воспользоваться критерием Рауса-Гурвица для линейных систем с постоянными коэффициентами.
lvenok-sea писал(а):

- пока не знаю его решения ))
Как раз одно решение Вы знаете. Как я уже писал выше, второе решение находится с помощью формулы Лиувилля-Остроградского.
P.S. Все описанные теоремы есть, например, в моем учебнике (см. подпись).