Если всмотреться в эти два определения, то обе части утверждения теоремы ("тогда" и "только тогда"), вроде бы, кажутся очевидными
Тем не менее, надо применить теорему о пределе суммы-разности, или показать явно через эпсилон-дельта. Так вы избавитесь от "вроде бы".
(Оффтоп)
Замечательно, что вы решили поднять курс матана. Подскажите, по какой книге его проходите, мне это тоже надо.