А как тогда объяснить такой парадокс в методе Ньютона, что иногда на очередном шаге итерации мы не приближаемся к корню функции, а наоборот, удаляемся?
Вот в методе простых итераций всё чётко. Метрика сжимается, а на каждом шаге итерации мы ближе к корню функции, чем на предыдущем шаге.
У любого метода есть свои условия применимости, как правило, за увеличение скорости сходимости мы платим более серьезными ограничениями на функцию.
В известной мне формулировке требуется, чтобы функция была дважды непрерывно дифференцируема на отрезке поиска, модуль первой производной ограничен снизу, а второй - сверху. Тогда всё совсем хорошо.
Тут можно ослабить некоторые условия и потерять квадратичную сходимость, но метод ещё будет сходиться.
А при других ослаблениях уже даже сходимость не будет гарантироваться.