Литература на эту тему есть, но изучение истории не поможет вам, а окончательно запутает. История двигалась непрямыми путями, совсем не так ясно, как изложено в учебнике.
Сегодня три понятия образуют некое единство: предел, непрерывность и производная. Это было достигнуто не сразу, а трудами Коши и Вейерштрасса, гораздо позднее появления вообще понятий производной и первообразной. Первопроходцы, Ньютон и Лейбниц, и вплоть до Эйлера, понимали производные как некоторое отношение "
актуальных бесконечно малых". Это понятие не удавалось сделать строгим, и из-за этого не удавалось и доказать результаты применения дифференциального и интегрального исчисления.
Например очень распространенный случай когда надо исследовать функцию. А бывают ли задачи в физике/механике/гидравлике и т.п. когда надо исследовать функцию?
Да, бывают. Например, вот функция

с положительными коэффициентами, рассмотренная на положительной полупрямой. От того, как она себя ведёт, зависит притяжение и отталкивание тел в одной широко известной задаче. Или другая функция,

рассмотренная на плоскости

описывает устойчивость и неустойчивость в другой широко известной задаче.