...а в каких-то случаях — нельзя, то есть скорость это не всегда производная?
Ну, я бы сказал так - математика работает в мире абстракций. Одна из коих - производная. Абстрактный мир можно соотнести с реальным (причём многими способами) и тогда появляются соответствия между математическими и физическими (и не только) понятиями, и математические результаты оказываются применимыми в конкретных задачах. Если аргумент функции время, а значение - координата, то производной функции сопоставляется скорость. Но при другом соотнесении производной будет соответствовать ЭДС самоиндукции, доходность актива, градиент температуры, быстрота распространения эпидемии и т.п. Математика та же, физическая сущность иная.
Скорость и производная из разных миров, но могут быть сопоставлены друг другу, причём в ряде случаев можно забыть, что это не одно и то же, и употреблять, как синонимы. Это способно привести к ошибкам, но при известном понимании - ошибок не порождает.