Нам преподаватель матана говорил, что бесконечно малые - это процесс.
Функция называется
бесконечно малой в точке 
, если имеет в точке

предел, равный нулю. Всего лишь. Название "бесконечно малые" сложилось исторически и, на мой вкус, неудачно, т.к. порождает в юных и не очень головах, которые любят, едва прочитав что-то по верхам, ударяться в глубокие размышления,
весь этот горький катаклизм, который я здесь наблюдаю (с). Гораздо лучше было бы говорить просто "сходящиеся к нулю в точке". Назовем функцию сходящейся к нулю в точке

, если она стремится к нулю при стремлении аргумента к

. И никаких возбуждающих воображение бесконечностей.
Название "бесконечно малые" сложилось исторически, т.к. на заре дифференциального исчисления математики действительно пытались оперировать величинами, которые меньше любого положительного числа, но больше нуля. Но, когда в XIX веке выстраивали матанализ как систему теорем, все доказательства которых основаны на свойствах натуральных чисел, этой идее не сумели придать смысл.
Сейчас существует также нестандартный анализ, который рассматривает гипердействительные числа - это числа, которым отказано в аксиоме Архимеда, т.е. неверно, что любое число можно превзойти, сложив достаточно много единиц. Вот там существуют бесконечно большие числа, и бесконечно малые, и, кажется, аналоги дифференциального и интегрального исчисления, построенные на этом языке. Я об этом мало знаю (чтобы не сказать - ничего). Надо, однако, понимать, что нестандартный анализ - экзотическая ветвь математики, построенная на отказе от одного из базовых свойств действительных чисел. Лезть с гипердействительным уставом в монастырь обычного матана нельзя.