
предполагаются константами, а O(h^2) стремится к 0, при h стремящемся к 0.
О большое здесь, конечно, стремится к нулю, но без определения его Вы не обойдетесь.
Множитель впереди ничему не мешает, числитель и знаменатель можно поделить на константу, получится что-то более удобоваримое, там видно будет. Определение вспомните.
Да, формулы исправьте. Все, даже из одного символа.