Для начала лучше сделать замену 

. Тогда 

, где 

. Тогда

Уже тривиальная оценка 

 дает 

, так как 

 интегрируема (имеет порядок 

 при 

).
Но можно оценить точнее, используя тот факт, что 

 быстро осциллирует при больших 

. При этом, действительно, окрестность единицы придется выделить:
![$$
\int_{[\sqrt N]/\sqrt N}^1|g'(t)|dt=O\left(\int_{[\sqrt N]/\sqrt N}^1\frac{dt}{\sqrt{1-t}}\right)=O(N^{-1/4}).
$$ $$
\int_{[\sqrt N]/\sqrt N}^1|g'(t)|dt=O\left(\int_{[\sqrt N]/\sqrt N}^1\frac{dt}{\sqrt{1-t}}\right)=O(N^{-1/4}).
$$](https://dxdy-02.korotkov.co.uk/f/9/3/c/93c66bc460b3658d9d4f38ba2f574ba782.png)
На оставшемся промежутке занесем 

 под дифференциал, обозначая 

:
![$$
\sqrt N\int_0^{[\sqrt N]/\sqrt N}\rho(t\sqrt N)g'(t)dt=\int_0^{[\sqrt N]/\sqrt N}g'(t)d\sigma(t\sqrt N)=O\left(\int_0^{[\sqrt N]/\sqrt N}|g''(t)|dt\right).
$$ $$
\sqrt N\int_0^{[\sqrt N]/\sqrt N}\rho(t\sqrt N)g'(t)dt=\int_0^{[\sqrt N]/\sqrt N}g'(t)d\sigma(t\sqrt N)=O\left(\int_0^{[\sqrt N]/\sqrt N}|g''(t)|dt\right).
$$](https://dxdy-04.korotkov.co.uk/f/b/f/0/bf027852bbbcfd2fd9ceb1da0587de3482.png)
Формально надо разбить 
![$[0,\sqrt N]$ $[0,\sqrt N]$](https://dxdy-04.korotkov.co.uk/f/b/6/8/b68351e17376ac4aea0c7e3a0fcec14782.png)
 на промежутки единичной длины и проинтегрировать по каждому из них, но внеинтегральные члены пропадут, так как 

 обращается в нуль в целых точках.
Ну и 

 имеет порядок 

 при 

, так что последний интеграл оценится как 

. Итого, получили оценку 

 для исходного интеграла.