Для начала лучше сделать замену

. Тогда

, где

. Тогда

Уже тривиальная оценка

дает

, так как

интегрируема (имеет порядок

при

).
Но можно оценить точнее, используя тот факт, что

быстро осциллирует при больших

. При этом, действительно, окрестность единицы придется выделить:
![$$
\int_{[\sqrt N]/\sqrt N}^1|g'(t)|dt=O\left(\int_{[\sqrt N]/\sqrt N}^1\frac{dt}{\sqrt{1-t}}\right)=O(N^{-1/4}).
$$ $$
\int_{[\sqrt N]/\sqrt N}^1|g'(t)|dt=O\left(\int_{[\sqrt N]/\sqrt N}^1\frac{dt}{\sqrt{1-t}}\right)=O(N^{-1/4}).
$$](https://dxdy-02.korotkov.co.uk/f/9/3/c/93c66bc460b3658d9d4f38ba2f574ba782.png)
На оставшемся промежутке занесем

под дифференциал, обозначая

:
![$$
\sqrt N\int_0^{[\sqrt N]/\sqrt N}\rho(t\sqrt N)g'(t)dt=\int_0^{[\sqrt N]/\sqrt N}g'(t)d\sigma(t\sqrt N)=O\left(\int_0^{[\sqrt N]/\sqrt N}|g''(t)|dt\right).
$$ $$
\sqrt N\int_0^{[\sqrt N]/\sqrt N}\rho(t\sqrt N)g'(t)dt=\int_0^{[\sqrt N]/\sqrt N}g'(t)d\sigma(t\sqrt N)=O\left(\int_0^{[\sqrt N]/\sqrt N}|g''(t)|dt\right).
$$](https://dxdy-04.korotkov.co.uk/f/b/f/0/bf027852bbbcfd2fd9ceb1da0587de3482.png)
Формально надо разбить
![$[0,\sqrt N]$ $[0,\sqrt N]$](https://dxdy-04.korotkov.co.uk/f/b/6/8/b68351e17376ac4aea0c7e3a0fcec14782.png)
на промежутки единичной длины и проинтегрировать по каждому из них, но внеинтегральные члены пропадут, так как

обращается в нуль в целых точках.
Ну и

имеет порядок

при

, так что последний интеграл оценится как

. Итого, получили оценку

для исходного интеграла.