Ну, мне сразу пришла в голову подстановка

, где

(так как

не целое и больше

), откуда

. Умножая уравнение на

и подставляя

, получим

Правая часть здесь заведомо положительная, поэтому возведение в квадрат даёт равносильное уравнение

Свободный член этого квадратного (относительно

) уравнения отрицателен, поэтому у него один положительный и один отрицательный корень.
Дискриминант этого уравнения равен

а положительный корень равен

Далее применяем грубую силу: перебираем все пары целых

и

в промежутках

и

и находим два случая, когда дискриминант оказывается точным квадратом:

,

,

,

,

и

,

,

,

,

. Поскольку по условию число

не должно быть целым, получаем решение

Наименьшее оно или нет, неизвестно, поскольку, во-первых, критерии "наименьшести" не указаны, а во-вторых, о других решениях ничего неизвестно.
Вероятно, автор имел в виду какой-нибудь хитрый метод, но я, к сожалению, хитрых методов не знаю.