если продифференцировать функцию сложновато будет...
Да ладно, ничего страшного. Только не раскрывайте все скобки подряд, а выносите за скобку всё, что возможно. Многочлен шестой степени, оставшийся в скобках, имеет пару очевидных корней. А в остающемся после удаления этих корней многочлене четвёртой степени можно сделать Вашу подстановку, чтобы найти иррациональные корни.
P.S. Кстати, у Вас там в последней формуле слева переменная

, а справа её нет...