как решить уравнение 12 степени я не знаю... что я делаю не так?
Вы многое делаете не так. Хотя, возможно, приходите к правильным уравнениям.
Во-первых, Вы работаете с
кривой (и ищете касательную к кривой), заданной неявно уравнением

. Слово "функция" сюда можно вставить грамотно, получится громоздко. Но лучше не вставлять. А у Вас оно вставлено как-то неграмотно.
Во-вторых, Вы заводите излишние обозначения

для точки касания, которая принадлежит кривой и вполне может обозначаться просто как

. Тем самым Вы утруждаете и себя, писателя, и читателя.
В-третьих, Вы там безо всяких объяснений заводите некое

.
Наконец, получив уравнение 12-й степени, Вы пугаетесь и, похоже, только на основании этого делаете вывод, что Вы ошиблись. Это недостаточное основание.
Система уравнений имеет вид

и при исключении

или

превращается в уравнение 12-й степени относительно другой переменной.
Задача решается только численно. Почитать про (не)разрешимость алгебраических уравнений полезно.
Есть где почитать? Нешкольный справочник, например.