Метод Ньютона безусловно хорош, в случае СНАУ думаю это лучший выбор. Правда у него часто бывает очень узкая область сходимости. Но это решаемо, вводится настраиваемый параметр сходимости
![$\theta[k+1]=\theta[k]-\mu J^{-1}\Delta$ $\theta[k+1]=\theta[k]-\mu J^{-1}\Delta$](https://dxdy-01.korotkov.co.uk/f/c/f/8/cf8c4828a047dab9fe41da8e20ad2bd182.png)
, где

- матрица Якоби и невязка.
При

это классический метод Ньютона, при уменьшении этого параметра область сходимости расширяется, правда сходимость становится линейной. Поэтому по мери приближения к решению

желательно постепенно уменьшать до нуля, разумеется при сохранении сходимости.
Если пишите на С, то думаю связываться с каким либо специализированным ПО не стоит, потратите больше времени на его изучение, да и результаты потом не сможете использовать как вам захочется (конечно если это не одноразовое вычисление).