Вы неправильно применяете метод наименьших квадратов.

, как и сказал Вам
Dan_Te, имеет минимум, когда

. То есть, мы имеем систему четырех уравнений (

,

,

и

). Я думаю, она должна решаться
методом Ньютона. Если у Вас не получится, попробуйте дать нам

,

.
Систему, кстати, можно слегка упростить, рассмотрев случай

отдельно. То есть, найти минимум

(

равно среднему значению

), и искать отдельно решение системы при

. В последнем случае второе и третье уравнение можно разделить на

:

,

. Пустячок, а приятно.