Если Вы делаете так, могу подтвердить, что интегральная формула для коэффициентов у Вас правильная. Я бы сказал, она чудом получается правильная, так как Вы в нескольких пунктах отступаете от прямого следования Левину. Хотя допускаю, что это результат аккуратного вывода. Выражение для

, входящее в формулу, Вы не приводили, и я его проверить не мог, но, во всяком случае, оно зависит от

, поэтому лучше писать

.
Замена, которую Вы привели, хорошая. Если с ней что-то не получается, замена не виновата. Ведь можно сделать так: взять известные параметры

. Найти

. И вычислить

. С одной стороны, для них получатся вещественные, а не комплексные, значения. С другой стороны, эти шесть величин обязаны удовлетворять системе после замены. Так что виновата программа, не умеющая найти все решения системы.
Кстати, Вы заметили, что коэффициенты перед степенями

и

в системе те же, что и коэффициенты при степенях

в полиномах Эрмита? Это позволяет красиво и компактно записать все уравнения системы,
примерно так:

,
где

.
К сожалению, это не облегчает решение системы. Но решением в любом случае должна заниматься машина.
Ещё вопрос: значения дисперсий

в Вашей задаче обычно больше единицы или меньше?