(a11,a22,a33,a12,a13,a23,b1,b2,b3,b4) = { (0,0,-1,6,0,1,0,-2,0,4), (0,0,0,2,1,0,2,0,0,0) }
Эту Вашу фразу можно сокращённо записать как (...)={(...),(...)}, что лично мне непонятно. Mathematica у меня нет. Как мне показалось, задачку проще решать на бумажке, чем с помощью протезов мозга (хотя я ими часто пользуюсь). Вы пропустили промежуточные этапы, и следить трудно. Я понимаю, что Вы избегаете культурной записи формул, но мне тоже лень угадывать Ваши мысли и искать возможные ошибки.
Основная проблема в моём подходе — понять, достаточно ли будет финального количества неизвестных, чтобы решить проблему их избыточности чисто введением умно-простой нормировки (ну,

эллипсо-цилинндр, но

та же самая поверхность), и как тут параболоидность сыграет? И не лучше ли нелинейный подход от
Xaositect, я тоже не проверял.
Кагбэ итог: Вы, вероятно, поняли мои обозначения типа

, но я Ваших b1 и проч не понял. Типа мои каноничны, из справочника (ну, может,

следовало как

записать), а Ваши из неканоничного справочника.