Нужно искать минимум большой функции с ограничениями по переменным и с ограничениями, заданными функциями. Целевая функция экспортируется из Mathematica.
Где лучше реализованы функции минимизации в R или SciLab?
Есть еще проект Ipopt
https://projects.coin-or.org/Ipopt, но чтобы его использовать нужно ручками дописывать численное вычисление производных...