Может кто-нибудь подскажет ПО для моделирования такой системы?
Могу подсказать ПО для моделирования любой системы- это языки программирования. Все эти математические пакеты заточены на решение типовых задач, решения по которым и так давно известны, а вот если Вы немного отходите от типовой задачи, то возникает масса проблем. По этому, я лично всегда пишу свои программы для моделирования различных систем. Посмотрите здесь
http://ser.t-k.ru или здесь
http://modsys.narod.ru и может быть возьмете за основу какую нибудь из моих программ, например Udar или Konma. Исходники выложены на самом простом языке программирования Visual Basic 6 (можете вообще использовать досовский BASIC - код будет практически один и тот же).
С наилучшими пожеланиями Сергей Юдин.