Вы забыли добавить ещё 
(()), 
()(), 
[[]], 
[][]. Ведь если какие-то виды скобок не использованы — последовательность формально всё равно будет оттуда же, откуда и 
([]). Если вам такие не нужны, просто вычтем их. Их будет 

, 

 — кол-во типов скобок.
-- Вс фев 05, 2012 20:01:34 --Ой. У вас задача-то более специфическая. Прочитал и забыл. Когда количества разных открывающих скобок заданы, 

 заменится на нечто другое, но зато не надо будет вычитать то, что я написал выше. Сейчас напишу, что именно будет.
-- Вс фев 05, 2012 20:10:27 --Итак, поступим как там, но по-своему. Распределим сначала открывающие скобки первого типа. Это можно сделать 

 способами (

). Потом распределим скобки второго типа 

 способами, и последние оставшимся единственным способом. [Можно сказать, что их можно распределить 

 способами, но это ведь как раз и равно 1. 

] В общем, получаем при раскрытии всего этого 

. Иногда такую штуку записывают 

 и зовут мультиномиальным коэффициентом (потому что можно обобщить это на любое число типов скобок).
В общем, получается 

.