Эммм... Затрудняюсь)
Или я чего-то не понял, или Вы как-то не так условие записали.
В моем понимании, у Вас обе фирмы во всех четырех случаях не выходят на рынок (или выходят, но с нулевым выпуском обе). В моем решении оказалась не нужна

, и по нормальным формулам получилось то, что получилось. Может, Вам даны не прибыли, а издержки?
P.S. Да, и формулы в TeX перевести не мешало бы.