А почему во втором случае не подходит корень 1?
А - по опчей теории: коль среднее число потомков больше 1, то вероятность вырождения - меньший корень ур-я.
(Оффтоп)
Это можно получить ручками: в точности так, как написал arseniiv: рисуем график параболы, изображаем итерационный процесс, и видим сходимость итераций (там - монотонная последовательность) к неподвижной точке.