Потому что для атома кремния более симметрично основное состояние аниона

(

), а для атома фосфора - наоборот, более симметричным является основное состояние нейтрального атома.
На сродство к электрону влияет много факторов. Размер частицы, спектр её состояний и т.д.