Истинные вероятности или одинаковы или не одинаковы. Непопадание нуля в интервал с уровнем доверия 0,95 означает, что наблюдаемые доли различаются настолько значимо, что критерий, который всего лишь в пяти процентах случаев видит различие там, где его нет, различие заметил.
Вам следует с самого начала понять устройство критериев согласия: Вы не понимаете, откуда они берутся, вот и все проблемы. Общую теорию лень писать, да и написано уже всюду, поэтому на данном примере.
Есть две независимые выборки с объёмами

и

из распределений Бернулли с параметрами

и

(вероятностями успеха). Требуется проверить гипотезу

при альтернативе

. По выборкам посчитаны количества успехов

и

и частоты

и

.
Поскольку по закону больших чисел частота

(и

) с ростом

(соответственно,

) приближается в любом вероятностном смысле к своей вероятности успеха

(соответственно,

), то существенная разница между

и

свидетельствует в пользу альтернативы.
Возникает вопрос: что есть
существенная разница? Заранее зададимся числом

таким, что событие вероятности

или меньшей считается
маловероятным. Предположим, что мы нашли такую границу

, что при верной основной гипотезе (при равных вероятностях) очень маловероятно будет увидеть разницу частот, превышающую

. Иначе говоря, хотим, чтобы

.
Осталось найти такую границу. Для этого следует данную вероятность свести к какому-то известному распределению. Разницу

можно нормировать и центрировать, получив, что распределение дроби

при больших

и

близко к стандартному нормальному. Поэтому можно взять такую точку

, что

, где

имеет стандартное нормальное распределение. Если рассматривать эту дробь при верной основной гипотезе

, то разность вероятностей из числителя уходит.
Таким образом, можно считать, что при верной основной гипотезе событие

имеет вероятность (близкую к)

и означает, что разница частот значительна. Это как раз событие, означающее, что

Или что ноль (

) не попадает в Ваш доверительный интервал, если в его терминах рассуждать.