Я идиот. Это же теория размерности, мне, как топологу, не следовало об этом забывать. Если пытаться доказать нужное Вам утверждение "напрямую", то, боюсь, это будет весьма нетривиально.
Пусть у нас

- замкнутое подмножество, причём,

и

. Обозначим

и

какие-нибудь компоненты связности множеств

и

соответственно. Множества

и

открыты, так как пространство

локально связно;

и

.
Множества

и

являются перегородками между (непустыми) множествами

и

, а в

перегородка между любыми двумя непустыми множествами имеет размерность не меньше единицы. Между тем, любое вполне несвязное замкнутое множество в

нульмерно. Поэтому

и

не являются вполне несвязными.
П.С.Александров, Б.А.Пасынков. Введение в теорию размерности. Введение в теорию топологических пространств и общую теорию размерности. Москва, "Наука", 1973.