Если у Вас не определена топология, то скорее всего имеется в виду каноническая (или стандартная) топология в 

, то есть совокупности объединений открытых интервалов, хотя мэй би я и не прав 

 .
Так вот, если множество 

 принадлежит топологии, то оно наз. открытым. Если его дополнение 

 также принадлежит топологии, то 

 наз. замкнутым в 

.
Отсюда Вам нужно придумать пример выпуклой оболочки (множества), дополнение которого не будет принадлежать стандартной топологии. Это если я правильно понимаю задачу 

 .
P.S.: Как обратный слеш написать в латехе? 
