Dims писал(а):
Итак получается, что четвёрки чисел делятся как бы на два лагеря: отображающие незапутанную систему и запутанную. Очень странно! Получается, в 4-пространстве, если пометить одни точки чёрным, а другие -- белым, то образуется странная фигура, наподобие множества Мандельброта...
Ну, не так уж и сложно.
Dims писал(а):
Или это семейство линий или плоскостей или пространств?
Уравнение

определяет в четырёхмерном пространстве четвёрок

трёхмерную коническую поверхность. Точки на поверхности соответствуют незапутанным системам, вне поверхности - запутанным.
Dims писал(а):
А из трёх и меньшего числа чисел можно выделить такое подмножество?
Мне вопрос непонятен. Если Вы его сформулируете так, как Вы сформулировали задачу для четвёрок, можно будет посмотреть.