ожидал увидеть в файле какие-то особенности, благодаря которым это возможно (ну, может, использование нескольких каналов с индивидуальным тюнингом). Похоже, ничего такого нет.
То, что Вы ожидали увидеть (и точно описали) есть, ручаюсь. На схеме все числа изгибов стандартных 12РДО высот взяты из предъявленного файла, только я его открываю в Sibelius 6, где Pitch Bend форматируется двумя семибитными байтами 128-ричного числа в команде

.
обычная малая секунда, классический диссонанс. Этот интервал сложно сделать приятным для слуха. Мне кажется, Вы утверждаете, что там что-то более сложное. Это так?
Настойчиво прославляемая ув. Свободным Художником пифагорейская настройка, которая в файле присутствует и работает, хуже стандартной 12РДО, где малая секунда несколько шире и потому не так заметна на восьмушке в слабой доле. Если её сделать ещё шире (В ЧИП5 или ЧИ более высоких пределов), возможно и совсем незаметной будет, но надо пробовать.
Удивительно, что имея достаточно чувствительный слух Вы в целом одобрили звук, который д-р Уибберли назвал наждачным, вместе с тем утверждая, будто лучшего решения, кроме пифагорейского, для чёткого интонирования этого фрагмента во времена Josquin des Prez быть не могло.