Я смог получить только, что из 10 отрезков можно составить 9 треугольников (4-мерный симплекс или пятиячейник, по-другому)
А почему 9 и зачем так сложно? Проще получить 10 -- возьмите хотя бы ту же проекцию пятиячейника на 3D и посчитайте треугольники.
а дальше не знаю как...
Я тоже не знаю, но попытался бы в первую очередь присмотреться к этой последовательности:
A111138.