Численно смоделировал в Maple для примерно 10 000 попыток, получил:
3-уг 0.125
Для треугольника должно быть примерно 

.
Имеется 

 способов выбрать левую и правую границу дуги.
Оставшиеся 

 точки должны попасть между ними.
Получаем интеграл (перебираем все расстояния между границами):

Это решение автор задачника назвал Solution b2.
Возьмём 

 независимых равномерно распределённых на 
![$[0;1]$ $[0;1]$](https://dxdy-03.korotkov.co.uk/f/2/1/a/21ad730ee7df0b97abd700cb0f8426e682.png)
 случайных величин 

. Множество упорядоченных наборов их значений — единичный 

-мерный гиперкуб 
![$[0;1]^m$ $[0;1]^m$](https://dxdy-03.korotkov.co.uk/f/6/8/d/68dcbdccd765e93491851e71537d1bec82.png)
. Множество наборов с 

, где (важно!) 
![$a\in (0;1]$ $a\in (0;1]$](https://dxdy-03.korotkov.co.uk/f/a/d/3/ad34212424bee689cddc1d650251fba382.png)
 — это 

-симплекс, ограниченный 

 гиперплоскостями 

 и ещё одной 

. Вероятность попадания в этот симплекс равна его объёму 

. Плотность вероятности суммы равна 

.
В нашем случае это 
 ориентированных
 ориентированных длин дуг 

 (делённых на 

), так что плотность вероятности их суммы равна 

. Теперь это надо проинтегрировать от 

 до 

 (всё в порядке — сначала продифференцировали, теперь интегрируем 

 ). И умножить на 

, потому что мы нашли вероятность для одного конкретного порядка 

 различимых промежуточных вершин между левой вершиной 

 и правой вершиной 

 но тот же многоугольник получится при любой перестановке промежуточных вершин.
Предлагаемое автором Solution b1 намного проще:
Цитата:

. Для левой точки имеется 

 вариантов, при заданной левой точке, остальные точки (их 

) должны попасть в отрезок длины 

 при длине окружности 

.