Какой у Вас получился результат? У меня

для трех точек.
У меня получился сначала результат

, но я уже исправился и получил правильный ответ

.
Кроме того, я убедился, что Ваша формула

действительно работает интервале значений

, и не работает на интервале значений

, потому что там будет работать другая формула:
![$p=3[a^2-(2a-1)^2]$ $p=3[a^2-(2a-1)^2]$](https://dxdy-03.korotkov.co.uk/f/2/d/4/2d442f0f7441af1c4433694be4598ea582.png)
Только вот вероятностное пространство у меня совершенно другое.
Я беру три оси

и откладываю по ним значения длин трех дуг, которые получаются при бросании трех точек на окружность.
Поскольку значения этих длин дуг не меньше нуля, и сумма этих длин равна длине окружности:

то получается правильный треугольник с вершинами в точках:
![$[2\pi R, 0, 0], [0, 2\pi R, 0], [0,0, 2\pi R]$ $[2\pi R, 0, 0], [0, 2\pi R, 0], [0,0, 2\pi R]$](https://dxdy-01.korotkov.co.uk/f/0/3/b/03b4c40f61f500f45f7ea3d98fc8550482.png)
.
Если теперь пронормировать этот треугольник, то-есть принять его площадь за единицу, то этот треугольник и будет изображением вероятностного пространства Вашей задачи.
Теперь, если выбрать

, то треугольник распадется на четыре равных по площади правильных треугольника, три из которых, по углам большого треугольника будут соответствовать благоприятным исходам, а центральный - неблагоприятным исходам.
Если

, то "территория" благоприятных исходов уменьшится, линии, параллельные сторонам треугольника сдвинутся к соответствующим вершинам, а область неблагоприятных исходов примет вид шестиугольника.
При этом стороны равносторонних треугольников, соответствующих благоприятным исходам, будут относиться к сторонам большого треугольника в отношении

, соответственно площади, а с ними и вероятности, будут относиться как

.
А поскольку таких малых треугольников будет три, то итоговая вероятность будет равна

.
Иное дело, когда

.
Три треугольника, соответствующие благоприятным исходам, будут ложиться друг на друга "внахлест", и нам необходимо будет вычесть площади которые дублируются.
Это будут также равносторонние треугольники, их стороны будут относиться к длине стороны большого треугольника, как

. Соответственно их площади будут относиться к площади большого треугольника, как

. Область же неблагоприятных исходов будет иметь вид равностороннего треугольника в центре нашего исходного треугольника, не касающегося его сторон.
С ростом

эта область будет уменьшаться, и при

стянется в точку.
Вот и всё что нужно знать о трех случайных точках нечаянно уроненных на окружность...