А круг может вылазить за пределы области, занимаемой шестиугольниками?
Если нет, то считаем точки пересечения окружности с ребрами шестиугольников, являющихся смежными (т.е. теми, которые вы образно изобразили как -<) и соединяем эти точки друг с другом. Получается, что каждая из трех частей есть объединение сегмента круга (по заданным точкам и радиусу круга можно вычислить его площадь) и треугольника, соединяющего общую вершину и две точки на ребрах (площадь треугольника посчитать нетрудно). Отсюда и узнаём отношения...
Если же да (круг может вылазить за пределы области), то проще всего, наверное, методом Монте-Карло
