1. Ясно, что

бесконечно, но какое можно взять конечное значение? Может есть какой-то способ оценить, насколько полученное множество близко к "идеалу"?
Вот вы описали алгоритм игры в хаос. Обоснования его практической применимости должны быть во всех классических книгах по фракталам, ну хотя бы например оно вроде было в книге Michael Barnsley
Fractals Everywhere, только я не найду конкретное место. Это обоснование включает в себя оценки близости точек генерируемого множества к точкам фрактала.
На пальцах это примерно так:
• Для каждого отображения

вычислите коэффициент (линейного) сжатия

. Так как у нас тут аффинные отображения, он один и не зависит от того, к окрестности какой точки мы применяем отображение.
• В начале игры в хаос примем

.
• На итерации, когда мы решаем применять

, обновляем

.
• Мы должны как-то вычислять примерные линейные размеры множества, которое получается. Как обычно делают, мы игнорируем несколько первых точек, полученных игрой в хаос (в множество их не помещаем, но

всё-таки обновляем). Пусть оценка линейного размера множества у нас

.
• Тогда мерой близости очередной точки к фракталу будет

: весь фрактал, уменьшенный в

раз, занимает примерно

линейно, то есть точка может гулять примерно не более чем на такое расстояние от него.
• И если вы знаете размеры

фрактала заранее и начинаете с точки внутри выпуклой оболочки фрактала, то можно просто пропускать генерируемые точки, пока

не станет меньше интересующей величины. Если нет,

придётся каждый раз оценивать, что-то там мудря, потому что надо будет пропускать какое-то количество начальных точек, но какое именно — мы не знаем.
А ещё я не понял почему у

три компоненты. Если вы уже используете комплексные числа, то для треугольника Серпинского (и других IFS из преобразования подобия плоскости) достаточно одного числа. Каждая функция будет иметь вид

, и коэффициентом линейного сжатия для неё будет

. Для треугольника Серпинского они все будут

, так что вы можете отсчитать примерно столько точек, сколько бит в мантиссе типа плавающих чисел, которые вы используете, и потом с чистой совестью перестать пропускать.