Как называется такая операция?

[Nxx]

Нечто похожее, на дискретную конволюцию или кросс-корреляцию, но с биномиальными коэффициентами.

$$f(n)\star g(n)=\sum_{k=0}^n \binom{n}{k}f(n-k)g(k) $$

В частности,

$$a^n\star b^n=(a+b)^n$$

Есть какое-то название и можно ли где-то почитать про свойства?

[maxal]

Если перейти от функций к их экспоненциальным производящим функциям, то эта операцию соответствует попросту их произведению.

[Евгений Машеров]

Свёртка и есть, АКА конволюция. Только повторенная n раз.