[Ух ты, нигде не видел нужды в такой подстановке.] Так же и делается. Заменяете

на

в

, потом раскрываете скобки. Возвести

в квадрат можно так: пишете что-то вроде

потом перемножаете элементы строк и столбцов, вписывая в клетки (так иногда большущие многочлены умножают, вроде),

а потом видите, что одинаковые степени

стоят на побочных (или как они называются?

) диагоналях. Получается, что коэффициент при

будет равен

и, вообще, коэффициент при

будет

. Последовательность с такими членами, наверно, вы знаете, называется свёрткой последовательности

с собой. Аналогично можно получить последовательности, производящая функция которых

и так далее.
-- Вт ноя 08, 2011 23:31:35 --Да, там ведь надо ещё сворачивать…
Таким образом вы получите, что

если не напутал с последними индексами у

.
Как теперь разделить коэффициенты при разных

, пока не дошло, но это должно быть, по идее, широко известным.
-- Вт ноя 08, 2011 23:42:03 --Посмотрим, какие множители «приходят» из разных сумм.
Например, к

из первой суммы приходит

, из второй —

, из третьей —

и т. д.. Для этого случая можно сразу сказать, что коэффициент при

в итоге будет

.
Смотрим на

: из первой суммы

, из второй —

, из третьей —

… Не могу сразу сказать, какой свёрнутой и относительно простой суммой можно было бы выразить.
Дела будут намного проще, если в

или

все члены, начиная с какого-нибудь, нулевые. Или в обоих.