Если уж, что и умножать на окно, то не сам сигнал, а его АКФ, это будет корректно и такой подход используется в коррелограмном методе спектрального оценивания. При этом сначала вычисляется преобразование Фурье, затем оно умножается на комплексно - сопряженное и выполняется обратное преобразование, приводящее к АКФ (обратите внимание, что при вычислении АКФ никакие окна не используются). Уже потом АКФ умножается на окно, которое в данном случае называется корреляционным. По форме оно такое же, но одна особенность - число отсчётов в нём должно быть нечётным. Чаще при этом используют прямоугольное окно, т.е. просто отбрасывают "хвосты" АКФ и по новой вычисляют преобразование Фурье, в результате которого получается сглаженный спектр.
Но коррелограмном метод сейчас используют редко, т.к. он уступает периодограмм ному в вычислительной эффективности, его использовали до открытия быстрого преобразования Фурье, когда АКФ вычисляли напрямую.
Дивно... При расчёте спектра через корреляционную функцию таковая, вообще-то, считается напрямую. Хотя приёмы, использующие БПФ для ускорения, действительно есть. Но там есть некоторые тонкости. Скажем, дополнение нулями. Но считать через БПФ корреляции, а потом обратное БПФ, и третье после наложения окна - чем-то это напоминает анекдот про цивилизованного дикаря, которого приучили пользоваться вилкой, так что он рукой вытаскивает кусок мяса из кипящего котла, накалывает на вилку и культурно ест. Если мы используем БПФ - попросту домножаем отрезок сигнала на окно, делаем БПФ, находим модули коэффициентов (да, домножением на комплексно-сопряжённое, хотя можно и иначе, например, симметрично отразив участок сигнала, так что считается косинус-преобразование, или можно вообще преобразование Хартли употребить), затем, как правило, усредняем по серии отрезков сигнала (ещё и с перекрытием). Это общепринятая техника расчёта.
(Оффтоп)
Я понимаю, что Ваш опыт неполон, но хотел бы порекомендовать, увидев нечто отличное от Вашего опыта, хотя бы предположить, что это иное тоже может быть верным (а Ваш опыт - неверен или хотя бы получен в иных условиях), и, главное, прежде чем авторитетно отвечать, прочесть то, на что Вы берётесь возражать. Иногда подобные предосторожности уберегают от того, чтобы выглядеть комично-напыщенным и блистать недознаниями.