Можно, наверно, выразить

через

и

, т.к. интегрирование проводится по координатному пространству, я могу выбрать любую точку во времени.
Известно общее решение уравнения Клейна -- Гордона, оно выражается через "произвольную функцию"

(у вас она обозначена как-то по-другому). Теперь надо понять, какую

взять, чтобы решение удовлетворяло заданным начальным условиям, то есть чтобы было

,

, где

и

заданные функции. То есть надо выразить

через

и

. Вы всё правильно делаете, продолжайте. И помните, что Фурье-образ произведения -- это свёртка Фурье-образов множителей, с точностью до чего-то там.
Спасибо, вот, что получилось. С помощью обратного преобразования я выразил

через

и

, проинтегрировав по

. Дальше подставил в разложение

и получил:

. Выглядит приятно, но я здесь не использовал свертку Фурье-образов, я же не умножал тут фурье образы, а подставил обратное преобразование в прямое. Я ничего не упустил?