Dmitrii,
совсем не разбираясь в вейвлетах, я позволю себе предположить, что Вы плохо описали проблему. Сумбурно.
Я думал, что кто-то ответит по существу, и пишу эту свою версию только потому, что никто до сих пор не ответил.
У Вас в постановке задачи фигурируют вейвлеты, Фулье, Матлаб, матрицы, прочие фулечки... А в Вашем решении --- похоже, используется только стандартные штуки матричной алгебры, безотносительно к перечисленным фулечкам. Может быть, Вы могли этого избежать и в постановке, упростить изложение проблемы?
Вот более конкретные придирки:
Мне необходимо получить матрицу, которая давала бы вейвлет-коэффициенты будучи умноженной слева на исходную функцию:

,
где a - вектор вейвлет-коэффиентов, x - исходный сигнал (функция),
R - искомая матрица
Вы называете вектором,

--- почему-то функцией. Но это тоже в первую очередь вектор (функция он, или сигнал --- дополнительная информация, возможно, не особо значимая).
В Вашем решении искомая матрица

уже не встечается. Что-то переобозначено?
Цитата:
Далее, в соттветсвии с кодом, вектор F надо умножить на некоторую неизвестную матрицу W:
Как-то странно --- обосновывать необходимость операции кодом программы...
Цитата:
(деление вектора F на число N делается в соответсвии с программным кодом, приведенным выше)
То есть это не обычное деление вектора на число, а какое-то специальное, "в соответствии с кодом"? Да? Реально надо лезть смотреть код?
Цитата:
Дальше я не знаю, что делать, поскольку

не существует, т.к. ее определитель равен 0 (из-за того, что

- симметричная матрица).
Вы как бы утверждаете что определитель симметричной матрицы равен нулю?

Да, я вырвал фразу из контекста, но такие фразы, по-моему, можно вырывать. Или вейвлет-контекст что-то меняет?
(TeX-offtopic)
Реально могу посоветовать только не ставить тэги маth, а только доллары вокруг формулы. Центрирование формулы Вам обеспечат двойные доллары типа $$a=B\times x$$ даст
