Mitrandir, не надо ничего нормировать. У Вас есть
коэффициентов и
уравнения. Вам нужно найти не сами коэффициенты, а отношение коэффициента при выходящей из барьера волны к коэффициенту при падающей волне (вернее, модуль этого комплексного числа).
Если всё поделить на "падающий" коэффициент, то будет как раз
неизвестных.
Сами коэффициенты невозможно найти из условий задачи. Это ясно из физических соображений: все их можно увеличить в
раз с сохранением всех требований. Аналогия: в оптике в задачах на нахождение коэффициента отражения или прохождения системы ведь обычно и невозможно, и не нужно определять амплитуду падающей волны.