1) что-нибудь типа "Радиотехнические цепи и сигналы", книг с таким или похожим названием много, что попадётся, то и читайте. Все они начинают с рассмотрения непрерывных (не цифровых, аналоговых) сигналов, это знать полезно, ибо там вводится необходимая терминология и в ЦОС множество ссылок на чисто аналоговые системы-прототипы.
2) именно по математике на первых порах лучше вовсе ничего не читать, мозг целее будет :), а со временем разберётесь какие разделы нужны. Предполагается что школьную тригонометрию Вы знаете и о комплексных числах что-то слышали, на первых порах этого будет достаточно.
3) сама по себе ЦОС с физикой совершенно не пересекается, ибо оперирует числами и совершенно не важно откуда они берутся.
4)
http://dsp-book.narod.ru/Рабинер, Голд, Оппенгейм, Шафер, Блейхут, Сато, Финк, и пр.
Новейшие достижения Вам пока ни к чему, поэтому чем книжка старее там лучше :)