Надо бы перечитать Дирака, но по давнему впечатлению он был с дельта-функцией намного более аккуратен, чем большинство физических учебников, даже современных.
А Вы загляните лучше к фон Нейману в "Математические основы квантовой механики"
Я попозже точную цитату оттуда дам, где он отзывается о Дираке с его функцией... Ну, в общем, так себе отзывается. И дальше всю книгу занимается совершенно неудобоваримыми для физиков вещами. Вот они, действительно, ни в один современный учебник, к счастью, не попали. Ну, насколько мне известно...
Я ещё на днях любопытную цитату нашёл чисто случайно, касающуюся механики и её связи с математикой. Но разговор от начальной темы как-то совсем отдалился... Так что, ну её, эту цитату.