Математик Харди шутил, что математики всесильны, потому что могут выдать запреты, которые никто не сможет нарушить
Физика занимается тем, что строит теории. Теории - это модели явлений реального мира. Если и пока такие модели не формулируются математически - они практически всегда остаются на уровне обмена мнениями и деградируют в пустую болтовню. Но как только формулировка свершилась, так немедленно вступают в силу все ограничения, которые вытекают из соответствующей математики, и ими начинают пользоваться. Полезно, однако, иметь в виду, что всякая теория - это только модель реальности, а не самая реальность, и, как таковая, имеет пределы применимости. За этими пределами перестают действовать и ограничения, диктуемые математикой.
Что касается самоей реальности, то утверждать, что в ней имеются какие-либо абсолютные ограничения, я бы не рискнул. По той простой причине, что таковые могут быть корректно сформулированы только на языке физических понятий, каковые являются элементами моделей реальности, а не элементами собственно реальности, и меняются по мере развития физики. Например, понятие "сила", ключевое для классической механики, в современной физике уходит на задворки - и что толку формулировать с ее помощью какие-то ограничения...