А есть ли какие-нибудь конкретные физические возражения (а именно - что отсюда следовало бы что-то, что противоречит экспериментальным фактам), которые делают это невозможным?
Не факт, что я правильно понял, что Вы имеете в виду (формул-то Вы не написали), но то как я это понял приведёт к тому, что структурная группа тетрадного расслоения не будет редуцироваться до собственной группы Лоренца, что сделает невозможным существование Дираковских спинорных полей, со всеми вытекающими последствиями.
Короче, напишите конкретные формулы, а там видно будет.