Принципиальных препятствий не вижу.
Есть live-версии популярных дистрибутивов. WinEdt официально поддерживает по крайней мере один из них. И сама WinEdt тоже может быть сделана portable.
Моя уверенность поддерживается тем, что в своё время
вот эти ребята распространяли некую очень быстро устанавливаемую «развёртку» MiKTeX + WinEdt. Правда, это были очень старые по нынешним временам версии, и скачать её сейчас вроде даже неоткуда.
Если Вас всё-таки устраивает установка/удаление в два щелчка, то гляньте
тут. Сам не пробовал.