Isso acontece porque o Thunar faz parte do XFCE, ele é integrado em várias partes dele.
Tu tem 2 opções:
Deixar o Thunar instalado e instalar também o XFE e ficar usando ele. (Recomendo)
Tirar realmente o Thunar, mas aí teria que suprir a falta dele com outras coisas, ROX Filer para ícones no desktop por exemplo.