[Editado]
Gostou do xfce, então se quiser pode remover o Unity completamente com o comando:
sudo apt-get remove unity unity-2d unity-2d-common unity-2d-panel unity-2d-shell unity-2d-spread unity-asset-pool unity-common unity-lens-applications unity-lens-files unity-lens-music unity-lens-video unity-scope-musicstores unity-scope-video-remote unity-services indicator-messages indicator-status-provider-mc5 appmenu-qt appmenu-gtk appmenu-gtk3 unity-greeter overlay-scrollbar zeitgeist zeitgeist-core zeitgeist-datahub activity-log-manager-common activity-log-manager-control-center
remova o que sobrou de pacotes não utilizados:
sudo apt-get autoremove
remova bibliotecas órfãs:
sudo apt-get purge `deborphan`
Se ligue que esse último comando deve ser executado várias veszes até mostrar resultado de que não existem mais pacotes órfãos no final.
Deve dar mais uma leveza, talvez. Aplicativos que vem com o Unity por padrão serão desinstalados junto com o ambiente, só ficarão os aplicativos que vem por padrão com o xubuntu. Se sentir falta de algum aplicativo, é só instalar pela Central de programas novamente.