Sim, vale mais a pena ficar com o Ubuntu com o desktop do Xubuntu (no caso XFCE) ou instalar o Xubuntu?
Depende de qual o seu objetivo.
se você quer um sistema mais limpo , por exemplo para melhorar a performance de um PC mais antiguinho e com menos recursos é melhor instalar o XUBUNTU so zero e ir instalando aplicativos Gtk(gnome) , mas ir instalando só o que vc precisa !
mas se vc nao tem problema de performance entao instala o Xfce no Ubuntu mesmo
( mas é melhor instalar o pacote xubuntu-desktop que já vem com tudo)
Acho que a principal diferença neste caso é que se vc instalar o XFCE no UBUNTU o Gnome vai continuar gerenciando sua area de trabalho e todas as bibliotecas do gnome serão carregadas (mesmo as que vc nao precisar)..
Eu prefiro instalar o Xubuntu do Zero mesmo..