Hmmm interessante, no GNOME isto seria bem fácil
pois existe uma opção nas preferências da sessão de descartar as configurações do aplicativo que você quer remover, no xfce agora tem algo parecido?
se for isto aqui
http://www.lunar-linux.org/~jannis/screenshots/xfce/xfce-4.6/xfce4-session-settings.pngcreio eu que o funcionamento é o mesmo do gnome, ou seja você pede para descartar a configuração e fecha o programa, ele não vai voltar.
geralmente os programas principais, no caso do GNOME ficam sempre em em modo restart(reiniciar), por isto ao derrubar o nautilus ou o painel eles voltam automaticamente.
espero ter ajudado em algo, caso não seja isto peço desculpas pois faz séculos que não instalo o XFCE para ver como ele anda.
PS:Esqueci de citar uma coisa, o nautilus sozinho não vai fazer tudo o que você quer, no máximo ele vai colocar ícones no seu desktop e abrir diretórios, no gnome o nautilus executa junto com diversos aplicativos para as funções que você quer
ou seja você vai carregar várias bibliotecas do GNOME, o que vai tornar o XFCE tão pesado quanto ele.
pelo que eu sei o thunar oferece a maioria das opções do nautilus através de plugins, basta instalar os pacotes via synaptic.
http://goodies.xfce.org/projects/thunar-plugins/start