Cara, como alguns ja te falaram acima, sempre é recomendado utilizar servidores em modo texto, pois isso economiza recursos que pode vir a precisar mais a frente, mas SIM, é possivel voce usar um Ubuntu desktop como servidor, e tambem é possivel instalar um desktop no Ubuntu server.
Para instalar um desktop no ubuntu server basta: apt-get install gnome
e para virtualização esquece o virtualBox, utilize o KVM + QEMU, que tem um otimo desempenho. Atualmente utilizo ele aqui na empresa que trabalho, Tenho 2 servidores IBM que rodam RedHat usando KVM+QEMU para virtualizar 10 servidores virtuais, dentre eles Debian, Windows 2008 server, LTSP e Windows 7 para Thin Client. E posso dizer que ele tem um otimo desempenho.
espec. IBM: 2 CPU 3.2GHz 16 nucleos 24 Threads 32GB ram + 2 HD hotswap de 300GB em RAID0 isso é apenas 1 servidor, tenho 2 desses rodando.
e para armazenamento tenho uma storage pequena de apenas 4X2TB para guardar os dados dos sistemas que rodam aqui na empresa.