Uma alternativa é você utilizar o Ubuntu Minimal (esperaria sair a versão 12.04, que é LTS e tem suporte por cinco anos, ao contrário das versão anteriores que tem por apenas 3 anos) e instalar apenas o que for utilizar para satisfazer as suas necessidades.