Creio que somente um remove ubuntu-desktop não vá adiantar, pois ele é um meta pacote, apenas para instalar...
Tenta executar um apt-get remove gnome-*
Isto com certeza vai remover tudo relacionado a gnome que você tem.
Depois, não sei se vai precisar, dê um apt-get autoremove, para ele remover os pacotes à toa na sua máquina, ou seja, que ficaram órfãos e estão lá só para encher espaço.