semeone,
não adianta mesmo remover o ubuntu-desktop agora, isso porque ele é um metapacote, um pacote que manda instalar vários outros pacotes.
Para remover completamente o gnome da sua máquina você teria que remover cada um dos pacotes, o que é inviável.
Ou você instala tudo novamente do zero, a partir do CD e apagando a instalação atual.
Ou você deixa como está e seleciona a opção que estava usando anteriormente assim que aprecer a tela de escolha de usuário durante a inicialização (GDM).