Fazendo uma busca no fórum descobri que aparentemente o pacote ubuntu-desktop é um meta pacote que te auxilia a baixar alguns pacotes, e que sua exclusão não causará problemas para o sistema.
Faça uma busca aqui, leia mais tópicos do que eu li, e se confirmado exclua sem problemas.
