Pode relaxar.. É interessante este tipo de pacote quando vc o reinstala, então ele é bastante útil para deixar o ubuntu do jeito que veio, mas não é necessário, ao removê-lo mesmo assim é bom dar uma olhada na quantidade de kbytes que ele remove junto, só p/ ter certeza que ele não removeu outro pacote alêm deste.
Se procurar no fórum oficial pode notar que não tem problema a remoção.
Quando no X, gosto de usar o synaptic para tratar com pacotes.. Acho interessante a função de histórico dele.