Pode limpar sem medo...
O que acontece é o seguinte, por exemplo, você quer instalar o openoffice no seu computador, então pra isso você instala o metapackage "openoffice":
sudo apt-get install openoffice
Esse pacote instala vários outros pacotes, todos eles necessários ao openoffice ou que fazem parte do openoffice, ou o office writer, presentation, etc...
Quando você desinstalava o pacote "openoffice", todos esses pacotes se tornam órfãos. Eles continuam instalados mas sem propósito nenhum.