Acho que nem tudo é removido, principalmente os arquivos/diretórios começados com ponto que ficam na nossa HOME.
Falo isto porque tivemos aqui no fórum, outro dia, uma discussão exatamente sobre isto, e acho que seria bastante complicado para o apt-get ter controle sobre este tipo de arquivo, já que não é ele que cria, e nem segue um padrão específico.
[]'s
Cristiano