Bom, é normal inchar um pouco sim, mas não vários GB, o que você deixou a entender. Tem idéia de quanto espaço foi tomado na partição desde a instalação?
O Ubuntu, quando atualiza algum programa, simplesmente substitui a versão anterior. Dificilmente fica algum "lixo". A exceção fica por conta de atualizações do kernel, pois é a espinha dorsal do sistema e seu Ubuntu pode deixar de funcionar, então as versões anteriores são mantidas. Depois de um tempo, quando você tiver certeza que a atualização foi testada o suficiente, você pode remover a anterior. Eu sempre deixo 2 versões do kernel, assim, por pior que seja o tombo, ainda tenho uma carta na manga pra entrar no terminal e ajustar o que precisar.
Outra questão é o cachê das atualizações, ela tem um tamanho máximo entre 500MB e 1GB, não lembro ao certo. As atualizações ou instalações ficam nesse cachê até esse limite, sendo expurgados os arquivos mais antigos.
No mais é isso aí, 1GB ou um pouco creio que seja normal, se você não instalar mais nada. Mas a instalação de aplicativos adicionais ocupam espaço quando feitos para todo o sistema, normalmente quando se utiliza o sudo. Os arquivos destas instalações vão para as pastas /usr ou /opt. Quando são instalados somente para o usuário, ficam dentro da tua pasta /home.