Tem como desinstalar pelo terminal sim, mas não curto muito ir por esse meio. Se ainda tiver o pacote .deb que você baixou pelo site da Oracle, é só instalar o Gdebi pela Central de programas, abri-lo e abrir o pacote .deb do virtualbox por ele. Lá terá uma opção de desinstala-lo.
Eu sempre instalo pacotes .deb pelo Gdebi, é bem mais prático e rápido que a CP do ubuntu.