O apt não foi planejado p/ instalar pacotes avulsos. Quem faz isso é o dpkg, exatamente da forma como vc está fazendo.
No estanto, esse é um diretório de cache; talvez se vc pedir pra instalar de novo os mesmos arquivos sem o "-d", ele faça a instalação direto do cache, sem fazer o download de novo, já tentou?