Então é nesse plugin mesmo que você vai resolver. Abra-o; na aba "Cube caps", expanda a seção "Aparência" e defina as imagens para a face superior e a face inferior (deixe no topo a que você quer usar). Agora, nessa mesma aba, expanda a seção "Comportamento" e marque as opções "Desenhar face superior" e "Desenhar face inferior". Pode testar e você verá que os seus cube caps já estão prontos! Se você achar os cube caps meio desproporcionais, marque outras opções nessa seção e faça o teste. Aqui ficou legal apenas com esses dois itens ativados.
Contudo, se você não quiser o cilindro, quiser permanecer com o cubo, vá ainda na aba "Deformação:" (ainda estou falando do mesmo plugin, "Cube reflection and deformation") e selecione "Nenhum" em "Deformação". Pode testar que seu cubo estará de volta.
É isso. Boa sorte!