O que você pretende é ter um sistema sempre limpo, com a certeza de não estar contaminado, para que possa acessar bankline, certo?
E parece que esse bankline que você usa pede java. Nem todos pedem isso.
Em princípio talvez dê certo se usar o modo "persistente" ao fazer o live-pendrive do Ubuntu.
Digo talvez porque na prática nunca experimentei mesmo para saber se de fato dá certo no modo persistente instalar o Firefox atual e o Java.
O problema do live-iso é que, diferentemente de um sistema instalado, o conjunto completo das bibliotecas não estão lá, então certas coisas não vão em frente, além do que nem é esse mesmo o propósito de um live-pendrive feito apenas para experimentar e testar o hardware do sistema.
A outra hipótese, tendo um pendrive de bom tamanho, é instalar diretamente um Ubuntu nele, tratando-o como se fosse um disco rígido, já que nada difere disso.
Ou seja, dois pendrives espetados na máquina, um com um live-iso para a instalação e o segundo sem nada, considerado como um disco externo, onde será de fato instalado o sistema. Isso tem funcionado, já fiz diversas vezes, desde que o pendrive no qual será instalado seja adequado.
Um terceira hipótese, talvez mais prática que tudo o mais e altamente segura, tendo o seu computador uma razoável capacidade de processamento, cpu e RAM, é instalar uma máquina virtual, VirtualBox da Oracle e nela um Ubuntu que somente será usando para acesso ao bankline.
Acho essa a melhor opção, mas a máquina precisa ajudar com o hardware disponível.
Um última opção, havendo alguma espaço em disco, é criar uma partição e nela instalar um outro Ubuntu, em dual boot (ou multiboot), também somente para essa finalidade. Isso é relativamente simples de ser feito e também bastante eficaz.