Só não dá para fazer no modo Live com a iso ubuntu-12.04.2-alternate-amd64 , pois ela só dá a opção de instalar o Ubuntu (mesmo após gravada num Pendrive com o Usb-creator / Criador de Disco de Inicialização). Tive então que instalar direto no Pendrive, formatado em ext4. Porém, o sistema fica bem lento (comigo também acontece quando uso arquivo de persistência).
A melhor forma, ao meu ver, é copiar o seu sistema para um Pendrive, no formato LiveUsb através de um programa chamado Systemback.