Ele já vem formatado em FAT32 ou FAT16 (vfat para o Linux) e é só plugar e usar.
Eu sempre usei, sem nenhum problema, dois Kingston no Ubuntu, um de 256 MB que tenho há uns três anos e um de 1 GB recentemente adquirido.
Só não esqueça de desmontar o pendrive quando retira-lo da USB. Faça isso clicando com o direito no ícone dele e escolhendo "remover com segurança", "ejetar", "desmontar" ou algo parecido (não lembro direito).
E se precisar formatar por conta de algum erro (fato raro), tem um tópico do Kernel-Script aqui.
http://ubuntuforum-br.org/index.php/topic,29444.0.html