O meu ambiente é o mesmo que o seu (Ubuntu 10.04 com MV Windows XP) e eu nunca tive problema com nenhum dispositivo. Já conectei HD externo, scanner, pendrive, leitora de cartões, máquina fotográfica, celular Nokia e por aí afora. Nunca tive nenhum problema.
E, se teu pendrive não estivesse sendo reconhecido no Ubuntu, seria problema do pendrive. Então, não é o caso.
Algumas dúvidas quanto ao que você fez (me desculpe se forem óbvias mas, às vezes, pode-se não saber destes detalhes):
(1) você se incluiu como parte do grupo vboxusers? Se não se incluiu, veja nos posts anteriores deste tópico como se faz.
(2) você instalou os adicionais para convidados na máquina virtual? (Na janela da MV, clique em Dispositivos > Instalar Adicionais para Convidados e siga as instruções.
Se já fez isso, seria interessante testar outros dispositivos USB. O mouse e o teclado me parece que vêm meio que por "default" na máquina virtual. Você testou outros dispositivos além do mouse, do teclado e do pendrive? Qualquer um que você tenha com interface USB (HD externo, máquina fotográfica... qualquer coisa). Só para testar e ver se tua MV reconhece dispositivos USB ou não.
Um abraço.