Já deveria ter passado essa dica antes... mas antes tarde do que nunca.
Sempre leio em foruns que o Mplayer não fica bom com o Xgl. E para tentar contornar isso eles sempre falam para alterar o driver de video para x11, mas com isso o video fica sem fullscreen.
Para resolver esse problema:
Com o driver configurado para x11, coloque no arquivo config que fica na pasta .mplayer de seu usuario (para visualizar no nautilus de um ctrl+h) coloque: zoom=1
Com isso ele fica melhor que o Totem com o Xgl, até mesmo com videos com codec h264.
obs: Se o video tiver borda e ela ficar branca aperte f duas vezes.
