Eu também já tive esse problema, o vídeo ficava "batendo" e com uns cortes na tela, resolvi da mesma forma, desabilitando o compiz-fusion, no menu "Sistema" >> "Preferências" >> "Aparência" (ou clicando com o botão direito na área de trabalho e selecionando "Alterar Plano de Fundo"), e na aba "Efeitos visuais" marcando a opção "Nenhum".
Para o caso de uma outra pessoa tentar a dica informada e não conseguir resolver o problema é bom da uma olhada em "Sistema" >> "Administração" >> "Drivers de Hardware", e verificar se o driver da placa de vídeo está habilitado em "Em uso", caso não esteja habilite e reinicie o ambiente gráfico.
Um outra dica é verificar o plugin de saída de vídeo, para isso vá em "Preferências" >> "Seletor de Sistemas multimídia" e na aba vídeo altere o plugin da saída padrão, para X11 ou outro, o valor padrão é "Auto-detectar", volte para este caso tenha piorado.
Caso não exista a opção "Seletor de Sistemas Multimída" em seu menu, poderá habilitá-lo, acessando "Sistema" >> "Preferências" >> "Menu Principal", na janela que irá abrir, clique em "Sistema", "Preferências" e clique na opção "Exibir" referente ao item "Seletor de Sistemas Multimídia".
Uma dica de player que eu uso para vídeo e música é SMPlayer, é muito completo e usa pouca memória, bem menos que o Totem e o Rhythmbox, que vem no Ubuntu.