Ola todos.
Não sou expert no Compiz.
Tenho a mesma placa, e estou conseguindo executar os efeitos sem problemas.
Até o ubuntu 8.04 não tinha conseguido utilizar muitos recursos, talvez mais por desconhecimento do que por outra razão.
Com o upgrade para a versao 8.10 o compiz aparentemente passou a funcionar melhor.
A questão é de configuração e não da placa de video.
Vá em preferências em Gerenciador de configurações do Compiz, e vá testando, até achar a configuração ideal para o seu gosto pessoal.
O Compiz tem muitos recursos e não se aprende tão fácil assim, o ideal era ter um tutorial, pois as configurações se combinam.