Minha opinião não é melhor que a de ninguém, mas vou falar aqui porque já fiz vários testes com swap, e sei como é que a coisa funciona.
Meu primeiro pc com Ubuntu (Feisty Fawn, lembram?) tinha 512MB de RAM. Era um sofrimento, até que eu descobri como mexer com swap. Após sucessivas formatações, coloquei 2GB de swap. Aumentei a sua prioridade para 100% (o que significa forçar um uso maior dela para livrar o pente de memória; mais adiante eu explico sobre isso) e fiz um teste: abri Firefox com umas 10 abas, oito documentos do (ido) BrOffice, Amarok, Deluge, enfim, um inferno de programas, todos funcionando. O swap ficou 1,8 GB ocupado, e o sistema redondinho, redondinho. Eu não uso hibernação, o que certamente (nessa situação) me faria ultrapassar os 2GB.
Então é o seguinte: mais de 4GB de swap é desperdício, mesmo se você colocar a prioridade em 100%. Você teria que ser irresponsável na quantidade de programas abertos para conseguir uma quebra do sistema.
Sobre a prioridade da swap: no Ailurus (tem nos repositórios) você pode configurar isso facilmente. Nos fóruns aí afora, diz-se comumente que a partir de 4GB não há mais necessidade de swap. É verdade. Mas não se diz que o uso de swap -- especialmente se você configurá-la para 100%, ou perto disso -- ajuda na reabertura de programas. Se você abre e fecha muito um mesmo programa, você vai perceber que usar swap ajuda nesse processo -- pelo menos é assim que eu percebo, considerando que nunca tive mais de 2GB de memória. Observação: não deixe sua swap encher, ou o sistema congela!
Em resumo: 1GB está ok para quem tem muita memória, 2 a 4GB para quem não tem tanta assim, 100% de prioridade para quem definiu 2GB ou mais de swap.