Como eu já disse isso é complexo demais, e depende muito da utilização que se dará ao sistema.
Em um server em sempre deixo a swap com o dobro da ram, e como alguém aqui já mencionou talvez nos casos de virtualização também seja uma boa.
Eu tenho 2Gb de ram e para ser franco nunca vi usando ela toda, quando mais swap, mas não deixo de ter pelos outros usos que ela tem.
Como disse o Glauco ai, a segurança compensa.