Eu tive analisando 2 instalações que fiz em minha máquina.
Na 1. eu coloquei swap file de 1 gb, depois coloquei swap file de 500mb e vi uma queda de desempenho em ambos.
Na 2. eu eliminei a partição swap file e tive um equilibrio melhor de desempenho.
Recomendo pra máquinas com mais de 4 cores, e 4 gb de ram não usar swap-file já que a leitura de dados no hd é mais lerdo.