Não acho que a falta de swap seja seu problema, acho que você tem uma boa configuração, e vendo a resposta do top não vi nenhum problema.
Talvez formatar ajude você porque vai tirar alguma configuração que tenha feito algum problema para você, mas não acho que a swap por si só será a solução.
Entenda, sou favorável a ter swap, tenho 4Gb de RAM e tenho swap, mas porque ela é importante para outras coisas, como hibernar.
Formate lá e vamos ver no que vai dar.