Sabe aquele arquivo do WIndows que se chama memória virtual? Swap é a memória virtual do linux. Não é bom deixar de tê-la, pois é um socorro pra quando a memória RAM for muito utilizada ou aplicativos que "dormem" na memória RAM estiverem presentes, nesse caso eles são transferidos pra swap.
Eu tenho 2GB de RAM e tenho 1GB de swap. Provavelmente nunca utilizarei toda a swap nessa configuração e nessas versões atuais do Ubuntu, mas quando a RAM for mais requisitada, o que estiver à toa na memória vai pra swap.
Tem uns tópicos bem bacanas e didáticos sobre utilização de memória swap aqui no fórum, dá pra aprender bastante.