É, se vc chega a usar swap, é sinal de que em algum momento você chegou a usar mais memória virtual do que seu sistema dispunha. No entanto, alguns programas têm um comportamento relativamente "bem comportado" e, apesar de caírem em swap, não forçam o sistema com leituras sucessivas do swap.
O próprio comando vmstat pode te dar essa indicação. Vc pode executá-lo passando um parâmetro que é o intervalo de tempo entre medições sucessivas, p.ex:
vmstat 60
Isso vai te dar uma estatística do sistema a cada 1min. Daí vc pode comparar os números, e observar se está havendo alteração em algum dos contadores.