Achei um provável culpado, vejam a comparação:
Usando o kernel (650MB): Linux pegasus 2.6.24-16-generic #1 SMP Thu Apr 10 13:23:42 UTC 2008 i686 GNU/Linux
E agora usando o kernel(1000MB): Linux pegasus 2.6.24-19-generic #1 SMP Wed Jun 18 14:43:41 UTC 2008 i686 GNU/Linux
Vejam a difereça gritante:
O Kernel 19 usa 300MB mais que o 16.
Mas mesmo assim o 16 ainda consome muita memória.