Eu tenho um Athlon 64 e uso ubuntu 64 bits.
A diferça é bem grande, especialmente quando se usa o kernel específico para o seu processador. Por exemplo, eu passei um tempão com o 2.6.xx-xx-generics com o ....k8 a diferença é muuito grande, notória mesmo.
Com relação ao consumo de memória, eu acho que memória existe para ser usada mesmo. É por isso que se faz cache de disco, que a memória consumida por um programa não deve ser totalmente desalocada quando ele é fechado, etc, ectc... O resultado do uso da memória, a eficiência do sistema não deve ser medida pela quantidade de memoria usada, e sim pelo desempenho geral do sistema, se fosse só usar o mínimo era muito fácil.
Quanto a algumas incompatibilidades de pacotes, isso é verdade. Mas pelo amor de Deus, basa instalar a versão 32bits daqueles que vc não tem em 64bits. Eu uso o firefox 32bits, com flash player, mplayer plugin, java e tudo mais, tudo funciona perfeitamente sem nenhum problema. É pra isso que a compatibilidade existe.
Se me perguntam se devem instalar Ubuntu 64 bits, a resposta é sim com certeza. Lembrem-se que estou falando do Ubuntu, nunca usei o kubuntu na vida, mas deve ser a mesma coisa.
[]'s