Charrabo, também não acho que o motivo da lentidão seja a arquitetura do sistema operacional, ainda mais que você diz que a lentidão é localizada em uma aplicação.
Mas realmente eu acho que você teria vantagem em passar pra 64 bits... vc tem 6GB de RAM, correto? Em 32bits, mesmo se estiver usando um kernel PAE, não vai estar usando tudo que sua máquina pode dar.
Só esclarecendo... o kernel normal de 32 bits só enxerga 4GB de RAM. Desses 4GB, vc tem que descartar ROM, memória de vídeo, CMOS, etc. Enfim; no frigir dos ovos, só sobram 3GB de RAM pra você. É isso e acabou; os outros 3GB ficam sem uso, disperdiçados.
A primeira alterntiva é o kernel PAE (também conhecido como "bigsmp"). Esse kernel mapeia a memória acima de 4GB usando um registrador de endereço, e assim permite que o sistema enxergue mais de 4GB. Mas... como a arquitetura ainda é de 32 bits, cada processo ainda está limitado aos 4GB que viram 3GB. Então se vc usa processos pesados (planilhas grandes, bancos de dados, etc) vai ter problemas, podendo até mesmo perder desempenho, pq o sistema não vai poder ficar com tanta coisa em memória, tendo que recorrer mais a disco.
Solução definitiva mesmo é o kernel de 64 bits. Aqui a arquitetura permite que vc use toda a memória que tiver, mesmo que chegue a alguns terabytes.
Mas vc já sabia disso, não? Mas nunca é demais lembrar...