Seu hardware está muito além do software. Nada que você irá fazer vai te dar mais do que 1% de melhoria de desempenho. E o trabalho que você terá escovando bit para o pentelhésimo ganho na performance não vale a pena.
É como ter um carro 4.0 V6 e ficar discutindo se andar com os vidros fechados melhora a performance do carro. Frente a um motor desse, é irrelevante.
Concordo com o nosso amigo aqui. Não dá para fazer milagre... Se você quer voar com ele, melhor mesmo é instalar um Gentoo. Caso você não conheça o Gentoo, ele vai compilar o sistema todo para a sua máquina, mas vai levar uns 2 dias instalando... Talvez ai você consiga algum ganho de performance...
Só que o Gentoo não é uma distribuição tão amigável quanto o Ubuntu. Se você está começando na coisa, melhor ficar com ele mesmo.