Pessoal, agradeço a ajuda.
Acabei ficando perdido. Troquei o Unity pelo Kde, permaneço no Ubuntu.
O computador está mais rápido que o Win 7. Isso confirmo, desinstalei o Unity.
Creio que o driver da Nvida estava bem instalada, pois quando eu abria essa opção de Driver adicional, ele informava que o driver estava instalado corretamente. Utilizei o comando no terminal "sudo apt-get install nvidia-current" como eu tinha feito no Mint (antes do Ubuntu) e rodava muito bem, acabei trocando pois o Mint estava me dando dor de cabeça (tenho ele no notebook e roda muito bem).
Voltando, o que estava deixando meu PC lento, com certeza era o Unity, não tem outra resposta, rodei 3 jogos 3D do Linux ao mesmo tempo, utilizei o Firefox, Thunderbird e ainda coloquei um filme 720p pra rodar, confesso que o filme deu umas travadas, mas como não poderia, com esse monte de coisa rodando...
O que continua lento, é o Java no Firefox ou no Rekonq, isso em qualquer navegador eu acho.
O que acham?