eu não quis que ele compilasse o kernel
Ele não vai compilar o kernel, vai compilar o
módulo de kernel.
Essa opção é pra usar quando vc já tem o módulo, e quer só corrigir o Xorg.conf.
Reinstale, e deixe ele gerar o módulo de kernel pra vc.
PS: Se não me engano, há um pacote que vc instala via repositório que faz essa instalação. Se vc encontrar, dê preferência a ele, pois assim se vc atualizar o kernel --- e o kernel atualiza de tempos em tempos ---, não vai ficar sem vídeo de novo, ele vai atualizar e/ou gerar o módulo de kernel automaticamente.