Este negócio de dentro ou fora do X é muito relativo, a única coisa que pode fazer seu X quebrar é uma atualização do kernel ou da libc, independente disto, o máximo que pode acontecer e você ter que fazer uma reinicialização.
os motivos?
Óbvio, caso você tenha o driver X proprietário instalado na máquina, para o kernel que você está utilizando no momento da atualização, vai gerar um problema que já é esperado, ao você reiniciar o micro, o pacote não estara pronto para o kernel/libc novo
o que faz muita gente entrar em desespero.
Se você for esperto o bastante, simplesmente modifica o Xorg para entrar no driver genérico no próximo boot.
Ou ainda, inicia em modo texto editando a linha do Grub.
Eu sempre fiz isto, e nunca tive problemas.
OBS: Para quem vai migrar para o 12.04 e melhor dar preferência a baixar o ISO via torrent, uma atualização em mudança de versão "eu particularmente não recomendo" o trafego é muito grande, e isto sim é o grande problema.
Como já disse anteriormente daqui, o processo de atualização de uma distro não gira em torno de 1 ou 2 comandos, é um processo demorado e cauteloso que deve ser feito em etapas.
Sistema Básico->X->Resto
Os programas básicos não são bons o suficiente para resolver as dependências complexas do processo de atualização, deixando sujeira e pacote orfãos, o ideal é usar (desde que tenha conhecimento, ferramentas como aptitude,dselect,deborphan,localepurge etc...)
o que muita gente esquece é que se pode ter a facilidade do ubuntu, com todo o poder do Debian.
