Não creio que seja a versão mais lenta.
Já instalei o ubuntu 11.04, tive problemas com a parte gráfica, e travamentos.
Acho que quando a canonical colocou o Unity não previu tantos problemas e instabilidades.
Já no Ubuntu 10.04.2 LTS, é bem diferente, é mais maduro, mais testado, mais estável, eu uso para trabalho mesmo.
Creio que em outubro o Ubuntu 11.10 vem bem mais estável, e resolverá esses atrasos e travamentos que temos no 11.04.