O Xubuntu é leve e rápido, muito mais leve e rápido que o Ubuntu (levando em conta a configuração da sua máquina, claro).
O Lubuntu é ainda mais leve que o Xubuntu.
Mas o Lubuntu possui menos ferramentas para configuração do sistema, o que significa que, quando necessário, precisam ser feitas manualmente, diretamente nos arquivos de configuração. O Xubuntu, neste quesito, é mais completo.
Outra vantagem do Xubuntu é a composição nativa (efeitos gráficos básicos, como sobra e transparência).
No resto os sistemas são bastante similares. Eu iria de Xubuntu.