Acho que se vc desativar o serviço gdm, ele vai ficar em modo texto:
sudo update-rc.d -f remove gdm
Sobre escolher a interface, se vc tiver as duas instaladas e iniciar pelo gdm (login gráfico), vc pode escolher qual usar. Iniciando por startx, acredito que ele inicie sempre a última que vc usou.