Das duas uma, ou você pode excluir o GNOME, deixando apenas o KDE, ou então quando for logar no sistema pelo seu gerenciador de login, caso ele seja o GDM, fará a pergunta se você deseja que sessão atual se torne padrão no próximo login, no caso o KDE.
Para excluir o GNOME (o que não é muito recomendável...) bastaria fazer o comando:
apt-get remove ubuntu desktop