Olá,
Sim, é quase isto mesmo.
No Linux você tem aplicativos que rodam em qualquer ambiente gráfico, já outros são integrados ao ambiente gráfico.
Exemplo windows: ao instalar o Windows, vem junto o Windows Explorer e outros , que não dá para remover.
No ubuntu, existem aplicativos do unity (gnome) que dependem de bibliotecas deste mesmo gnome para funcionar. O mesmo ocorre com kde, xfce, lxde, etc.
Lembremos que o Linux e o Ubuntu por tabela, é em termos gráficos apenas o terminal em preto e branco. O ambiente gráfico vem "como brinde" e é o que cria os vários "sabores" (flavors em inglês) de uma distribuição Linux.
Uma maneira "econômica" de instalar um pacote de um ambiente no outro, é instalar uma a uma as dependências removendo as que não são necessárias à você (e que não tornem o pacote instável)
No site dos repositórios do Ubuntu
http://packages.ubuntu.com/Você pode localizar o pacote e instalar um a um manualmente até atingir o pretendido.
Não é um procedimento fácil e descomplicado, e também não o livra de pacotes desnecessários ao funcionamento de seu ambiente gráfico atual.
Bons estudos e boa sorte