O Linux é multiusuário. Assim, cada usuário pode instalar o que quiser na sua pasta pessoal, onde tem as permissões necessárias (note que alguns programas não instalam porque precisam acessar/modificar arquivos do sistema).
Tradicionalmente, o que não vem na distribuição é instalado na pasta /opt, de opcional, e é acessado "globalmente" (leia-se por todos os usuários).
Outro lugar tradicional para instalação é a pasta /usr/local, também possibilitando acesso a todos.
No mais, seguindo o conselho do primeiro post, ou seja, usar o adicionar/remover ou os pacotes dos repositórios, não é preciso se preocupar com os locais de instalação, pois a remoção do programa é inteiramente automatizada.
Até.