Olha só... pra explicar de forma rápida e direta, quando você sobre o servidor SSH ele abre a porta 22 do seu computador, ou outra, caso você tenha modificado. Com o ssh aberto, qualquer pessoa poderá tentar acessar seu computador de fora, bastando descobrir seu usuário e sua senha, ou qualquer outro usuário cadastrado na máquina.
Não é tããão simples, afinal o pessoal geralmente tenta invadir logando como root (que vem desativado no Ubuntu) ou administrator (que é o administrador do windows), e as vezes como "guest". Sem um user e senha válido eles não conseguem entrar, mas sabe como é hacker... com tentativa e erro eles vão tentando. Então o ideal é configurar seu SSH em outra porta só mesmo pra não chamar a atenção. Se você subir o SSH na porta 9999 não faz diferença, o hacker poderá tentar conectar por lá ainda, a diferença é que não chama tanto a atenção.
O que REALMENTE aumenta a segurança é configurar seu SSH pra receber login somente de um usuário e com uma chave ssh. Busque no google por "ssh sem senha" que você vai achar vários tutoriais. Eu aqui em casa fiz o seguinte: Configurei meu SSH pra logar SEM SENHA nenhuma, porém somente criptografado com minha chave ssh privada. Essa chave fica no meu MP3 player, então onde eu estiver (pode ser uma Lan House por exemplo) eu espeto o meu Mp3 na porta USB, chamo o ssh com o parâmetro "-i /media/usbfs/minhachave" e ai ele usa essa minha chave criptografada e faz o login pra mim, sem eu precisar digitar NADA de senha. Então não tem keyloger nem redirecionamento que roube minha senha. Sacou?
Vira um SSH com uma espécie de chave física mesmo. Só quem tem o seu pen drive, mp3, cd, diquete ou seja la o que for vai poder acessar.
[]s