corrijam-me se estou falando besteira, por favor, mas concordo com o Arlei, pois configurar acesso por ip nas náquinas não é muito aconselhável. Exemplo:
Somente Huguinho tem acesso a Luizinho, que não tem acesso a Huguinho, mas que pode acessar Zezinho, que por sua vez acessa Huguinho, mas não pode acessar Luizinho (putz, que lambança)
Estando eu no micro Huguinho eu posso acessar Luizinho por ssh, onde posso abrir uma outra sessão ssh e me conectar a Zezinho, onde posso abrir mais uma sessão e me conectar com Huguinho (onde estou)...
Não se se me fiz entender, compliquei bastante, mas isso é até uma técnica para não deixar pistas em algumas coisas ilícitas... se conectar em diversos servidores, pois quanto mais conexões, mais difícil fica o rastreamento.
Em se tratando de SSH acho recomendável mesmo deixar apenas um usuário com acesso ao servidor para se logar dessa forma (que não seja o root) e não "um micro".