Os arquivos podem estar com bit de "indestrutível" (chattr +i). A dica pra saber se é isso é olhar imediatamente após apagá-los, pra ver se eles chegam a sumir.
Se bem que concordo com os outros colegas, uma vez comprometido, o sistema nunca mais é seguro. Eu o formataria do zero, e buscaria algumas formas de fortalecê-lo (hardening, antes de colocá-lo em produção de novo.
Algumas dicas pra que isso não aconteça mais:
1. Desative todos os serviços desnecessários.
2. Ative o firewall da máquina.
3. Ative recursos do tipo "fail2ban", que tornam ataques de força bruta muito mais difíceis.
4. Use senhas fortes, com no mínimo 8 caracteres, e suficientemente complexas, ou seja, usando pelo menos 3 dos 4 grupos de caracteres (letras minúsculas, letras maiúsculas, números e símbolos). Não use palavras de qualquer língua.
5. Mantenha seu sistema atualizado.