Você nunca vai ficar 100% tranquilo.
Mas, como você disse lá em cima: segurança nunca é demais.
Ative o firewall. FireStarter, GUFW, ShoreWall, o que você "sentir" mais simples de usar. Depois, visite sites de teste de firewall (vou ficar devendo os links) pra ver se a defesa está bem montada.
Lembre também que firewall é apenas uma linha de defesa. Pra estar seguro, você tem que ter várias defesas trabalhando de forma coordenada, e o principal elemento dessa defesa é você. Não abrir links que você não conhece, não instalar programas de qualquer fonte, manter o sistema atualizado, usar senhas de acesso fortes, não usar a mesma senha de acesso pra todos os serviços, etc.
Lembre-se também que não adianta nada você tornar o seu notebook uma fortaleza, se o "site de acesso ao servidor pra fazer alterações" estiver exposto. Tudo que vale aqui, vale também lá.