O que acontece com Tor é que é possível saber se um usuário está usando o Tor ou um navegador "normal". Por exemplo, tenta fazer uma busca no Google pelo Tor, ele vai pedir captchas e mais captchas. E outra, tenta entrar nesses sites que limitam o download pelo IP e veja se vai funcionar. Teoricamente, as próprias provedoras de internet podem saber se você está usando o Tor, mas creio que isso dificilmente ocorre na prática (nesse caso a coisa ficaria muito feia).
Porém, nada disso garante que você será rastreado ou que seus dados trafegados na rede serão descobertos. O que normalmente ocorre são falhas de javascript, sendo a rede Tor muito segura, pelo menos de acordo com as informações que temos.
Então, apenas tomando cuidado com javascript, flash, extensões é possível ter um bom nível de privacidade (e claro, não usar Windows). Outra coisa, acredito que usar proxys pode ajudar. Mas creio que é mais sensato usar o Tor apenas se necessário, ou somente por curiosidade/conhecimente também.
Além disso, é bom ativar o Firewall e cuidar da segurança da sua rede (no mínimo trocar a senha padrão de fábrica do roteador, se for o caso).
Agora se quiser um nível a mais de segurança, sugiro que procure pelo Tails.