Vc desativou o IPv6 no navegador, certo? Podemos tentar desativá-lo no linux como um todo, com o comando abaixo:
sudo sysctl net.ipv6.conf.all.disable_ipv6=1Pra ver se o problema é nos drivers, primeiro precisamos saber qual é o tipo de rede que vc usa (esse problema é mais comum nas conexões wireless), e principalmente qual é sua placa de rede. Mas primeiro vamos esgotar os testes com a configuração da rede, em si.
Não sei se a sugestão do Tota de reduzir o MTU se aplicaria aqui, ela se encaixa bem com algumas situações em que você tem dificuldade de acessar arquivos grandes, mas a conexão funciona. Também já peguei um caso de uma placa de rede SiS que só funcionava se o MTU estivesse abaixo de 1500 --- vá entender ---, mas nenhum dos casos era de lentidão.
De qq forma, quando a gente testa hipóteses, precisa testar uma de cada vez, pra isolar a solução. A pior coisa que se pode fazer é mexer num monte de coisa ao mesmo tempo, e o pior resultado possível é funcionar, pq assim quando se tenta reproduzir, a única resposta possível é "Não sei como consegui, mexi num monte de coisa e funcionou".