Supondo que v. já tentou ajustar com as opções do gpointing e ainda mesmo com as opções de "Configurações do Sistema/Preferências do Mouse", então se começa a entrar em área de maior dificuldade, o que requer, no mínimo, um tanto a mais de informações para que se possa começar a pensar em investigar de verdade o problema, começando por informações do seu sistema, que não temos nenhuma. :-(
1) Uma breve descrição do seu computador, incluindo tipo, marcas e modelos, se aplicável, sempre ajuda no entendimento do problema e na eventual localização de documentação técnica, lembrando que não estamos diante do seu computador, o que aumenta enormemente a dificuldade de diagnóstico.
2) Claro que uma exata referência de qual é o modelo do "mouse USB da microsoft USB", porque existem vários e vários modelos sob essa marca, também sempre pode auxiliar.
3) É adequado que torne claro qual é o ambiente em que está usando a versão 11.4, isto é, Unity ou Clássico.
4) Creio que o problema possa estar relacionado à placa de vídeo, porém, claro, um primeiro passo é saber se o seu sistema possui placa dedicada e qual seja ela e etc., que driver está carregado, enfim, melhor descrição.
5) Um teste importante que v. deveria fazer se tiver disponível um outro mouse qualquer, e melhor ainda com conector PS/2, se existir essa possibilidade em seu sistema, é experimentar com esse outro mouse para verificar se o problema persiste,o que já faz um certo funil na análise.
6) Ainda, se estiver usando o Unity, é importante testar previamente a ocorrência usando o Clássico, e vice-versa, é só alternar.
7) Algumas informações a serem obtidas por execução no terminal (Ctrl+Alt+T) e postadas para que o Fórum delas tenha conhecimento, que adicionalmente, em tese, podem começar a auxiliar o entendimento:
Comece forçando uma atualização do sistema em:
Configurações do Sistema/Centro de Controle/Gerenciador de atualizações.
Depois, execute:
cat /etc/lsb-release
uname -ar
cat /proc/cpuinfo | grep "model name"
sudo dmidecode -t 1,4,10,21
sudo lshw -c video
xinput list