Você vai precisar de um live iso (um pendrive ou DVD de instalação do Ubuntu), dar o boot por essa mídia e escolher a opção experimentar sem instalar. Depois abra um programa que se chama Gparted e por ele vai ser possível fazer essas alterações.
Mas como você vai fazer isso depende de como o seu HD está particionado. Por exemplo, o espaço não alocado precisa estar do lado da partição do Ubuntu para aumentar o tamanho desta (caso não esteja, vai ser preciso deslocar alguma partição). E se a partição do Ubuntu estiver dentro de uma partição extendida, primeiro você terá que aumentar a partição extendida. Pelo Gparted dá para visualizar todo isso de uma forma simples, mas qualquer coisa poste a saída do comando aqui:
sudo parted -l
Faça backup antes de começar, inclusive dos arquivos pessoais no Windows e, se tiver dúvida, pergunte!!!