Na janela do virtualbox com o SO virtualizado vá ao menu Dispositivos > Adicionais para convidados... Ele vai instalar o que é necessário para aumentar o tamanho da janela, dentre outras funcionalidades. Para sistema Windows basta isso e quando abrir uma janela de autoexecução aceitar a instalação e depois é só reiniciar o Windows virtualizado que a tela deve aumentar de tamanho e ficar mais confortável.
Para o linux, no caso o Ubuntu, devido ao seu sistema de segurança, esse passo não é suficiente porque é proibido autoexecução nele, então montado o dispositivo (a iso dos adicionais) se não apareceu no desktop o seu ícone, vá ao menu Locais e localize ele por lá o ícone dele, abra e execute o o script autorun.sh clicando duas vezes sobre ele e escolhendo executar no terminal na janela que aparecer. Forneça sua senha quando pedido. Se não funcionar assim, então abra o terminal dentro desta pasta dos adicionais e execute o comando:
sudo ./VBoxLinuxAdditions-x86.run
espere o processo terminar e depois reinicie o PC.