Basta colocar o DVD/USB no computador e instalar normalmente, mas prestando atenção quando é aprensentada as opções de instalação, escolha para "Apagar o Ubuntu e Reinstalar" (ou algo assim), e não "Apagar Tudo e Reinstalar" (ou algo assim; essa opção vai remover o Windows também).