Por uma questão de ficar mais fácil se referir, vamos dar nomes às coisas, então esse ubuntu gravado no usb, que suponho esteja conseguindo subir o sistema e, portanto, esteja plenamente funcional, vamos chamar de live-pendrive.
De uma forma mais ampla podemos charmar de live-iso, que pode ser tanto um live-pendrive, obviamente quando gravado num pen-usb ou live-cdrom, quando gravado em mídia óptica (cd/dvd).
Se fizer essa gravação do live-pendrive usando o que se chama de "modo persistente" dá para gravar alguma coisa nele.
Não é a mesma coisa que um sistema realmente instalado, longe disso, mas ainda assim dá para gravar alguma coisa.
Entretanto, se quiser um Ubuntu realmente instalado isso pode ser feito tanto apagando o Windows e deixando apenas o Linux, como também convivendo ambos os sistema no mesmo disco, em partições distintas, o que se chama de dual boot.
Não se esqueça de ter um backup externo seguro e confiável dos seus arquivos pessoais, tais como aquela foto única, arquivos autorais, etc. para não correr o risco de perda irremdiável.
