Se você realmente instalou o Ubuntu. Desligue o PC e remova o pendriver, após isso ligue o PC, se o Ubuntu realmente estiver instalado no HD, ele iniciará normalmente, se não, infelizmente você não instalou, só iniciou em LiveCD e pensava que estava instalado.