Se eu entendi direito sua situação, você vai ter de instalar um servidor DNS no seu VPS. Mas veja que só isso não basta, você tem que configurar o registro do seu domínio pra usar o endereço do seu servidor como autoridade de DNS pro domínio.
E aí a gente volta de novo ao mesmo ponto, que eu venho batendo desde lá de cima: faz parte do processo de registrar um domínio informar qual vai ser o endereço do servidor DNS responsável por ele. Se você não informou, alguém informou por você, imagino que seria o que aconteceria se vc comprasse o domínio pronto --- foi o que você fez?
Se esse for o caso, é simples, vc tem que entrar em contato com quem vendeu o domínio pra você e pedir pra cadastrar o seu VPS lá.