Não sei no Open Shot, mas lembro que no Pitivi, para aparecer certas opções de arquivo para encodar, eu tive que instalar alguns codecs.
Eu tenho instalado pela central de programas:
Gstreamer - plugin de video ffmpeg, extra plugins, para mms, wavpack, quicktime, musepack, para aac, xvid, mpeg2 e faad.
Aconteceu uma vez comigo de gravar uns vídeos para meu pai, e um deles não estava aparecendo direito, com a imagem travando e com o audio bom. Um amigo meu que entende de linux me disse que se eu gravasse com o Brasero, pedindo pra gravar um dvd de video, iria dar certo. Eu havia gravado simplesmente os arquivos brutos.
Eu ainda acho o Pitivi muito bom pra juntar arquivos de vídeo e não conheço o Open Shot. Fiquei até curioso. Mas talvez, um problema possível seja que eu não entendo muito daquelas opções de vídeo, tipo o codec a ser utilizado, o FPS e outras opções. Talvez estas coisas que parecem detalhes é que deixam o arquivo ilegível para DVDs players de casa.