Olá
felipeh!
Esse mundo dos algoritmos de compressão é extremamente fascinante. Existem vários algoritmos de compressão, alguns livres, outros patenteados. Acho que o melhor caminho é começar numa literatura específica. Existem vários livros e materiais sobre o assunto. Aconselho procurar materiais em sites de universidades, pois nessas instituições os professores costumam ter uma área onde ele publica suas aulas. Além disso, se precisar de livros em PDF, eu posso te fornecer alguns. É só mandar seu e-mail em MP.
Aliás, seguindo a excelente dica do nosso amigo
felipeborges, realmente é interessante olhar o fonte dos programas já implementados. Aliás, existem muitas implementações de algoritmos de compressão disponíveis na internet (e muitos deles livres de patente). Segue alguns exemplo:
Site do bz2http://www.bzip.org/Site do 7-Ziphttp://www.7-zip.org/