No "universo Mac", arquivos de imagem de disco são criados com a extensão .img e a extensão .dmg geralmente é usada em instaladores de programas, mas no "universo Linux" a extensão .iso é que é usada para criar arquivos de imagem de disco.
Não se deve "descomprimir" nem arquivo DMG, nem IMG, nem ISO: no caso do DMG, você precisa "montar" esse arquivo para ter acesso ao instalador (que geralmente é um ícone do aplicativo que você só arrasta para o seu menu de Programas), enquanto que no caso dos arquivos IMG e ISO você precisa usar um programa que grave o conteúdo desse arquivo dentro de uma mídia de inicialização - como por exemplo um pendrive ou DVD que você deseje utilizar para inicializar o instalador do Linux.
No shell (Terminal) do Mac, você pode executar o comando abaixo (dentro da pasta em que o arquivo ISO se encontra: neste exemplo estou supondo que o ISO do Linux chama-se linux.iso) para converter o ISO do Linux para o formato IMG que o Mac entende:
hdiutil convert -format UDRW -o linux.img linux.iso
Agora suponhamos que você queira colocar esse instalador do Linux em um pendrive. No caso, conecte o pendrive à porta USB do seu Mac e execute este comando:
diskutil list
O comando acima do Terminal do Mac fará o MacOS mostrar os discos atualmente conectados ao seu Mac, inclusive "pseudo discos", como é o caso do pendrive. Esse pendrive aparecerá como um "disco" (disk) do tipo "externo" (external). Vou supor aqui que seu pendrive aparecerá como sendo o "disco 2" (disk2). Em tal caso, esse dispositivo aparecerá na lista como /dev/disk2 (external, physical). Traduzindo: o Mac detectou um pendrive conectado via porta USB e então associou a ele o arquivo disk2 que está dentro da pasta dev (devices / dispositivos), atrelando a ele as informações external (dispositivo externo, conectado externamente ao computador) e physical (é um dispositivo físico, não é virtual como ocorre num disco rígido virtual dentro de uma máquina virtual, por exemplo).
Como você quer que o conteúdo do arquivo linux.img seja copiado para dentro desse pendrive, você deve agora executar o comando dd no Terminal, para que o MacOS copie o conteúdo daquele arquivo IMG bit a bit para dentro do pendrive. Para fazer isso, primeiro desmonte o pendrive (o processo de desmontagem é por software, você não pode remover o pendrive da porta USB):
diskutil unmountDisk /dev/disk2
Agora que o pendrive foi desmontado, execute o comando dd para copiar os bits do arquivo linux.img para dentro do pendrive desmontado por software:
sudo dd if=linux.img of=/dev/disk2 bs=1m
Se você conseguiu executar todos esses passos, seu pendrive agora é um pendrive de instalação do Linux: conecte o pendrive à porta USB do computador no qual deseja instalar o Linux, ligue ou reinicie esse computador, selecione no menu de boot que você deseja inicializar esse pendrive e então sugiro que você primeiro ative a opção de "testar o Linux", para que o Linux seja inicializado pelo pendrive (esse Linux é tecnicamente denominado ramdisk e popularmente conhecido como LiveCD) e você possa mexer no Linux sem tê-lo instalado em seu computador. Assim você poderá usar um pouco o sistema antes de decidir se deseja mesmo instalá-lo. Se decidir instalar, na área de trabalho o LiveCD do Linux geralmente deixa um atalho do tipo "instalar o Linux", daí basta executá-lo que o instalador será inicializado.
Antes de instalar, não se esqueça de fazer backup de todos os seus arquivos e pastas que estiverem no disco rígido ou SSD em que for instalar o Linux.