O seu site está hospedado no Windows e já é meio que um "ambiente de produção"? Caso positivo, se eu fosse você, hospedaria o site no Servidor Linux, por essas razões:
1. Usar Apache para hospedar sites em computadores com Windows é uma prática altamente desaconselhável, pois no Windows o Apache pode sofrer de sérios problemas de segurança provenientes deste sistema operacional. Isso sem falar que o Apache é otimizado para Linux e desempenha esta tarefa bem melhor neste SO. Usar Apache no Windows (através de softwares como WAMP, Xampp ou EasyPHP) é recomendado apenas em ambientes de teste, e não de produção.
2. Todas as ferramentas, frameworks e IDEs que você mencionou (Apache, MySQL, PHP, PhpMyAdmin e Joomla) funcionam perfeitamente no Linux, e caso você esteja utilizando Ubuntu, seus procedimentos de instalação são muito fáceis. Pra instalar o Apache, PHP e MySQL, de uma vez só pelos repositórios oficiais do Ubuntu, basta o comando:
$ sudo apt-get install lamp-server^
(Com acento circunflexo)
Já sobre fazer o site ser acessado pela Internet, você já registrou algum domínio e o fez apontar para o endereço de IP do seu servidor Linux local?