Não acho mais óbvio usar ESC não, afinal o man é antigo, tem comandos parecidos com o editor vi, que é como deveria ser, assim facilita nossas vidas.
É bem por ai, o less aceita ZZ, :q e outros. E, como o asghan já falou, é bem lógico.
Aqui eu uso o most para paginar, ai até aparece escrito "aperte q para sair".
Clicando h você vê o "help" com os comandos, fora o próprio man.