É fácil sim acessar, pois como você disse você pode adaptar as linhas já existentes no GRUB para entrar no modo Recovery Mode, dai pode usar o startx e etc, mas discordo quando diz que um usuário comum faria isso lendo alguns tópicos.
Convivo com eles (os usuários comuns) aqui em casa, no trabalho, e nenhum deles (fora minha esposa que conhece o fórum porque não saio dele, mas isso não vem ao caso... hehehe) ao menos pensa em um fórum, e talvez até cheguem a estes tópicos pelo google, mas não acho que conseguiriam mexer com tanta facilidade, mesmo tendo um tutorial detalhado, pois imagine que teriam que imprimir aquele monte de letrinhas (o tutorial, e os comandos... hehehe), e cair ali no terminal e digitar tudo, sem saber muitas vezes se a resposta esta certa ou não.
Agora um usuário avançado é outra coisa, entraria mesmo com facilidade, mas o que fazer depois que inventaram o LiveCD?
Acho que seria colocar senha na BIOS, no GRUB, e já apelando (para brincadeira) tirar o teclado, colocar seu HD numa gaveta e levar ela embora com você (hehehe...) pois é complicado.
Só para descontrair participei de um evento no final do ano passado, e discutindo-se sobre segurança ficou-se definido que é um sonhador quem acredita nela, e que você pode dificultar muito a vida de invasores externos à máquina (as vezes a custo elevado), mas segurança para alguém com acesso ao teclado, e com tempo e disponibilidade de fazer o que quiser é realmente complicado... infelizmente.
[]'s
Cristiano