há duas formas de resolver isso, uma mais rápida e outra mais longa (pois requer instalações)
1) Modo rápido
vá em Ferramentas > Opções > Exibir; e escolha o estilo de ícones "Human"
2) Modo longo (recomendado)
abra um terminal e digite:
sudo aptitude install openoffice.org-style-default openoffice.org-style-industrial openoffice.org-style-crystal
Isso vai instalar todos os temas de ícones do openoffice, e evitar incompatibilidades futuras por se deixar o estilo selecionado como "padrão"