Celeron? Pode esquecer. O seu processador deve ser 32 bits mesmo...
O Ubuntu Server é só para aqueles servidores, não é para uso no dia-a-dia... Por padrão não é.
EDIT: Agora que vi... Seu processador pode ser mesmo 64 bits... Celeron D pode ser 64 bits...