Autor Tópico: Usando o XFS no Desktop!  (Lida 58984 vezes)

Offline san-alex

  • Usuário Ubuntu
  • *
  • Mensagens: 95
  • CNC Programmer
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #30 Online: 09 de Junho de 2014, 17:57 »
Eu nunca usei XFS no meu computador, mas participo ativamente noutro forum Ubuntu (em Russo), e já tinha visto várias queixas deste sistema de ficheiros. Trabalha perfeitamente com ficheiros grandes e partições grandes, mas quando há necessidade de copiar muitos ficheiros pequenos (estamos a falar de milhares), velocidade cai quase até a zero.

Offline jkmsjq

  • Usuário Ubuntu
  • *
  • Mensagens: 3.343
  • Ubuntu Member
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #31 Online: 09 de Junho de 2014, 18:48 »
[...] mas participo ativamente noutro forum Ubuntu (em Russo) [...]

[Off Topic] Caixinha de fósforo e rebimboca... em russo...?!?!?[/Off Topic]

Podia compartinhar seu tempo para ajudar aqui no fórum brasileiro também...   :D ;)
LinuxUser: 548942 / Dando um tópico como resolvido
"A verdade só é agressiva a quem vive de mentiras". Autor desconhecido.
Twitter: @jeisonkertesz

Offline san-alex

  • Usuário Ubuntu
  • *
  • Mensagens: 95
  • CNC Programmer
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #32 Online: 09 de Junho de 2014, 19:04 »
Podia compartinhar seu tempo para ajudar aqui no fórum brasileiro também...   :D ;)

É isso que estou a fazer. Sobre fósforos - não entendi...

Offline galactus

  • Equipe Ubuntu
  • Usuário Ubuntu
  • *****
  • Mensagens: 4.685
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #33 Online: 09 de Junho de 2014, 19:07 »
Sim o XFS é lento com arquivos pequenos. Eu deixo isso bem claro no tutorial. O XFS foi feito para ser grande.
BigLinux no Notebook  / Várias Distros Virtualizadas no PC.

Offline Arthur Bernardes

  • Usuário Ubuntu
  • *
  • Mensagens: 4.692
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #34 Online: 15 de Julho de 2014, 16:56 »
Olá Galactus, admiro sua dedicação em conseguir o melhor no teu Linux.

Estou com projeto de montar um servidor de arquivos para armazenar os backup's daqui, e desejo compactar esses arquivos e jogar no servidor, somente para armazenar (geralmente imagens do Clonezilla, arquivos compactados e etc).

Como você mesmo disse, o XFS foi feito para ser grande e lento com arquivos pequenos, no caso de eu ter os dois (arquivos pequenos e arquivos grandes), o que recomenda? Uma partição em EXT4 e outra em XFS ou dois discos?

É recomendável usar LVM ou uso sem mesmo?

Estou pensando em Debian ou CentOS para esse servidor, o que considera melhor?

---------------------------------

Outra coisa: Seria interessante colocar o comando de desfragmentação do XFS no "cron"?
« Última modificação: 15 de Julho de 2014, 17:17 por Arthur Bernardes »

Offline galactus

  • Equipe Ubuntu
  • Usuário Ubuntu
  • *****
  • Mensagens: 4.685
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #35 Online: 16 de Julho de 2014, 08:58 »
Olá Arthur, realmente um cenário interessante. Você pode deixar uma partição, ou HD, com ext4 para arquivos pequenos e que serão compactados e outra partição, ou HD, com XFS para as imagens do clonezilla e outros arquivos grandes. Se tiver que usar os dois sistemas de arquivos no mesmo HD acho que vai te complicar o LVM, se não ficar inviável.

Eu posso dizer o que eu e alguns colegas estamos fazendo. Se o crescimento dos dados não é assim tão grande e rápida, nem de forma exponencial, Heheheheheh , não usamos LVM. Tenho colegas com storage da Dell e da HP que já tem tudo arrumado via hardware, o que facilita um monte né. Infelizmente não é o meu caso, mas como tenho vários HDs e não cresce tanto assim o volume dos meus dados, optei por deixar tudo com XFS, sejam os arquivos grandes ou pequenos. O XFS não é o mais rápido, mas aguenta maior quantidade de requisições nas transferências de arquivos. Então conseguimos fazer um maior número de transferências com taxas constantes ao mesmo tempo com o XFS.  Usamos CentOs, um amigo usa Opensuse, nenhum dos meus colegas, e nem eu, usamos Debian. O motivo? Na hora em que o calo aperta, e eu quero dizer com muitas requisições e um monte de gente acessando os dados ao mesmo tempo, o CentOs se mostrou mais robusto, aguentou mais carga e manteve mais alta e constante as taxas de transferências dos arquivos. Não temos nada contra o Debian, só não a se mostrou o melhor para o nosso uso. Instalamos o sistema em ext4 e todos os dados estão em XFS, sejam eles grandes ou pequenos no meu caso. A maioria dos colegas trabalham com banco de dados enormes.

Eu só colocaria o comando de desfragmentar no cron se as alterações fossem constantes, senão eu mesmo executaria o comando de tempos em tempos, agora eu tenho tempo pra isso né Arthur. Se tiver ocupado demais, melhor colocar no cron mesmo.

Espero ter ajudado mais que complicado, e Arthur, se puder, faça os seus testes, afinal, o que é bom pra mim pode não ser pra você!


« Última modificação: 16 de Julho de 2014, 09:02 por galactus »
BigLinux no Notebook  / Várias Distros Virtualizadas no PC.

Offline Arthur Bernardes

  • Usuário Ubuntu
  • *
  • Mensagens: 4.692
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #36 Online: 16 de Julho de 2014, 13:00 »
Olá Galactus, com certeza vou testar sim e seguir suas recomendações.

Será gostoso eu aprender um novo sistema (CentOS ou Suse), e vou usar dois discos diferentes mesmo (um para o sistema em ext4 e outro para dados em XFS), à questão do LVM ainda vou estudar para o ver que mais inviável, mas penso em usar RAID não.

Obrigado pela disposição e vou postar aqui sim os testes, muito obrigado!

Offline lotavio

  • Usuário Ubuntu
  • *
  • Mensagens: 14
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #37 Online: 29 de Novembro de 2014, 15:06 »
Um adicional para o topico http://rocha.forenaite.com.br/xfs-um-sistema-de-arquivos-eficiente/ e para quem tem 8 ou mais cores.
De uma olhada Galactus.

Offline galactus

  • Equipe Ubuntu
  • Usuário Ubuntu
  • *****
  • Mensagens: 4.685
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #38 Online: 06 de Dezembro de 2014, 10:43 »
Um adicional para o topico http://rocha.forenaite.com.br/xfs-um-sistema-de-arquivos-eficiente/ e para quem tem 8 ou mais cores.
De uma olhada Galactus.

Obrigado pelo texto! Por isso que um amigo meu adora XFS num servidor de banco de dados DELL com dois Xeons e muitos threads!
BigLinux no Notebook  / Várias Distros Virtualizadas no PC.

Offline lotavio

  • Usuário Ubuntu
  • *
  • Mensagens: 14
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #39 Online: 02 de MAR?O de 2015, 12:08 »
Galactus você já otimizou o Dirty_ratio e o dirty_background_ratio a favor do XFS ?
Se sim,como foi feito ?

Nas minhas pesquisas quando coloca a porcentagem do Dirty_ratio alto o pdflush inicia menos porém grava arquivos maiores,como o XFS é excelente com arquivos grandes não terá problemas de gravações com o hd contanto  dirty_background_ratio tem que estar em porcentagem pequenas.

Meu objetivo com isso é ter um bom relacionamento entre swap,XFS e RAM. Penso ainda analisar vms como min_free_kbytes,pagecache para otimizar ainda mais o objetivo que tenho. :D

Offline Arthur Bernardes

  • Usuário Ubuntu
  • *
  • Mensagens: 4.692
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #40 Online: 02 de MAR?O de 2015, 13:55 »
Galactus, o que acha de eu manter XFS para arquivos pesados e o EXT4 para arquivos leves e pra raiz?

Offline galactus

  • Equipe Ubuntu
  • Usuário Ubuntu
  • *****
  • Mensagens: 4.685
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #41 Online: 02 de MAR?O de 2015, 15:32 »
Galactus você já otimizou o Dirty_ratio e o dirty_background_ratio a favor do XFS ?
Se sim,como foi feito ?

Nas minhas pesquisas quando coloca a porcentagem do Dirty_ratio alto o pdflush inicia menos porém grava arquivos maiores,como o XFS é excelente com arquivos grandes não terá problemas de gravações com o hd contanto  dirty_background_ratio tem que estar em porcentagem pequenas.

Meu objetivo com isso é ter um bom relacionamento entre swap,XFS e RAM. Penso ainda analisar vms como min_free_kbytes,pagecache para otimizar ainda mais o objetivo que tenho. :D

Mexo neles para melhorar o desktop em geral, não pensando no XFS. Eu altero é o FSTAB ou a formatação para melhorar o XFS em geral.
BigLinux no Notebook  / Várias Distros Virtualizadas no PC.

Offline galactus

  • Equipe Ubuntu
  • Usuário Ubuntu
  • *****
  • Mensagens: 4.685
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #42 Online: 02 de MAR?O de 2015, 15:35 »
Galactus, o que acha de eu manter XFS para arquivos pesados e o EXT4 para arquivos leves e pra raiz?

Faço isso também. Meu servidor de arquivos tem o raiz "/" com ext4 e as partições dos dados todas em XFS. Meu PC em casa também está mesclado. Tenho HDs em ext4, XFS e NTFS.

 
BigLinux no Notebook  / Várias Distros Virtualizadas no PC.

Offline lotavio

  • Usuário Ubuntu
  • *
  • Mensagens: 14
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #43 Online: 17 de MAR?O de 2015, 22:20 »
Olha que eu encontrei no xfs.org
As of kernel 3.2.12, the default i/o scheduler, CFQ, will defeat much of the parallelization in XFS.
Apartir do kernel 3.2.12 com CFQ a paralelização do XFS  vai pra cuia, ou seja BFQ em alta eheheh  ;D 
É só uma chamada para atualização do tutorial. O seu tutorial é o melhor do google português qualquer coisa que
eu procure sobre XFS em português vem indicado para vir aqui no seu tutorial parabéns.Qualidade 1010

Offline galactus

  • Equipe Ubuntu
  • Usuário Ubuntu
  • *****
  • Mensagens: 4.685
    • Ver perfil
Re: Usando o XFS no Desktop!
« Resposta #44 Online: 18 de MAR?O de 2015, 00:16 »
Olha que eu encontrei no xfs.org
As of kernel 3.2.12, the default i/o scheduler, CFQ, will defeat much of the parallelization in XFS.
Apartir do kernel 3.2.12 com CFQ a paralelização do XFS  vai pra cuia, ou seja BFQ em alta eheheh  ;D 
É só uma chamada para atualização do tutorial. O seu tutorial é o melhor do google português qualquer coisa que
eu procure sobre XFS em português vem indicado para vir aqui no seu tutorial parabéns.Qualidade 1010

Obrigado.

Sim é verdade. No meu tutorial de acelerar o sistema sem compilações eu aviso que usar o CFQ no XFS não é bom. Mas atenda que não é tão ruim assim.  Eu explico.  Você já deve saber que o a Red Hat usa o XFS como sistema de arquivos padrão na sua versão 7. Assim o faz o Centos 7 também. Adivinha o escalonador de disco padrão para eles? CFQ!

E um dos principais desenvolvedores do XFS hoje é da Red Hat. Portanto eles também melhoraram as coisas para ele. Para servidores eles querem que o sistema continue respondendo mesmo com altas cargas no sistema. Seja no disco ou no processador. Então encher demais o sistema com paralelismo de disco pode não ser o ideal para uma série de coisas.  Vou te dar outro exemplo do motivo de usar o CFQ.  Eu uso o XFS no meu Notebook com BFS + BFQ.  Fica rápido? Fica.  Mas tudo tem um custo. Se eu fizer muitas transferências de arquivos o sistema fica muito "preso"  nas transferências de arquivos e demora "pra burro" para responder a outras coisas de primeira. Isso num core i7!  Como fica em processadores fracos?  Pelo menos pra mim me parece que a dupla BFS + BFQ foi feita para o ext4. Usar o "deadline" pode ser uma boa escolha entre "custo/benefício" no XFS.  Há sim, eu não mexo no escalonador do meu servidor de arquivos Centos 7, deixo no CFQ e sou feliz assim.

Outra coisa, a partir do kernel 3.16 ( pra mim a versão mais rápida dessas últimas versões), foram colocadas coisas novas para acelerar o XFS e será padrão na formatação com o xfsprogs 3.3.  Até o Phoronix já testou o ext4 com os três escalonadores mais conhecidos: Deadline / Noop / CFQ. Pode ver nos testes que dependendo do que você faz o CFQ perde, ganha ou empata:

http://www.phoronix.com/scan.php?page=article&item=linux_316_iosched&num=1

Então vai depender muito do uso do sistema. Por isso muitos estão optando pelo ZFS.  Ele é muito "customizável".  São muitas opções que você pode usar dependendo do que você vai fazer com seu sistema de arquivos.

Obrigado pela dica de que  em qual kernel a coisa piorou com o CFQ + XFS. Vou adicionar ao tuto.
BigLinux no Notebook  / Várias Distros Virtualizadas no PC.