GlusterFS super trage write/read snelheden

[Mexxus]

Hi all,

Ik heb een GlusterFS setup met 4 machines in Distributed Replicated opstelling. Elke file wordt op 2 machines opgeslagen. Deze setup heb ik ge-mount aan een client-server. De setup werkt perfect, behalve dat de doorvoersnelheden voor lezen en schrijven belachelijk laag zijn!

Voorbeeldje, schrijven naar een plek op mn client-server buiten de GlusterFS mount, dat gaat lekker snel:

code:

martinvd@node02:~$ dd if=/dev/zero of=/tmp/test.data bs=1k count=128k
131072+0 records in
131072+0 records out
134217728 bytes (134 MB) copied, 0.286729 s, 468 MB/s

Maar nu een zelfde schrijf-opdracht naar de GlusterFS mount:

code:

martinvd@node02:~$ dd if=/dev/zero of=/home/martinvd/test.data bs=1k count=128k
131072+0 records in
131072+0 records out
134217728 bytes (134 MB) copied, 15.6742 s, 8.6 MB/s

Check dat! Slechts 8.6 MB/s in plaats van 468 MB/s!!

Ik kom niet verder dan een paar performance tweaks op de GlusterFS volume, maar die maken geen wereld van verschil. Alle servers in dit model draaien op SSD schijven en tussen de servers hangen 10 Gbit verbindingen in een private-netwerk.

Iemand enig idee?

[Rainmaker]

Niet echt op basis van deze info.

Heb je het netwerk tussen de 2 machines getest?

Probeer eens met een grotere blocksize. 1k is wel erg klein. Probeer eens 256k ofzo.

Kijk ook of je de MTU van je netwerk naar 9000 kunt zetten (Jumbo frames), mits je switch dat ondersteund.

Je kan ook nog met een utility als nethogs kijken hoeveel data er over de lijn gaat en met welke snelheid.

[CAPSLOCK2000]

Als je er niet uitkomt zou ik beginnen met een wat eenvoudigere setup. Maak eerst een simpel distributed óf replicated volume met 2 nodes en kijk hoe de performance daar is.

[Brahiewahiewa]

Rainmaker schreef op zaterdag 24 oktober 2015 @ 01:23:
...Kijk ook of je de MTU van je netwerk naar 9000 kunt zetten (Jumbo frames), mits je switch dat ondersteund...

Kwenie hoor: jumbo frames geeft je een doorvoersnelheidswinst van maximaal 2%.
Dat gaat toch nooit het verschil tussen 486 MB/s en 8.6 MB/s verklaren?

[Big Mama]

Realiseer je je dat je met de write-test naar /tmp een IOPS-waarde van bijna een half miljoen haalt? Totaal onrealistisch, dus je kunt er ook vanuit gaan dat de write-completed al komt wanneer het in cache staat.

[Hero of Time]

Je zal toch echt wat moeten tweaken aan GlusterFS. Wij gebruiken het op werk en als we de snelheid zouden halen die jij nu haalt, zouden we onze dienst wel meteen kunnen opdoeken omdat het gewoon niet presteert. Ik heb nu geen inzage in de config (want ben thuis) maar de snelheid die je haalt lijkt wel alsof er ergens een 100 Mbit switch tussen hangt of de NICs hierop draaien. Weet je dus echt 100% zeker dat je de juiste netwerksnelheid haalt?

[Mexxus]

Update! Ik heb de mount aangepast naar een NFS mount en vanaf dat moment haal ik plots +/- 100 MB p/s. De servers zijn met elkaar verbonden middels een 1Gb verbinding in plaats van een 10Gb verbinding zoals ik dacht, dus dat verklaar waarom ik op 100 MB p/s blijf hangen :-).