100 GB comprimeren over netwerk? extreem traag normaal?

[demichel]

Ik heb een .tar file van ca 100 GB, staat op een NAS device via een netwerk (standaard switchen e.d.) en wordt vanop een Linux server gecomprimeerd. Dit lijkt extreem traag te gaan, doet er uren en uren over. Nu ben ik geen netwerk specialist en weet niet wat op dit vlak te verwachten, maar is dit in jullie ervaring "normaal" of is er meer aan de hand met mijn netwerk?

[Craven]

"Traag" is relatief. Ik zou zeggen kom eerst is met wat meer info en getallen.

Wat voor switches, bekabeling en overige netwerkapparatuur hebben het hier over? Welke NAS en welke specs heeft de linux server? Last but not least wat is in jou ogen traag? Ik weet niet hoe je hem comprimeert maar hoe snel is hij precies of hoe lang doet hij er over?

[gekkie]

Ook de compressiemethode kan nogal een duit in het zakje doen .. vooral bzip2 is notoir traag.

[demichel]

Craven schreef op maandag 07 april 2014 @ 08:13:
"Traag" is relatief. Ik zou zeggen kom eerst is met wat meer info en getallen.

Wat voor switches, bekabeling en overige netwerkapparatuur hebben het hier over? Welke NAS en welke specs heeft de linux server? Last but not least wat is in jou ogen traag? Ik weet niet hoe je hem comprimeert maar hoe snel is hij precies of hoe lang doet hij er over?

Zicht op het soort netwerkapparatuur en snelheden e.d. heb ik niet (ik ben de Oracle man, ken weinig van netwerk), maar alles is zo'n beetje gewoon standaard, Cisco switchen e.d., de normale toestanden bij een KMO (klein/middengroot bedrijf, hier in Vlaanderen).

Linux server is serieus zwaar uitgerust, 48 cores met 128 Gig RAM dus dat zal wel het probleem niet zijn Comprimeer gewoon met Linux compress commando.

Wat is in mijn ogen "traag"? Nu, 100 GB is veel, maar ik verwacht toch dat dat geen uren moet duren. Nu heb ik het zelf na een half uur afgebroken, toen bleek dat er nog maar een klein deel verwerkt was.

[defusion]

Worden files van de linux server gecomprimeerd, of worden ze eerst uitlezen vanuit de NAS om vervolgens opnieuw ernaartoe gestuurd te worden?

100mbit? 1gbit?

Indien 100mbit, en files vanuit de linux server, zou het op volle netwerk snelheid ca. 2 uur en 15min moeten duren.

Kijk ook naar de netwerkbelasting en CPU belasting op de linux server.

[demichel]

defusion schreef op maandag 07 april 2014 @ 08:18:
Worden files van de linux server gecomprimeerd, of worden ze eerst uitlezen vanuit de NAS om vervolgens opnieuw ernaartoe gestuurd te worden?

100mbit? 1gbit?

Indien 100mbit, en files vanuit de linux server, zou het op volle netwerk snelheid ca. 2 uur en 15min moeten duren.

Kijk ook naar de netwerkbelasting en CPU belasting op de linux server.

100 mbit, geloof ik. 2 uur en een beetje, tsja, dat zou kunnen kloppen afgaande op wat ik gezien heb. Da's dus een domper. Dan maar beter op de server zelf comprimeren en het resultaat overzetten naar de NAS.

Dank voor de info.

[dion_b]

In de regel is het altijd sneller om data te comprimeren en dan over netwerk te gooien dan om het op volle formaat over netwerk te gooien en aan andere kant pas te comprimeren.

Enige uitzonderingen zijn situaties met extreem beperkte beschikbare CPU aan sourcezijde, maar dan nog loont het om even te testen wat in praktijk beter werkt.

Verder zul je voor volledige optimalisatie van dit proces echt moeten achterhalen welke netwerkschakels tussen server en client zitten en wat hun specs en performance zijn. "Ik doe alleen op layer 7" is niet goed genoeg als je ook dingen over een netwerk doet. Dan is alles tot layer 1 relevant en noodzakelijk om mee te nemen.

[BtM909]

demichel schreef op maandag 07 april 2014 @ 08:19:
[...]


100 mbit, geloof ik. 2 uur en een beetje, tsja, dat zou kunnen kloppen afgaande op wat ik gezien heb.

Wacht, je hebt het over 100GB comprimeren en dan lijkt het 2 uur te duren? Da's natuurlijk heel wat anders dan:

Dit lijkt extreem traag te gaan, doet er uren en uren over.

Nu heb ik het zelf na een half uur afgebroken, toen bleek dat er nog maar een klein deel verwerkt was.

Misschien volgende keer zelf wat duidelijker zijn met je probleem aankaarten

[demichel]

BtM909 schreef op maandag 07 april 2014 @ 11:59:
[...]

Wacht, je hebt het over 100GB comprimeren en dan lijkt het 2 uur te duren? Da's natuurlijk heel wat anders dan:


[...]


[...]


Misschien volgende keer zelf wat duidelijker zijn met je probleem aankaarten

Wel ja, als ik na een half uur zie dat ie nog maar op ruwweg geschat 20% van het te leveren werk zit (ik weet hoe groot de gecomprimeerde versie moet worden, zo ongeveer), dan kan ik redelijkerwijs extrapoleren dat het nog uren en uren en uren gaat duren.

(tenzij ik hier de bal compleet mis sla, wat nog wel eens wil gebeuren, geef ik grif toe)

[dion_b]

Wees nou eens een beetje duidelijk

Eerst heb je het over "uren en uren", maar blijkbaar was dat pure hyperbool/onderbuik.

Vervolgens heb je het over twee uur.

En nu is het 20% na een halfuur, wat neerkomt op 2.5u totaal, maar je extrapoleert het alsnog naar "uren en uren".

In plaats van poetisch te zijn, geef even totaal aantal (M)Bytes en totaal aantal seconden dat het duurde. Dan hebben we harde gegevens en kunnen we er wat mee, in plaats van ons ergeren aan onduidelijke, onnauwkeurige en tegenstrijdige uitspraken van je...

[Brahiewahiewa]

Doe nou niet zo moeilijk, kopieer de file naar je server (over het netwerk of over sneakernet), comprimeer 'm en kopieer 'm terug.

Maar - even voor de goede orde - als je een 100GB file over een 100 Mb/s netwerk kopieert ben je dus al 100 * 1024 * 8 / 100 = 8192 seconden kwijt. Da's 2 uur, 16 minuten en 32 seconden.

[Balance]

Vervang gewoon alles door Gigabit Ethernet, lijkt me geen overkill als je een server met 48 cores en 128 GB RAM hebt staan. Wellicht wil je zelf 10 GbE overwegen.

En ja, dat duurt op 100Mbit internet uren en uren. Want eerst moet er 100GB data getransporteerd worden, dan gecomprimeerd, en dan moet dat gecomprimeerde bestand weer terug. Minimaal 2 uur 15 min kopiëren, dan comprimeren en terugsturen. Het zou zo maar kunnen dat dat 3 a 4 uur duurt. Met de aanleg van Gigabit Ethernet duurt dit waarschijnlijk ongeveer 8 keer zo kort.

[jvanhambelgium]

Het comprimeren gaat tijdens het copieren, tenminste zeker als je vb "gzip" gebruikt. Dat werkt met een sliding window. Dus die gaat gelijk aan het comprimeren terwijl de file aan een gezapige 10 a 12Mbytes/sec binnenkomt. Vervolgens kan de file ook direct terug weggeschreven worden op de NAS (want ik veronderstel dat ie daar moet komen te staan) zonder extra tijd => Als het een 100Mbits FullDuplex link is tot op de switch. Dan kunnen we transmitten + receiven aan 100Mbits.

Dus alles bijeen met wat overhead zal dit grapje wel tussen 2h30 en 3u duren denk*** ik.

***Tenzij er eerst een temp-file gemaakt gaat worden op de destination, wat dan ook weeral over de LAN moet aan een gezapige snelheid...voor GZIP lijkt dit het geval dus met 3h ga je het niet redden ;-)