[IO] Fileserver te druk

[stimm]

Wij hebben hier voor 80 mensen één fileserver, een dell poweredge 2950 met sas disks.

• 2x 73Gb in raid 1 voor het OS
• 3x 146Gb voor de data
• 1x 146Gb voor de pagefile

Gebruikers klagen over traagheid bij het openen en opslaan van bestanden (die staan dus op de fileserver) als ik op dat moment perfmon open zie ik dat de disk queue length gewoon op 100% staat.

Nou is mijn conclusie daaruit dat de server gewoon weg te weinig I/O heeft om de aanvragen aan te kunnen.

Tijd voor iets met veel schijven en dus I/O!

Termen als Fibrechannel, SAN, NAS en storage server schieten door mij heen. Maar wat is nu het juiste iets om te kiezen?! Op de HP site zie ik apparaten als deze zou dat een oplossing kunnen zijn?

Concreet:
Ik ben opzoek naar iets met veel I/O voor een MKB met ongeveer 80 man en het liefst van HP

[Verwijderd]

Analyseer eerst eens hoeveel % van alle I/O writes zijn, dan weet je welk RAID-level je nodig hebt.
Welke controller gebruik je voor de RAID? Wordt je swapfile gebruikt, om welk OS gaat het uberhaupt?

[stimm]

Verwijderd schreef op donderdag 13 december 2007 @ 17:14:
Analyseer eerst eens hoeveel % van alle I/O writes zijn, dan weet je welk RAID-level je nodig hebt.
Welke controller gebruik je voor de RAID? Wordt je swapfile gebruikt, om welk OS gaat het uberhaupt?

Het is een dell server, er zit dus een PERC 5/i controller in. Met daarop Windows server 2003 Standaard R2 SP2.

Bijgevoegd twee screenshots van perfmon kort achterelkaar:

[anglico]

je dell heeft ook maar een basic controller he, die perl 5i

zoek een oplossing met sas of scsi disken
neem geen sata voor een deftige fileserver, sata is beter dan ide maar slechter dan sas en scsi kwa multiuser IO

neem ook raid 1+0 voor je gebruikersddata, raid 5 heeft trage writes
neem ook een goede hardware raidcontroller(s) met meerdere kanalen (bv 4-6 disken per kanaal, 2 kanalen) en genoeg cache geheugen (512MB) --> bv HP Smart Array P800
en gebruik trunking om meerdere NIC's te bundelen zodat er daar ook zeker genoeg doorvoer is.

http://h18006.www1.hp.com...rks/dl380g5_ss/specs.html bevat een P800
en kan je later om uit te breiden nog een externe diskshelve aanhangen

[Gunner]

anglico schreef op vrijdag 14 december 2007 @ 12:52:
je dell heeft ook maar een basic controller he, die perl 5i

zoek een oplossing met sas of scsi disken
neem geen sata voor een deftige fileserver, sata is beter dan ide maar slechter dan sas en scsi kwa multiuser IO

Er zitten al SAS schijven in?

[stimm]

Gunner schreef op vrijdag 14 december 2007 @ 12:53:
[...]
Er zitten al SAS schijven in?

Klopt ja!

Maargoed, er kunnen bij de server ook geen schijven meer bijgeprikt worden. We zullen dus denk ik zowieso naar iets moeten kijken dat een beetje toekomst gericht is

Hoe hebben jullie het in het bedrijf gedaan? SAN's?

[maratropa]

lichtelijk offtopic, maar ik snap niet waar de pagefile wel eens op aan aparte niet redundante schijf gezet wordt? De logica van hem zijn eigen spindle geven ok, maar als die enkele schijf op zijn gat gaat, gaat je OS er toch ook aan en heb je geen reet ( ) aan je raid waar het OS en de data op staat? Je zou die pagefile dan toch minimaal ook op een raid 1 volume moeten zetten? Want zo is het niet redundant en je hebt raid juist voor " data availability ".

Tenzij het OS bij het wegvallen van de pagefile gewoon doorgaat...dan heb ik niks gezegd...

[ Voor 29% gewijzigd door maratropa op 14-12-2007 13:23 ]

[Gunner]

Zanniebal schreef op vrijdag 14 december 2007 @ 13:06:
[...]

Klopt ja!

Maargoed, er kunnen bij de server ook geen schijven meer bijgeprikt worden. We zullen dus denk ik zowieso naar iets moeten kijken dat een beetje toekomst gericht is

Hoe hebben jullie het in het bedrijf gedaan? SAN's?

Ik vind het al vreemd dat je met zulke servers al problemen krijgt met 80 gebruikers. Is

[stimm]

Gunner schreef op vrijdag 14 december 2007 @ 13:21:
[...]

Ik vind het al vreemd dat je met zulke servers al problemen krijgt met 80 gebruikers. Is

Tja, wij vinden het ook een beetje raar, we dachten dat we een aardig dikke server voor 80 mensen hadden. Maargoed, het bedrijf zit in de financiele sector er wordt dus gebruik gemaakt van Caseware e.d. die schrijven erg veel weg naar de schijven.

Wat willen jullie voor data zien? perfmon grafiekjes of andere getallen? Ik ben nog redelijk nieuw op het gebied van fileservers en I/O vandaar!

[Femme]

Als je I/O-prestaties met dit systeem fors wilt verbeteren zou ik een Dell PERC 5/E of 6/E en een Dell MD1000 sas-enclosure met de nodige sas-schijven aanschaffen. De Dell PERC 5/E presteert goed, ook in raid 5. Dit is wel een vrij forse investering maar dan kun je wel vijftien extra harde schijven aansluiten.

SAN heb je mijn inziens niets aan als de storage door slechts één fileserver gebruikt gaat worden, dan kun je beter DAS gebruiken.

Verder is het essentieel dat je write-back cache gebruikt. Dit presteert aanzienlijk betere dan write-through. De raid-controller zal waarschijnlijk geen write-back accepteren als er geen battery backup unit aanwezig is, dus dat moet je ook even checken.

[stimm]

Femme schreef op vrijdag 14 december 2007 @ 13:51:
Als je I/O-prestaties met dit systeem fors wilt verbeteren zou ik een Dell PERC 5/E of 6/E en een Dell MD1000 sas-enclosure met de nodige sas-schijven aanschaffen. De Dell PERC 5/E presteert goed, ook in raid 5. Dit is wel een vrij forse investering maar dan kun je wel vijftien extra harde schijven aansluiten.

SAN heb je mijn inziens niets aan als de storage door slechts één fileserver gebruikt gaat worden, dan kun je beter DAS gebruiken.

Verder is het essentieel dat je write-back cache gebruikt. Dit presteert aanzienlijk betere dan write-through. De raid-controller zal waarschijnlijk geen write-back accepteren als er geen battery backup unit aanwezig is, dus dat moet je ook even checken.

Hm, oke!

Het zit hem dus allemaal in de raid controller, dan gaan we toch eens even goed kijken naar die HP storage server met deftige raid controller en write back functie.

Hebben jullie nog ideen over het raid level? Het is nu raid 5, sommigen zeggen dat het traag is, anderen vinden het weer onzin!?

[Femme]

Write-back is een makkelijke winst. Als je meer prestaties wilt halen door een groter aantal harde schijven zul je moeten uitwijken naar een externe behuizing omdat je in de PowerEdge 2950 volgens mij niet echt veel meer mogelijkheden meer hebt.

Raid 5 presteert prima op moderne controllers mits er write-back caching gebruikt wordt. Raid 10 is soms wat sneller, dit verschil nogal per controller. Bij een Dell Perc 5/E of LSI MegaRAID SAS 8480 is raid 10 sneller dan raid 5, bij een Areca maakt het weinig verschil en is raid 5 soms sneller met een gelijk aantal schijven.

Als je gaat hobbyklussen is een Areca ARC-1680 in combinatie met een Promise VTrak VTJ610sD en een stapeltje Raptors een mooie oplossing . Dat ben ik nu aan het testen en draait goed.

[stimm]

Femme schreef op vrijdag 14 december 2007 @ 14:59:
Write-back is een makkelijke winst. Als je meer prestaties wilt halen door een groter aantal harde schijven zul je moeten uitwijken naar een externe behuizing omdat je in de PowerEdge 2950 volgens mij niet echt veel meer mogelijkheden meer hebt.

Raid 5 presteert prima op moderne controllers mits er write-back caching gebruikt wordt. Raid 10 is soms wat sneller, dit verschil nogal per controller. Bij een Dell Perc 5/E of LSI MegaRAID SAS 8480 is raid 10 sneller dan raid 5, bij een Areca maakt het weinig verschil en is raid 5 soms sneller met een gelijk aantal schijven.

Als je gaat hobbyklussen is een Areca ARC-1680 in combinatie met een Promise VTrak VTJ610sD en een stapeltje Raptors een mooie oplossing . Dat ben ik nu aan het testen en draait goed.

Hm, ik denk niet dat wij een budget hebben die dat soort hardware toelaat

Maar hoe denk jij over zo'n HP storage server dan? Daar zit toch een aardig deftige raid controller in?

[Kokkers]

De ARC-1680 zet ik met de huidige firmware nog vraagtekens bij, de features van de kaart maken het echter wel een wannahave.

Ook in de t.net benchmark komt het euvel terug dat bij een toenemde queue depth het aantal IOPS niet meer toeneemt terwijl dit wel zou moeten.

(Zie fileserver bench)
(http://tweakers.net/benchdb/testcombo/1425)

Direct attached storage lijkt me inderdaad de aangewezen vorm vanwege een enkele (NAS) fileserver.

Waarschijnlijk kom je vanwege fysiek ruimtegebrek en behoefte aan meer spindles uit op een SAS HBA en een extern SAS(SATA) enclosure.

Een Dell, SuperMicro, HP etc is dan afhankelijk van wat je budget toelaat.

[ Voor 14% gewijzigd door Kokkers op 14-12-2007 15:12 ]

[Femme]

Zanniebal schreef op vrijdag 14 december 2007 @ 15:03:
[...]

Hm, ik denk niet dat wij een budget hebben die dat soort hardware toelaat

Maar hoe denk jij over zo'n HP storage server dan? Daar zit toch een aardig deftige raid controller in?

Je wilt een compleet nieuw systeem aanschaffen of het bestaande systeem uitbreiden. Dit laatste is bij sas prima te doen door middel van een externe sas-behuizing.

Het HP apparaat met standaard acht 2,5 inch schijfjes zal met tachtig gebruikers misschien ook weer te krap zijn en dan heb je alsnog een extra sas-doos nodig voor meer schijven.

Kokkers schreef op vrijdag 14 december 2007 @ 15:09:
De ARC-1680 zet ik met de huidige firmware nog vraagtekens bij, de features van de kaart maken het echter wel een wannahave.

Ook in de t.net benchmark komt het euvel terug dat bij een toenemde queue depth het aantal IOPS niet meer toeneemt terwijl dit wel zou moeten.

Heb je praktijkervaring met deze controller (ben ik wel benieuwd naar dan).

Areca heeft nooit echt geweldig gepresteert in synthetische IOMeter toegangspatronen met diepe queues. De IOMeter fileserver simulatie vind niet erg representatief voor een workgroup fileserver vanwege het volledig willekeurige toegangspatroon. In mijn fileservertraces traces presteert de ARC-1680 wel erg goed (beter dan een PERC 5/E met 15.000 toeren Fujitsu sas-schijven en veel beter dan een ICP Vortex ICP5085BR met de 15K Fujitsu's).

[stimm]

Femme schreef op vrijdag 14 december 2007 @ 15:23:
[...]


Je wilt een compleet nieuw systeem aanschaffen of het bestaande systeem uitbreiden. Dit laatste is bij sas prima te doen door middel van een externe sas-behuizing.

Het HP apparaat met standaard acht 2,5 inch schijfjes zal met tachtig gebruikers misschien ook weer te krap zijn en dan heb je alsnog een extra sas-doos nodig voor meer schijven.


[...]


Heb je praktijkervaring met deze controller (ben ik wel benieuwd naar dan).

Areca heeft nooit echt geweldig gepresteert in synthetische IOMeter toegangspatronen met diepe queues. De IOMeter fileserver simulatie vind niet erg representatief voor een workgroup fileserver vanwege het volledig willekeurige toegangspatroon. In mijn fileservertraces traces presteert de ARC-1680 wel erg goed (beter dan een PERC 5/E met 15.000 toeren Fujitsu sas-schijven en veel beter dan een ICP Vortex ICP5085BR met de 15K Fujitsu's).

Nou, ik heb eens gekeken naar de prijzen van een DAS voor die server en een nieuwe raid controller, maar die liggen aanzienlijk hoger dan het kopen van een HP server!

Helemaal omdat we van HP houden en je deze server later ook kunt uitbreiden met DAS en er al een mooie controller inzit lijkt me dat beter

Nog even over het raid, ervan uitgaande dat we dus die HP server nemen en de P800 controller krijgen. Is raid 5 dan okay? Of is er voor die controller ook een beter level bekent?!

[ajhaverkamp]

Hier draaien "gewoon" HP Proliant DL380G5 servers, 8 disken in RAID 6, 10K rpm, 146 GB, SAS, 2 CPU's, XEON DualCore 3,2 GHz, 6 GB geheugen. Standaard onboard P400, RAID controller met extra Battery Backupped Write Cache 512 MB.

Dit is voorzien van OES2 Netware. Hier staat alle data op de gebruikers, 1 server voor de gemeenschappelijk data (u:), 1 server voor de persoonlijke (r:). Ook dingen zoals Perfect View database data. Virusscanner van Sophos. En dat speert gewoon. Ook de voorlopers van deze hardware.

Kijk anders ook eens naar dingen zoals een virusscanner, die kunnen ook alles lekker tegenhouden.

Edit: oeps, vergeet ik helemaal te melden dat we het hier hebben over zo'n 600 actieve gebruikers.

[ Voor 7% gewijzigd door ajhaverkamp op 15-12-2007 08:44 ]

[Verwijderd]

Zanniebal schreef op vrijdag 14 december 2007 @ 14:50:
Hebben jullie nog ideen over het raid level? Het is nu raid 5, sommigen zeggen dat het traag is, anderen vinden het weer onzin!?

Als je voornamelijk writes hebt, zou ik het niet doen. RAID10 is dan vaak een beter alternatief, alhoewel ik dan alleen spreek over mijn ervaringen met Areca en software RAID5, en daarnaast ook nog enkel met 7200rpm disks. Maar misschien vind je het toch interessant als ik wat resultaten oprakel van mijn benchmarks destijds?

Zie ook deze discussie in een gerelateerde thread:
Verwijderd in "RAID 5 voor Desktop?"

Je screenshots konden me niet echt veel vertellen, ik zie namelijk geen verhouding tussen read en writes naar de storage device. Als je namelijk kunt vaststellen dat maar 30% writes zijn, dan werkt write-back buffering van moderne controllers vaak uitstekend, zoals Femme zegt. Tussen de de drukte van de vele read-requests door wordt de write-buffer dan langzaam weggeschreven. Maar heb je veel writes dan gaan je IOps er hard op achteruit.

[stimm]

Kicker de kick.

Toch breng ik graag nog even deze grafiekjes onder jullie aandacht...




Is dit normaal? Het is nu een rustig tijdstip qua bestanden.

P.s. heb praktisch groen licht gekregen om een DL380 G5 storage server aan te schaffen...

[ Voor 11% gewijzigd door stimm op 20-12-2007 11:39 ]

[UTMachine]

Zanniebal schreef op donderdag 20 december 2007 @ 10:51:
Kicker de kick.

Toch breng ik graag nog even deze grafiekjes onder jullie aandacht...

[afbeelding]
[afbeelding]

Is dit normaal? Het is nu een rustig tijdstip qua bestanden.

P.s. heb praktisch groen licht gekregen om een DL380 G5 storage server aan te schaffen...

Ook al naar DL385G gekeken? :-) en wil je met 2,5" SAS of 3.5" disken?

[Femme]

Zanniebal schreef op vrijdag 14 december 2007 @ 16:44:
[...]

Nou, ik heb eens gekeken naar de prijzen van een DAS voor die server en een nieuwe raid controller, maar die liggen aanzienlijk hoger dan het kopen van een HP server!

Helemaal omdat we van HP houden en je deze server later ook kunt uitbreiden met DAS en er al een mooie controller inzit lijkt me dat beter

Nog even over het raid, ervan uitgaande dat we dus die HP server nemen en de P800 controller krijgen. Is raid 5 dan okay? Of is er voor die controller ook een beter level bekent?!

Ik heb zelf geen tests gedaan van de P800 maar heb wel eens een oudere Smart Array 6400 getest die toen goed presteerde vergeleken met generatiegenoten. Ik denk dat HP zijn zaakjes wel goed voor elkaar heeft, net zoals LSI Logic, Areca en Dell (LSI Logic-gebaseerde controllers). Ik ben wat minder onder de indruk van Adaptec, Promise en 3ware (die laatste twee sata raid).

In toegangspatronen met overwegend schrijfacties zal raid 10 vaak wat sneller zijn dan een raid 5-array met een gelijk aantal schijven. Op een goede controller zullen de verschillen echter niet groot zijn. De prestaties van raid 5 zijn op een goede controller geen enkel probleem. De mensen die roepen dat raid 5 slechte schrijfprestaties levert zijn alleen software raid, zwaar verouderde raid-controllers of raid-controllers zonder cache gewend. Ga je je server draaien op een onboard nForce-controller met raid 5 dan zul je inderdaad waardeloze schrijfprestaties zien. Een snelle raid-controller gooit zijn weg te schrijven data eerst tegen 700MB/s in zijn cache en gaat daarna eens kijken wanneer hij het op een geschikt moment kan wegschrijven. Parity berekenen is met hardware acceleratie een koud kunstje en kan sequentieel tegen snelheden van honderden MB/s gedaan worden.

[Djaro]

Zanniebal schreef op donderdag 13 december 2007 @ 16:19:
Wij hebben hier voor 80 mensen één fileserver, een dell poweredge 2950 met sas disks.

• 2x 73Gb in raid 1 voor het OS
• 3x 146Gb voor de data
• 1x 146Gb voor de pagefile

Gebruikers klagen over traagheid bij het openen en opslaan van bestanden (die staan dus op de fileserver) als ik op dat moment perfmon open zie ik dat de disk queue length gewoon op 100% staat.

Nou is mijn conclusie daaruit dat de server gewoon weg te weinig I/O heeft om de aanvragen aan te kunnen.

Concreet:
Ik ben opzoek naar iets met veel I/O voor een MKB met ongeveer 80 man en het liefst van HP

Dit is echt de meest onzinnige setup die ik ooit heb gezien voor een server..
2x 73gb in raid 1 voor het OS kan ik meeleven.
maar een 146gb disk toewijzen voor alleen een pagefile ? van hooguit 4gb.. (meer heeft geen nut, daar krijg je ondoenlijk veel pageswaps van en dus IO (hint)..
wat je zou moeten doen is die 4 disken van 146 gb in RAID 10 zetten ..
dell openmanage (bijgeleverd bij de dell server) erop zetten ..
en via storage manager WRITE BACK aanzetten en ADAPTIVE READ AHEAD voor cache policy..
dan haal je snelheid.. en kunnen die 80 mensen makkelijk werken(mits ze niet de hele dag DVD isos lopen copyen .. dan houdt het een keer op natuurlijk)..