Bottleneck van fileserver

[Verwijderd]

Ik heb op mijn werk nu een HP Netserver LC2000 U3. De mensen hier worden niet echt vrolijk van de snelheid en tevens is het een enorme tower ipv rack en het draait allemaal op w2k.
Ik wil een nieuwe rack-server gaan bouwen op slackware, maar nu vraag ik me af wat de bottleneck is van zo'n machine:
1. Heeft het zin om RAID te nemen als je toch maar 100Mbit gebruikt? (de theoretische doorvoersnelheid van ATA is vele malen hoger)
2. Heeft het dan meer zin om te investeren in een 1Gb netwerkkaart?
3. Heeft CPU-snelheid nog veel van doen met de snelheid van een server die alleen read/write doet?
4. Maakt geheugen nog veel uit dan?
5. Ik weet dat samba in veel gevallen 'sneller' is dan een w2k oplossing. Merk je
hier uiteindelijk wat van of is dit eigenlijk alleen hardware afhankelijk?

Er hangen +/- 50 users aan en er hoeven alleen files geschreven en gelezen te worden.

[mutsje]

RAID5 is snelheidswinst en bij 1 schijfcrash vervang je die en doe je regenarete en wordt de boel weer hersteld.(zorg dus altijd voor 1 spare schijf).
1gb netwerk is leuk maar je switches moeten 1gb zijn je clients 1gb enzo.
hoe meer geheugen hoe minder swappen van pagefiles

let wel op als je authentication hebt dat samba zijn beperkingen kent tov windows2000.

[Verwijderd]

mutsje schreef op 19 May 2003 @ 19:48:
1gb netwerk is leuk maar je switches moeten 1gb zijn je clients 1gb enzo.

Is dat zo? Mijn switch heeft 1 GB port, de werkstations zijn 100Mbit. Die werkstations *delen* dan toch allemaal die 1GB? Hence the snelheidswinst.

let wel op als je authentication hebt dat samba zijn beperkingen kent tov windows2000.

Dat heb ik thuis al ontdekt ja, maar daar valt mee te werken.

[ Voor 3% gewijzigd door Verwijderd op 19-05-2003 19:53 ]

[luc]

mutsje schreef op 19 May 2003 @ 19:48:
RAID5 is snelheidswinst en bij 1 schijfcrash vervang je die en doe je regenarete en wordt de boel weer hersteld.(zorg dus altijd voor 1 spare schijf).
1gb netwerk is leuk maar je switches moeten 1gb zijn je clients 1gb enzo.
hoe meer geheugen hoe minder swappen van pagefiles

let wel op als je authentication hebt dat samba zijn beperkingen kent tov windows2000.

Het is natuurlijk niet per se nodig om je clients op 1Gbit te zetten, alleen je server en je (backbone)switches win je ook al performance mee. Maar zodra je voor gigabit kiest wil je ook een RAID 5 array hebben omdat anders je schijven de bottleneck gaan vormen.

[Sn3akz]

Verwijderd schreef op 19 mei 2003 @ 19:52:
Is dat zo? Mijn switch heeft 1 GB port, de werkstations zijn 100Mbit. Die werkstations *delen* dan toch allemaal die 1GB? Hence the snelheidswinst.

Ligt eraan... Als die 1 GB port op een 100 Mbit poort van de switch hangt heeft geen enkele zin natuurlijk.. Je zal toch echt een 1 GB switch moeten hebben (Of iig 1 poort erop)

[paulhekje]

wildekaart schreef op 19 May 2003 @ 19:22[/message]:[/b]k.
Ik wil een nieuwe rack-server gaan bouwen op slackware;
- wat is je huidige performance probleem en wat heb je al gemeten (performance counters cpu, disk?)
1. Heeft het zin om RAID te nemen als je toch maar 100Mbit gebruikt? (de theoretische doorvoersnelheid van ATA is vele malen hoger)
- welke RAID? voor fouttolerantie heeft het altijd zin. lezen vanaf een RAID1 of RAID5 is sneller. Ook met 100 Mb merk je verschil als je netwerk switched is.
2. Heeft het dan meer zin om te investeren in een 1Gb netwerkkaart?
- Alleen als je backup-bone geschikt is.
3. Heeft CPU-snelheid nog veel van doen met de snelheid van een server die alleen read/write doet?
- CPU doet niet zoveel bij gebruik als file-server, maar als er nog andere CPU intensieve applicaties draaien kan dit vertraging geven bij de fileserver taak
4. Maakt geheugen nog veel uit dan?
- kijk eens in task manager of je de huidige hoeveelheid geheugen wel gebruikt
5. Ik weet dat samba in veel gevallen 'sneller' is dan een w2k oplossing. Merk je
hier uiteindelijk wat van of is dit eigenlijk alleen hardware afhankelijk?

Er hangen +/- 50 users aan en er hoeven alleen files geschreven en gelezen te worden.

[ Voor 3% gewijzigd door paulhekje op 19-05-2003 20:12 ]

[Femme]

Je geeft te weinig informatie om goed antwoord te geven op je vragen.

1) RAID 1 of RAID 5 heeft altijd zin als er data op die server staat die je liever niet kwijtraakt bij een disk cache. Of de extra snelheid nodig is hangt af van de vraag of je huidige schijven een bottleneck vormen. Kun je horen, zien of voelen dat de schijven continu belast worden, voelen ze traag aan, hebben ze constant een hoge I/O belasting en diepe I/O queue volgens de Windows performance monitor?

2) Hangt af van de huidige belasting van je 100Mbit verbinding

3) Hangt af van de huidige processorbelasting

4) Hangt af van het huidige geheugengebruik

[Verwijderd]

Femme schreef op 19 May 2003 @ 23:49:
Je geeft te weinig informatie om goed antwoord te geven op je vragen.

1) RAID 1 of RAID 5 heeft altijd zin als er data op die server staat die je liever niet kwijtraakt bij een disk cache. Of de extra snelheid nodig is hangt af van de vraag of je huidige schijven een bottleneck vormen. Kun je horen, zien of voelen dat de schijven continu belast worden, voelen ze traag aan, hebben ze constant een hoge I/O belasting en diepe I/O queue volgens de Windows performance monitor?

De harde schijven worden idd redelijk gestressed. De load is zo'n 80% gemiddeld, met vaak uitschieters naar de 100%.

2) Hangt af van de huidige belasting van je 100Mbit verbinding

Die is dus vrijwel de hele tijd volledig belast.

3) Hangt af van de huidige processorbelasting

De cpu is maar voor 20% tot 40% in gebruik. Ik hoef dus geen dual proc systeem te gaan nemen.

4) Hangt af van het huidige geheugengebruik

Het geheugengebruik is ook enorm, waardoor hij erg veel swapt, waar de harde schijven ook weer trager door worden.

Ik wist btw niet dat die performance monitor uberhaupt bestondt. Hiermee kun je idd (als je weet wat wat is) erg goed bekijken wat de load op verschillende hardware is. Dank hiervoor.

Mijn backbone (3x HP ProCurve 2324) ondersteunt wel 1GB.

[ Voor 3% gewijzigd door Verwijderd op 20-05-2003 12:14 ]

[paulhekje]

Als je nu eerst eens probeert meer geheugen in je server te stoppen, zodat de pagefile nauwelijks wordt gebruikt.
Zet daarna de diskcounters aan met diskperf -y en reboot
Kijk daarna met performance monitor of je physical/logical disk queue length abnormaal groot is.
Als je netwerkaansluiting volledig wordt belast kan je misschien ook nog netwerkkaarten teamen, mits je switch het ondersteunt.

[we_are_borg]

mutsje schreef op 19 mei 2003 @ 19:48:
RAID5 is snelheidswinst en bij 1 schijfcrash vervang je die en doe je regenarete en wordt de boel weer hersteld.(zorg dus altijd voor 1 spare schijf).
1gb netwerk is leuk maar je switches moeten 1gb zijn je clients 1gb enzo.
hoe meer geheugen hoe minder swappen van pagefiles

let wel op als je authentication hebt dat samba zijn beperkingen kent tov windows2000.

De authentication kan die ook nog gewoon gedaan worden door een w2k server waarbij je de loginscript verwijzingen maakt naar de samba server. Dit mag toch ook of zit hier weer nadelen aan.

[Verwijderd]

wat ik zou doen is:

raid5 config, 1gb netwerk kaart erin en die op de 1gb poort van de switch (workstations op 100mb)


raid controller met flink wat geheugen en liefst 64bit

server hoeft niet zoveel geheugen. processor is ook niet zo belangrijk. zorg er wel voor dat je raid controller en gigabit op een redelijk snelle irq zitten, dit kan soms erg veel schelen

[Verwijderd]

Na een artikel gelezen te hebben gelezen over raid denk ik dat ik inderdaad moet gaan voor een hardwarematige RAID-5 oplossing. Bij ons wordt alles wel op tape gezet, maar dat heeft zo veel nadelen in vergelijking met RAID, en dan nog de performance.
Om daar dan weer volledig gebruik van te maken is het volgens mij een verstandig idee om tevens de server met een 1GB verbinding aan de backbone te hangen.
Dit zijn toch wel de belangrijkste dingen, die samen met het geheugen een hoop uit moeten maken. Iedereen bedankt en ik ga ff opzoek naar de juiste hardware voorlopig.

[artharpe]

Half on-off topic

Volgens mij kun je wel ombouw sets kopen voor die HP LC200, dan kun je hem in een rack plaatsen.

[ Voor 11% gewijzigd door artharpe op 20-05-2003 13:47 ]

[Verwijderd]

artharpe schreef op 20 May 2003 @ 13:46:
Half on-off topic

Volgens mij kun je wel ombouw sets kopen voor die HP LC200, dan kun je hem in een rack plaatsen.

Kan zijn, maar het mobo is al zo groot dat hij in de lengte niet in de kast past.

[Verwijderd]

Verwijderd schreef op 20 May 2003 @ 13:42:
Na een artikel gelezen te hebben gelezen over raid denk ik dat ik inderdaad moet gaan voor een hardwarematige RAID-5 oplossing. Bij ons wordt alles wel op tape gezet, maar dat heeft zo veel nadelen in vergelijking met RAID, en dan nog de performance.
Om daar dan weer volledig gebruik van te maken is het volgens mij een verstandig idee om tevens de server met een 1GB verbinding aan de backbone te hangen.
Dit zijn toch wel de belangrijkste dingen, die samen met het geheugen een hoop uit moeten maken. Iedereen bedankt en ik ga ff opzoek naar de juiste hardware voorlopig.

als je een raid config hebt betekent dat niet dat je geen backup naar tape meer hoeft te maken!!!

[Verwijderd]

Verwijderd schreef op 20 May 2003 @ 14:25:
[...]


als je een raid config hebt betekent dat niet dat je geen backup naar tape meer hoeft te maken!!!

RAID is Redundant? ofwel, als er 1 disk aan gj0rt gaat dan draait het spul toch gewoon door?

[Spider.007]

Verwijderd schreef op 20 mei 2003 @ 18:23:
[...]


RAID is Redundant? ofwel, als er 1 disk aan gj0rt gaat dan draait het spul toch gewoon door?

Niet alle RAID varianten zijn redundant; Verder moet je naast hardware uitval ook rekening houden met gebruikers die per ongeluk dingen verwijderen en dergelijk. Ook een grapjas die alles verwijderd kan je prachtige RAID redundant opstelling nutteloos maken. Altijd een backup maken dus!

[GarBaGe]

Verwijderd schreef op 20 May 2003 @ 18:23:
[...]


RAID is Redundant? ofwel, als er 1 disk aan gj0rt gaat dan draait het spul toch gewoon door?

Yep, maar er gaat niets boven een offline backup, zeker als het belangrijk spul is...
Denk aan:
- Bliksem-inslag... Alles naar de ....
- Diefstal/inbraak
- Brand
- Bug in hardware/firmware van de schijf (je hebt waarschijnlijk alles van het zelfde model en type)
- OS failure
- Corruptie van je FS

etc... etc...

Dit zijn allemaal dingen die een tape backup wel kunnen beschermen en een RAID niet...

[Verwijderd]

GarBaGe schreef op 20 May 2003 @ 18:38:
[...]


Yep, maar er gaat niets boven een offline backup, zeker als het belangrijk spul is...
Denk aan:
- Bliksem-inslag... Alles naar de ....
- Diefstal/inbraak
- Brand
- Bug in hardware/firmware van de schijf (je hebt waarschijnlijk alles van het zelfde model en type)
- OS failure
- Corruptie van je FS

etc... etc...

Dit zijn allemaal dingen die een tape backup wel kunnen beschermen en een RAID niet...

Idd, het is beter dat je de data op een andere plek hebt.

offtopic:
Misschien upload ik het wel elke nacht naar een ftp bij mij thuis, heb ik iig geen tape-vergeet-problemen.

[mutsje]

klopt.. normale implementatie van een server in een bedrijfomgeving wordt ook altijd een backup unit meegefinancierd.

zal je voorbeeld server geven die in deze situatie wel absolute overkill is denk ik
compaq ml530
2x Xeon 1ghz
1gb intern geheugen
2x18.2 gb mirror
4x36.4 gb raid5
AIT backup unit(100 gb ongecomprimeerd)
tapes worden opgeslagen in Lelystad in het uitval centrum.

bovenstaande kost wel kapitalen maar heb je ook wat.

[Maarten @klet.st]

Verwijderd schreef op 20 May 2003 @ 13:42:
Na een artikel gelezen te hebben gelezen over raid denk ik dat ik inderdaad moet gaan voor een hardwarematige RAID-5 oplossing. Bij ons wordt alles wel op tape gezet, maar dat heeft zo veel nadelen in vergelijking met RAID, en dan nog de performance.
Om daar dan weer volledig gebruik van te maken is het volgens mij een verstandig idee om tevens de server met een 1GB verbinding aan de backbone te hangen.
Dit zijn toch wel de belangrijkste dingen, die samen met het geheugen een hoop uit moeten maken. Iedereen bedankt en ik ga ff opzoek naar de juiste hardware voorlopig.

Nog even een opmerking t.a.v. Raid5: Als er veel naar de server geschreven wordt kan Raid5 behoorlijk vertragend werken. Ook Raid5. Als je een 100Mbit/s verbinding hebt zal het niet uitmaken, maar zodra daarboven kan het gaan spelen.

Mijn ervaring is dat recente raid controllers (Adaptec OEM versies, Megaraid meerkanaals controllers, etc) ergens tussen de 15mbyte/s en 25mbyte/s scrhijven als je ze in een recente machine hangt (Dual Xeon of vergelijkbaar). De oorzaak hiervan is dat de controller de checksums (die Raid5 gebuikt) moet berekenen en verdelen over de harde schijven. Software RAID5 kan sneller zijn, maar dat hangt helemaal van de software raid oplossing af (en wat de cpu/cpu's verder nog te doen hebben).

Mocht je dus veel schrijfacties op de server hebben dan kan RAID1 sneller zijn, maar nogmaals, als je maar 100 tot 200mbit/s netwerkverkeer hebt dan zal het niet uitmaken.

[BlaTieBla]

Gebruik een RAID1/0 combinatie. Redundacy en snelheid in 1 ipv RAID 5

[Steven]

En de prijs van RAID 1 + de prijs van RAID 0....

[BlaTieBla]

Steven schreef op 20 mei 2003 @ 22:29:
En de prijs van RAID 1 + de prijs van RAID 0....

Beetje fatsoenlijke dual-channel RAID controller ondersteund 0, 1, 10 en 5 zonder probleem.
Als je performance EN betrouwbaarheid wil, kost dat geld.

[Femme]

De performance penalty van RAID 5 is sterk afhankelijk van de controller. Met een goede controller kan RAID 5 ook goed presteren als er naar verhouding veel schrijfopdrachten plaatsvinden. Ik heb een tijdje geleden een artikel met RAID 5-benchmarks gepost. Zelfs in de webserversimulatie met 50/50 read/writes kunnen de prestaties van de hardware RAID 5-controller (in dit geval een LSI MegaRAID Elite 1600) goed schalen.

[TD-er]

Ik denk dat je al behoorlijk op de extra kosten voor snelle toegang kunt besparen (goedkope processor, goedkopere raid-kaart), door wat meer geheugen erin te plaatsen.
Zodoende wordt de boel veelal vrij goed gecached. Dit heeft natuurlijk vrij weinig zin als er heel erg random gelezen wordt. Dit is natuurlijk wel gevaarlijker wanneer de stroom ineens uitvalt. Houd daar dus rekening mee.
Ik merk bij mijn fileservertje namelijk wel dat 'ie met 256 MB een heel stuk trager is dan met 512 MB, wanneer ik vrij grote files (10 - 100 MB) tegelijk lees en schrijf. (uitpakken van RAR-files)

Ik heb gemerkt dat Samba niet naar alle windows versies even snel is, dus neem dat ook in overweging, wanneer je het OS kiest voor je fileserver. Samba naar XP bijvoorbeeld is een stuk trager (op een druk netwerk) dan samba naar 'NT of '98.
XP naar XP is vaak nog weer een stuk sneller (laatst hier 85~90 MBit tussen 2 XP machines, met Realtek kaartjes, over een 12 GB grote file), maar zakt ineens in qua snelheid als er ander verkeer is over het netwerk.

[Bierkameel]

Kijk allereerst ff of de controller die jij wil ondersteund wordt door slackware.

Ik had laatst een Adaptec 2120S U320 hardware raid kaart met 128MB cache en die was echt superbrak onder linux, er waren wel drivers maar die ondersteunden geen SMP terwijl de kaart in een Dual Xeon moest.

Er zit nu een Mylex AcceleRAID 170 in en die draait super, het is maar U160 maar wel lekker snel
Er hangt 4 x 74GB 10.000 rpm U320 in RAID 5 aan

[Verwijderd]

Bierkameel schreef op 21 May 2003 @ 17:58:
Kijk allereerst ff of de controller die jij wil ondersteund wordt door slackware.

Ik had laatst een Adaptec 2120S U320 hardware raid kaart met 128MB cache en die was echt superbrak onder linux.

Thnx voor de tip. Gelukkig heeft slackware een goede list met supported hardware.

[Maarten @klet.st]

Femme schreef op 20 May 2003 @ 22:50:
De performance penalty van RAID 5 is sterk afhankelijk van de controller. Met een goede controller kan RAID 5 ook goed presteren als er naar verhouding veel schrijfopdrachten plaatsvinden. Ik heb een tijdje geleden een artikel met RAID 5-benchmarks gepost. Zelfs in de webserversimulatie met 50/50 read/writes kunnen de prestaties van de hardware RAID 5-controller (in dit geval een LSI MegaRAID Elite 1600) goed schalen.

[afbeelding]

[afbeelding]

FF afgezien van IOPS zie ik dat jouw benchmarks stukken beter uitkomen dan mijn real life ervaring. Ik heb hier een Dell Perc3QC (4 kanaals Megaraid 16xx uit mijn hoofd). Als ik die optuig met een raidsets van meer dan 12 143GB schijven (hitachi) dan mag ik in mijn handen klappen als ik 16Mbyte/s haal in een RAID5 config.
Dell adviseert om raidconfigs van 4+1 of 8+1 te gebruiken, maar met de 28 schijven die nu aan die controller hangen heb ik dan dus minimaal 3 RAID5 sets die ik vervolgens in software weer aan elkaar moet plakken

Opvallend trouwens dat de Perc3di (adaptec onboard controller) met 3 disken in deze situatie ca 25mbyte/s haalt. Al met al lijkt het aan te tonen dat de processoren die in hedendaagse RAID5 controllers zitten niet snel genoeg zijn om de checksums te berekenen in grote raidconfigs. Als ik er aan toe kom zal ik eerdaags eens 12 schijfjes in RAID0 plakken, dan zou wel eens een stuk harder kunnen gaan.

Al met al best vervelend zo'n lage schrijfsnelheid, als je bedenkt dat ik er nog bijna 2TB heen moet schrijven en er wekelijks tientallen GB's heen geschreven moeten worden..

[ Voor 1% gewijzigd door Maarten @klet.st op 21-05-2003 21:54 . Reden: 3x9 = 27 ]

[Frankie02]

Is het mogenlijk om 2 a 3 netwerkkaarten (100 mb, gewoon) te gebruiken in je Fileserver ipv 1 netwerkkaart.

Alle verkeer moet namelijk nu maar door 1 utp kabeltje, misschien zit daar wel winst in.

Als het mogenlijk is dus

[Audi_S2]

Windows server 2003 is op het moment toch het snelste als fileserver?!

[Femme]

FF afgezien van IOPS zie ik dat jouw benchmarks stukken beter uitkomen dan mijn real life ervaring. Ik heb hier een Dell Perc3QC (4 kanaals Megaraid 16xx uit mijn hoofd). Als ik die optuig met een raidsets van meer dan 12 143GB schijven (hitachi) dan mag ik in mijn handen klappen als ik 16Mbyte/s haal in een RAID5 config.
Dell adviseert om raidconfigs van 4+1 of 8+1 te gebruiken, maar met de 28 schijven die nu aan die controller hangen heb ik dan dus minimaal 3 RAID5 sets die ik vervolgens in software weer aan elkaar moet plakken

De Perc3QC / MegaRAID Enterprise 1600 heeft dezelfde I/O processor en SCSI-controller als de Elite 1600 (alleen geloof ik dan dubbel uitgevoerd) dus je zou vergelijkbare prestaties verwachten. Ik haal 130MB/s write transfer rates in de cache van de controller en zo'n 60MB/s sustained media write transfer rate. Het is niet heel erg geweldig maar wel voldoende. Belangrijker is dat de I/O doorvoer goed schaalt. Op random I/O haal je toch geen hoge transfer rates.

Zijn de settings van de RAID controller wel optimaal? Misschien wil de laatste BIOS-versie van LSI ook wat helpen.

Ik had laatst een Adaptec 2120S U320 hardware raid kaart met 128MB cache en die was echt superbrak onder linux, er waren wel drivers maar die ondersteunden geen SMP terwijl de kaart in een Dual Xeon moest.

Adaptec RAID controllers hebben sowieso geen goede reputatie wat betreft RAID 5 performance.

[_JGC_]

Windows 2003 server is op sommige gebieden idd het snelst. Let wel dat die test die laatst is verschenen door een pro-microsoft bedrijf is gedaan, en windows 2K3 het mocht opnemen tegen een slecht getunede redhat server. IMHO niet helemaal representatief. Windows 2K3 zal wel sneller zijn dan samba 2.2.x, maar die 100% in veel gevallen kan je met een vaatje zout nemen IMHO.

Wat betreft meerdere netwerkkaarten: op dit moment heb ik bij een bedrijf ook een Samba fileserver staan, deze heeft een NT4 server vervangen. NT4 heeft een nieuwe server gekregen, waarop alleen nog win32-only nodige oplossingen zoals Exchange en SQL2000 draaien. Die oude NT4 server is geinstalleerd met Debian en Samba: iets van >=100% snelheidswinst omdat die NT4 server gewoon overloaded was met taken die lang niet in die 128MB pasten. Voor elke file operatie was er wel diskactiviteit of swap.

Aangezien die Debian machine (HP Netserver E800) de centrale fileserver in dat netwerk is, en er in dat bedrijf op dit moment 3 hubs/switches zijn (2x16 poorts cheapo switch, 1x 24 poorts HP Procurve switching hub), heb ik gewoon die fileserver wat uitgebreid met wat 3COM 3C905TX kaartjes die ik nog had liggen. Zo heeft elke switch z'n eigen 100Mb link naar de server. Onderling communiceren de switches dus ook via die fileserver, ding is direct ook router dus.