Harddisk opstelling voor in een fileserver

[Snow_King]

Beste Tweakers,

De huidige fileserver van het bedrijf waar ik bij werk presteert ondermaats en daarom zijn we bezig een vervanger zoeken.
Ik heb de taak op me gekregen dit te doen, maar kom er alleen niet helemaal uit.

Het huidige probleem is:
We hebben een fileserver met daarin:
- Dual Opteron 242
- 2GB Ram
- Tyan Thunder K8S Pro
- Areca ARC-1120 RAID Controller
- 4x Maxtor DiamondPlus 9
- 4x Maxtor DiamondPlus 10
- Debian Linux

Die 8 disks zitten samen in een RAID-5 array.

Deze server bevat vooral kleine files, het is namelijk een fileserver in een webcluster.
In totaal staat er nu zo'n 300GB aan websites op deze server.

Het probleem is nu dat zodra het druk wordt deze fileserver moeite krijgt, hierbij even een plaatje:


De status van het NFS proces gaat naar 'D' en dat duid op I/O problemen en dat lijkt me te komen door "trage" harddisks die het lezen niet aankunnen.

Als ik via de Command Line Tool de harddisk info opvraag op die fileserver krijg ik:

code:

Ch   ModelName        Serial#          FirmRev     Capacity  State
================================================================================ 
1   Maxtor 6B200M0   B40LFL7H         BANC1B10     203.9GB  Unknown
2   Maxtor 6Y200M0   Y63F4Y2E         YAR51HW0     203.9GB  RaidSet Member(1)
3   Maxtor 6B200M0   B40GWQPH         BANC1B10     203.9GB  Unknown
4   Maxtor 6Y200M0   Y63ETNKE         YAR51HW0     203.9GB  RaidSet Member(1)
5   Maxtor 6B200M0   B40GXR2H         BANC1B10     203.9GB  Unknown
6   Maxtor 6Y200M0   Y63GAPWE         YAR51HW0     203.9GB  RaidSet Member(1)
7   Maxtor 6B200M0   B40QJXGH         BANC1B10     203.9GB  Unknown
8   Maxtor 6Y200M0   Y63GNKVE         YAR51HW0     203.9GB  HotSpare
================================================================================
GuiErrMsg<0x00>: Success.

Ook dat "Unknown" lijkt me niet echt goed.

Ik heb nog een andere server met een Areca controller en 4 Raptors en die draait echt als een zonnetje.

Maar terug ter zake, ik denk dus dat de status "D" van de nfsd komt door wat tragere disks, daarom willen we een nieuwe fileserver.

Hiervoor wil ik dus snelle S-ATA disks, ik heb de volgende disks bij elkaar gesprokkelt:
- Western Digital Raptor 74GB
- Maxtor MaxLine III 250GB
- Western Digital Caviar RAID Edition 200GB

De raptor is beduidend de snelste, maar ook beduidend de duurste aangezien we minimaal 800GB effectieve opslag willen.

Voor de raidcontroller zijn we van plan weer een Areca te nemen aangezien deze uit alle benches als zo ongeveer de snelste er uit komen.

Als filesystem gaan we ReiserFS gebruiken aangezien dit met kleine files ronduit de snelste is.

Welke harddisks zouden jullie mij aanraden en waarom?

[ Voor 9% gewijzigd door Snow_King op 14-03-2005 19:53 ]

[MarZ_E]

k ben geen deskundige maar het valt op dat één type schijf waarschijnlijk de problemen veroorzaakt:

alle s# B40***** met firmware BANC1B10 lijken mij raar doen....

volgens mij geen toeval wat betreft je problemen....

Specs zijn voor een fileserver OK dus... misschien komt het door het gebruik van de diamondMax 9 en 10 door elkaar. de 10 ondersteund namelijk NCQ en de 9 niet... de RAID controller ondersteunt, volgens mij, ook NCQ. msschien moet je daar even naar kijken

[ Voor 29% gewijzigd door MarZ_E op 14-03-2005 18:59 ]

[Snow_King]

MarZ_E schreef op maandag 14 maart 2005 @ 18:55:
k ben geen deskundige maar het valt op dat één type schijf waarschijnlijk de problemen veroorzaakt:

alle s# B40***** met firmware BANC1B10 lijken mij raar doen....

volgens mij geen toeval wat betreft je problemen....

Specs zijn voor een fileserver OK dus....

Inderdaad, dat zijn de Maxtor DiamondPlus 10 disks, die hebben dat type nummer.
(Dat zei Google in ieder geval)
[google=6B200M0]

[DJSmiley]

MarZ_E schreef op maandag 14 maart 2005 @ 18:55:
k ben geen deskundige maar het valt op dat één type schijf waarschijnlijk de problemen veroorzaakt:

alle s# B40***** met firmware BANC1B10 lijken mij raar doen....

volgens mij geen toeval wat betreft je problemen....

Specs zijn voor een fileserver OK dus... misschien komt het door het gebruik van de diamondMax 9 en 10 door elkaar. de 10 ondersteund namelijk NCQ en de 9 niet... de RAID controller ondersteunt, volgens mij, ook NCQ. msschien moet je daar even naar kijken

Was dat niet een firmware die problemen gaf icm een raidcontroller? er was volgens mij een firmwareupdate voor

edit: Hier nieuwe firmware voor de Maxtor DiamondMax 10 300GB

[ Voor 5% gewijzigd door DJSmiley op 14-03-2005 19:02 ]

[Tweak-Freak]

misschien dat een firmware upgrade van zowel je diamondPlus 10 schijven als van je RAID controller de meeste problemen oplost.


Weer net te laat met reageren

[ Voor 18% gewijzigd door Tweak-Freak op 14-03-2005 19:02 ]

[AtleX]

Is het misschien niet interresant om met 300GB aan kleine, maar frequent geopende, bestanden SCSI te pakken? Of een SCSI look-a-like zoals de WD Raptor?

[DataGhost]

volgens de manpage van ps staat D niet voor defunct, wat ik eerst dacht... omdat ik wel eens defunct processen had met die status
heb je de nfs daemon al eens opnieuw gestart?
heb je zulke problemen ook met hdparm ofzo (niet in t netwerk dus)?
etc etc

[Snow_King]

DataGhost schreef op maandag 14 maart 2005 @ 19:08:
volgens de manpage van ps staat D niet voor defunct, wat ik eerst dacht... omdat ik wel eens defunct processen had met die status
heb je de nfs daemon al eens opnieuw gestart?
heb je zulke problemen ook met hdparm ofzo (niet in t netwerk dus)?
etc etc

NFS heb ik al tig keer geherstart, D staat voor een uninteruptible sleep, dat kan komen door I/O problemen.

Ik heb de RAID Controller al ge-upgrade naar de nieuwste firmware en tevens heb ik ook nieuwe drivers probeerd.

Laatst ging ik een "chown" uitvoeren om veel files (enkele honderduizenden) te chownen en toen ging deze "chown" ook naar status "D" in de top.

Het probleem zou dus over kunnen zijn door alle maxtor diamond plus 9's er uit te gooien en hiervoor met de nieuwste firmware ge-update diamond plus 10 disks er in te stoppen?

[ Voor 14% gewijzigd door Snow_King op 14-03-2005 19:54 ]

[HielkeJ]

Volgens mij is het zo dat je nooit verschillende type disks moet gebruiken in een RAID array, ik denk dat hierdoor je probleem ook ontstaat.

(of blaat ik nu kant en klare onzin?)

_{Ook zou ik nooit voor Maxtor DiamondPlus schijven kiezen in een server, maar dat is waarschijnlijk een persoonlijke tik}

[DJSmiley]

HielkeJ schreef op dinsdag 15 maart 2005 @ 12:23:
Volgens mij is het zo dat je nooit verschillende type disks moet gebruiken in een RAID array, ik denk dat hierdoor je probleem ook ontstaat.

(of blaat ik nu kant en klare onzin?)

_{Ook zou ik nooit voor Maxtor DiamondPlus schijven kiezen in een server, maar dat is waarschijnlijk een persoonlijke tik}

Kan wel, is alleen niet altijd aan te raden doordat je (afhankelijk van je gebruikte raid configuratie) de prestaties "downgrade" naar de brakste schijf.

En tja, of het een ideale serverschijf is... die afweging zal TS wel gemaakt hebben: kosten vs brakheid, dus dat laten we ff in het midden.

[BalusC]

HielkeJ schreef op dinsdag 15 maart 2005 @ 12:23:
Volgens mij is het zo dat je nooit verschillende type disks moet gebruiken in een RAID array, ik denk dat hierdoor je probleem ook ontstaat.

(of blaat ik nu kant en klare onzin?)

Check de RAID FAQ en je weet meer

_{Ook zou ik nooit voor Maxtor DiamondPlus schijven kiezen in een server, maar dat is waarschijnlijk een persoonlijke tik}

Mee eens. IDE disken die je in principe 8 uur /dag mag gebruiken horen helemaal niet in een fileserver Als je zo'n server en controller kunt veroorloven, dan kun je heus wel wat extra's neerleggen voor bijvoorbeeld de Maxline III.

Neem dit eens door: Hoe zit het met de betrouwbaarheid van de harddisk?

[ Voor 9% gewijzigd door BalusC op 15-03-2005 12:35 ]

[Snow_King]

De DiamondPlus disks zijn inderdaad niet echt de lekkerste schijven en vandaar ook dit topic.

Ik heb de benches bekeken van de WD Caviar RE, dat lijken me wel goede schijven als ik er daar 8 (160GB) van aanschaf.

Maxline III disks kunnen wel, maar die beginnen bij 250GB en dat is wel overkill, de huidige 200GB is al veel.

Gevoelsmatig staan de WD's me meer aan, maar als iemand me wil overtuigen om de MaxLine disks te nemen, ik sta open voor alle opties.

[SysRq]

Snow_King schreef op dinsdag 15 maart 2005 @ 13:09:
Gevoelsmatig staan de WD's me meer aan, maar als iemand me wil overtuigen om de MaxLine disks te nemen, ik sta open voor alle opties.

Kan ik je ook overtuigen om helemaal geen S-Ata schijven te nemen? Zeker voor veel snelle en kleine hd-bewerkingen zou ik zeker voor SCSI-schijven gaan. (Wel 15.000 rpm ) Uiteraard zijn de kosten hiervan ook een stuk hoger.

Deze review lijkt me ook wel relevant voor je.

Even een schaamteloze c/p van Femme in een ander topic:

_{Maxtor heeft 7200rpm schijven die beter geschikt zouden moeten zijn voor servergebruik dan een gemiddelde desktopschijf. Deze MaXLine-schijven worden geproduceerd op dezelfde fabricagelijnen als de DiamondMax-series en worden geselecteerd op fysieke eigenschappen zoals de vlieghoogte en de stijfheid van de platters. Een schijf met 'zwabberende' platters zal eerder crashen. Het is goed mogelijk dat de MaXLine's in de praktijk betrouwbaarder zijn dan DiamondMax'en. Volgens de reliablity survey van Storage Review is de MaXLine II Plus niet betrouwbaarder dan de DiamondMax Plus 9 (maar Raptors scoren wel beter dan de meeste desktopschijven)... Of Western Digital dezelfde methode toepast voor de productie van de Caviar RAID Editon weet ik niet. Een schijf met een mechaniek dat is berekend op zwaardere belasting lijkt mij altijd een beter uitgangspunt.}

Let verder ook op de warmteproductie van de schijven. De S-ATA schijven kunnen heel wat minder goed tegen hitte. Zorg dus voor goede koeling in de server(ruimte).

[ Voor 7% gewijzigd door SysRq op 15-03-2005 13:23 ]

[BalusC]

Snow_King schreef op dinsdag 15 maart 2005 @ 13:09:
Maxline III disks kunnen wel, maar die beginnen bij 250GB en dat is wel overkill, de huidige 200GB is al veel.

Of je haalt 1 of 2 schijven minder? Zo verklein je ook nog de gezamelijke kans op dataverlies. Want: hoe meer schijven, hoe meer de gezamelijke kans dat er 2 uitvalt

SysRq schreef op dinsdag 15 maart 2005 @ 13:20:
Let verder ook op de warmteproductie van de schijven. De S-ATA schijven kunnen heel wat minder goed tegen hitte.

Minder goed dan .. ? Gewone PATA schijven?

Geen enkel harddisk kan goed tegen de warmte (als in: temperaturen boven 50 à 55°C). Maar hoogtoerige SATA disken worden inderdaad warmer dan laagtoerige PATA disken (meer toeren = meer luchtwrijving = meer warmte; en nee de schijven zijn niet vacuum verpakt ). Dan is koeling inderdaad wenselijk.

[ Voor 44% gewijzigd door BalusC op 15-03-2005 13:28 ]

[Snow_King]

SysRq schreef op dinsdag 15 maart 2005 @ 13:20:
[...]

Kan ik je ook overtuigen om helemaal geen S-Ata schijven te nemen? Zeker voor veel snelle en kleine hd-bewerkingen zou ik zeker voor SCSI-schijven gaan. (Wel 15.000 rpm ) Uiteraard zijn de kosten hiervan ook een stuk hoger.

Deze review lijkt me ook wel relevant voor je.

Even een schaamteloze c/p van Femme in een ander topic:

[...]


Let verder ook op de warmteproductie van de schijven. De S-ATA schijven kunnen heel wat minder goed tegen hitte. Zorg dus voor goede koeling in de server(ruimte).

SCSI valt helaas niet binnen het budget, ik moet het doen met een paar S-ATA disks.

De server draait in RedBus Interhouse, de huidige Maxtors zijn allen rond de 29 graden volgens SMART.

Mij is verteld je beter meer kleine disks in een raid-array kan doen, zo heb je een hogere performance winst dan minder, maar grotere disks.

[SysRq]

BalusC schreef op dinsdag 15 maart 2005 @ 13:25:
Minder goed dan .. ? Gewone PATA schijven?

Inderdaad, maar ook minder goed dan SCSI-schijven. Die S-ATA schijven zijn tenslotte nog steeds maar veredelde desktopschijven, die hooguit geschikt gemaakt zijn voor servergebruik. De betrouwbaarheid is imho een stuk minder dan SCSI schijven.

Snow_King schreef op dinsdag 15 maart 2005 @ 13:38:
SCSI valt helaas niet binnen het budget, ik moet het doen met een paar S-ATA disks.

Ok, dan valt dat helaas af.

Mij is verteld je beter meer kleine disks in een raid-array kan doen, zo heb je een hogere performance winst dan minder, maar grotere disks.

Dat kun je in de RAID FAQ - overzicht levels opzoeken. Let dan daarbij op rl - random leessnelheid en rs - random schrijfsnelheid

[u_nix_we_all]

Ik zou eens beginnen met je raid array te controleren op problemen
( cat /proc/mdstat )
Dan eens een benchmarkje draaien (bonnie/bonnie++)
Kijk eens kritisch naar je NFS instellingen, daar valt ook nog veel te tunen.
Netwerk traffic, bandbreedte .......

Dan weet je wat je hebt voordat je van alles gaat vervangen....

Ik denk namelijk dat je best wel eens een network bottleneck kunt hebben.

En aangezien je 8x200GB hebt voor 300GB aan data,
waarom niet een gemirrorde stripe (raid 0+1).

Dus je 4 Maxtors 10 samen in een stripe, en je 4 maxtor 9 in een stripe.

Of gemirrorde raid 5 arrays ......

Maar als het netwerk de bottleneck is, tja....
(Dat verklaart ook de "D" status van je nfsd processen)

[Snow_King]

Ok, ik heb een overzichtje gemaakt:

Ik heb:
Areca ARC-1120
- SATA-II
- NCQ
- Komt als "beste" uit de RAID test

Ik heb nodig:
- Minimaal 800GB opslag
- Maximaal 8 S-ATA disks.

Nu kom ik dan uit op de volgende disks (de raptor valt helaas af aangezien ik met 8 raptors niet op 800GB kom)

WD Caviar RE
- 160GB
- 8MB cache
- Hot plug support
- Geen NCQ
- Geen S-ATA II

Maxtor Maxline III
- 250GB
- 16MB cache
- Hot plug support
- SATA II features
- NCQ

Benchmarks waar deze twee disks tegen over elkaar staan (idee voor Femme?) kan ik niet vinden, daarom is het ook moeilijk om een keuze te maken vind ik.

EDIT:
Wat zou ik moeten vinden in /proc/mdstat als ik hardware raid 5 draai?
Die 8 disks zitten samen in één RAID5 array.

Zoals ik ook al zei, als ik een chown bewerking uithaal gaat deze ook naar status "D" toe.

Netwerk is al gecontroleerd, netwerkkaarten vervangen e.d., dat hielp ook niet.

[ Voor 20% gewijzigd door Snow_King op 15-03-2005 14:09 ]

[BalusC]

Snow_King schreef op dinsdag 15 maart 2005 @ 14:07:
Benchmarks waar deze twee disks tegen over elkaar staan (idee voor Femme?) kan ik niet vinden, daarom is het ook moeilijk om een keuze te maken vind ik.

Welke harddisk moet ik nemen? » www.storagereview.com » performance database

De door jou genoemde schijven staan er dan niet in, maar wel met andere groottes. Ik heb voor jou even de Maxline III 300GB met NCQ en zonder NCQ en de WD Caviar 250GB (let wel: de 160GB performeert wat minder) naast elkaar gezet:
Storagereview Head To Head comparison Maxtor Maxline III 300GB en WD Caviar 250GB

[Snow_King]

Daar zie ik toch wel een pluspunt voor de MaxLine III met NCQ.

Ik kom net nog op het idee om het volgende te doen, wat mij voor op dit moment het beste lijkt.

8 Raptors in RAID-5 + Hotspare leveren +/- 430GB effectieve opslag, dat is voor de veel opgevraagde data genoeg.

Nu kunnen we zeggen dat we nog een 3Ware 8006K (2-poorts S-ATA controller) nemen met daaraan 2x Maxline III disks en daarop het OS + de data die minder snel beschikbaar hoeft te zijn.

Op de array met alleen de raptors (die aan de areca komen) plaatsen we alle data die vaker opgevraagd wordt.

Zo krijg ik denk ik toch het beste van beide werelden.

offtopic:
Toch best een "geklooi" om je juiste keuze te maken

[u_nix_we_all]

Snow_King schreef op dinsdag 15 maart 2005 @ 14:07:

EDIT:
Wat zou ik moeten vinden in /proc/mdstat als ik hardware raid 5 draai?
Die 8 disks zitten samen in één RAID5 array.

Oeps, my bad, hardware raid....

Zoals ik ook al zei, als ik een chown bewerking uithaal gaat deze ook naar status "D" toe.

Netwerk is al gecontroleerd, netwerkkaarten vervangen e.d., dat hielp ook niet.

Zie je , daar ga je al , "ik heb [component x] vervangen en het hielp niet"

Heb je al definitief vastgesteld (= gemeten) dat de disk array de bottleneck is ?
Wat haal je lokaal aan doorvoer ?
Wat haal je remote aan doorvoer ?

Wat moet je gaan halen aan doorvoer ?

Ik bedoel, stel je geeft nu x uit aan schijven en dan blijkt dat dat ook al niet helpt ?

[Snow_King]

Ik haal wel hoge doorvoeren dat is het probleem niet, maar zodra we met kleine files gaan beginnen en er dan veel opvragen gaat het systeem over de zeik.

[u_nix_we_all]

Dan lijkt me een flinke write-trough cache (i.c.m. een battery backup)
en/of een grotere read cache op de raid controller meer effect te hebben.

Ook blocksize van je FS en stripe size op je raid set heeft nogal impact.

Nieuwe (ide) disks gaat waarschijnlijk niets uithalen, je blijft tegen latency
aan kijken.
Alleen hogere spindle speed (lees dure 15k rpm scsi schijven) gaan je dan nog
performance winst opleveren ben ik bang.

[twiekert]

Is die bak wel helemaal getuned voor het serveren van kleine files via NFS?

probeer dit eerst eens voordat je nieuwe hardware koopt en het resultaat tegenvalt..

http://people.redhat.com/alikins/system_tuning.html

check de filesystem tuning, disk i/o elevator (belangrijk voor als er kleine bestanden geserveerd) en de nfs

en NFS:
http://nfs.sourceforge.net/nfs-howto/performance.html


//edit

mount die logical disks ook eens met de noatime flag, dit zorgt ervoor dat er niet elke keer de access time van een file wordt bijgewerkt. Nogal nutteloos bij een webserver (die veel bestanden elke keer weer inleest), en kan voor onnodig veel performance verlies zorgen.

die noatime optie staat ook ergens op de pagina in de bovenste link

[ Voor 32% gewijzigd door twiekert op 15-03-2005 20:12 ]

[Snow_King]

Die noatime had ik al toegepast op de fileserver, nu ook gedaan op de NFS clients.

het had wel wat effect, maar het was niet zeer veel.

[twiekert]

en wat zijn je huidige elvtune instellingen?

elvtune /dev/sda
elvtune /dev/sdb

etc..

elvtune werkt op block devices, niet op losse partities (een raidset van 3 harddisks is 1 blockdevice voor het OS).

[Snow_King]

Ok, mijn oplossing.

We zijn toch voor de 8 raptors gegaan en nog een losse controller met 2 disks in mirror voor het OS.

De 8 raptors in RAID-5 hebben /home als taak en het probleem is weg, het systeem is bloedsnel!

Tnx allemaal!

[twiekert]

ja wat wil je, die raptors blazen die ouwe maxtor schijven 10x eruit