Raid 3 voor fileserver?

[Verwijderd]

Hallo allemaal,

Ik wil een RAID gaan opzetten voor 3 schijven. Nu kwam ik al snel Raid 5 tegen om dit te doen, echter zijn deze controllers nogal duur. Ik zal het niet gaan uitbreiden met een 4e schijf. Het gaat puur om data storen en dat veilig. Aangezien dit ook over het netwerk gaat (100mbit) is snelheid niet super belangrijk.

Zou ik ook RAID3 kunnen gebruiken i.p.v. RAID5? Of lever ik hier teveel performance voor in of zijn er andere redenen? Een RAID3 kaart is er al voor 39 eur... terwijl RAID5 bij ongeveer 139 begint.

mvg.

[anglico]

tuurlijk gaat dit, raid 3 komt in grote lijnen overeen met raid 5 alleen iets trager
dat kaartje dat je bedoeld is de revo zekers? heb die ook zo drie kaartjes geinstalleerd in fileservers en zijn zo stabiel als iets en geen drivers nodig, echter snelheid is wat minder bij schrijven, maar performance valt mee, zeker gezien de prijs

[ Voor 26% gewijzigd door anglico op 23-12-2006 00:02 ]

[Verwijderd]

is deze performance merkbaar als het over Ethernet gaat? of blijft de schrijfsnelheid ver boven de 100mbit?

[Borromini]

Verwijderd schreef op zaterdag 23 december 2006 @ 08:00:
is deze performance merkbaar als het over Ethernet gaat? of blijft de schrijfsnelheid ver boven de 100mbit?

Theoretische snelheid van één moderne IDE-interface: 100 MBps Van één S-ATA interface: 150-300 MBps

Theoretische snelheid van 100 Mbit Ethernet: 12,5 MBps. You do the math .

[Nielson]

Borromini schreef op zaterdag 23 december 2006 @ 08:28:
[...]


Theoretische snelheid van één moderne IDE-interface: 100 MBps Van één S-ATA interface: 150-300 MBps

Theoretische snelheid van 100 Mbit Ethernet: 12,5 MBps. You do the math .

Ten eerste, de theoretische snelheid van een interface zegt natuurlijk helemaal niks over de werkelijke snelheid van het apparaat wat eraan hangt. Ten tweede, hij heeft het over de schríjfsnelheid van een Raid3/5 array, niet over die van een enkele harde schijf.

[Borromini]

Even een benchje van mijn 100 GB 5400 rpm laptopschijf:

code:

root[xXx]# hdparm -Tt /dev/hda

/dev/hda:
 Timing cached reads:   692 MB in  2.00 seconds = 346.06 MB/sec
 Timing buffered disk reads:   76 MB in  3.05 seconds =  24.90 MB/sec
root[xXx]# hdparm -Tt /dev/hda

/dev/hda:
 Timing cached reads:   514 MB in  2.00 seconds = 256.46 MB/sec
 Timing buffered disk reads:   94 MB in  3.06 seconds =  30.71 MB/sec
root[xXx]# hdparm -Tt /dev/hda

/dev/hda:
 Timing cached reads:   702 MB in  2.00 seconds = 351.06 MB/sec
 Timing buffered disk reads:   82 MB in  3.02 seconds =  27.13 MB/sec
root[xXx]# hdparm -Tt /dev/hda

/dev/hda:
 Timing cached reads:   644 MB in  2.00 seconds = 321.93 MB/sec
 Timing buffered disk reads:   90 MB in  3.01 seconds =  29.91 MB/sec

Zegt genoeg veronderstel ik. Ik kan m'n RAID 5 niet benchen voor het moment, anders had ik het wel gedaan. Maar zelfs m'n RAID 5 haalt leessnelheden die ruim boven het theoretische maximum van een 100 Mbps-verbinding liggen.

[ Voor 36% gewijzigd door Borromini op 23-12-2006 13:43 ]

[_JGC_]

Ik vraag me af wat voor schijven je gaat gebruiken. Het is nml wel zo dat een goedkope brakke controler in RAID-3 of RAID-5 enorm je prestaties kan hinderen, ik zie dat met een Adaptec 64MB SCSI controler in een supermicro server ook gebeuren: zodra je gaat schrijven naar die server gaat het traag, want die controler moet pariteit berekenen voor een RAID-5 array met 4 schijven, en het gaat in dit geval om een "goedkoop klotecontrollertje", zo'n standaard zerochannel geval die je bij supermicro kunt aanschaffen. En met traag bedoel ik dan niet een lage doorvoer, maar een hangend smbd process die staat te wachten tot zijn disk I/O klaar is voor ie weer verder kan.

Als je gaat besparen op de RAID-controler, ga dan niet met RAID-3 of RAID-5 klooien, maar neem gewoon grotere schijven en neem RAID-1. Je gooit wel meer ruimte weg, maar je betrouwbaarheid is nog net zo hoog als met RAID-3 of RAID-5. Verder heeft de controler, of in het geval van een 39 euro controlertje je CPU, het stukken makkelijker met het berekenen van pariteit, wat alleen je performance maar ten goede kan komen.

[DaCoTa]

Die 39 euro, is zeker een XFX Revo64? Dat is een end-of-life product, nu voor dumpprijzen. Dat is geen super budget kaartje, het enige probleem is dat er geen ondersteuning meer voor is omdat NetCell, de fabrikant van de RAID chip opgedoekt is.

[Wolfboy]

Een andere optie is natuurlijk nog software RAID 5, dat werkt ook prima en is in feite gratis. Ik kan je overigens verzekeren dat met moderne schijven de schrijfsnelheid van wat voor raid array dan ook nog wel boven de snelheden van een 100mbps netwerk liggen.

[Hmzaniac]

Indien je BSD/Linux/osX (met Windows moet het ook vast wel kunnen, ik zou niet weten hoe goed dat werkt) gaat draaien op je fileservertje zou je kunnen kijken naar software raid.

Hierbij ben je niet gelimiteerd door de functionaliteit van je raidcontroller, maar kan je een goede sata controller kopen welke gewoon zijn werk goed doet, en je raid overlaten aan je OS.

De performance van software raid op alles behalve de meest gestoord drukke storage servers doet tegenwoordig niet onder voor het gros van de echte hardware raid controllers, dus daar hoef je het ook niet voor te laten.

edit:
iets over 11 spuiten

[ Voor 3% gewijzigd door Hmzaniac op 23-12-2006 14:35 ]

[_JGC_]

Software RAID-5 is niet aan te raden ivm traagheid bij het schrijven. Een goede RAID-controler heeft een cache en een BBU waardoor alle schrijfacties vertraagd naar disks geschreven worden, met software RAID heb je dit niet en staat je systeem steeds te wachten op pariteitsberekeningen. Je CPU mag dan wel snel genoeg zijn om de extra belasting van software RAID te compenseren, maar de vertragingen die je krijgt bij software RAID-5 lost het niet echt efficient op.
Ik heb zelf destijds uit nood een quad opteron voorzien van software RAID-5 over 4 disks, omdat de leverancier zo slim was om de HostRAID adapter te verkopen als hardware RAID (en ik had de server niet besteld, dus ik kwam er pas achter toen ik dat ding moest installeren). Op zo'n moment denk je dat een quad opteron tijd zat heeft voor software RAID 5, echter ga je zien dat je systeem nog niet eens 50% van de CPU belasting gaat vreten, terwijl het toch traag blijft en je MySQL processen de hele tijd zitten te wachten op disk I/O, en dat met 4GB geheugen. Een week later is daar dus de "vergeten" hardware RAID controler ingekomen, wat helaas dus bovenstaande adaptec 64MB geval was. Toen ik doorkreeg dat dat ding in die server kwam, hebben we het ding maar als RAID-10 geconfigureerd, diskruimte zat en met 64MB cache op je controler werkt het op zich nog best aardig als je je te trage controler niet teveel laat rekenen.

Voor RAID-0, 1 en 10 is software RAID over het algemeen sneller dan hardware RAID op het moment dat je controler niet super is, voor RAID-5 raad ik zowel het gebruik van een trage controler als software RAID gewoon af.

[Nielson]

_JGC_ schreef op zondag 24 december 2006 @ 12:18:
Software RAID-5 is niet aan te raden ivm traagheid bij het schrijven. Een goede RAID-controler heeft een cache en een BBU waardoor alle schrijfacties vertraagd naar disks geschreven worden, met software RAID heb je dit niet en staat je systeem steeds te wachten op pariteitsberekeningen. Je CPU mag dan wel snel genoeg zijn om de extra belasting van software RAID te compenseren, maar de vertragingen die je krijgt bij software RAID-5 lost het niet echt efficient op.
Ik heb zelf destijds uit nood een quad opteron voorzien van software RAID-5 over 4 disks, omdat de leverancier zo slim was om de HostRAID adapter te verkopen als hardware RAID (en ik had de server niet besteld, dus ik kwam er pas achter toen ik dat ding moest installeren). Op zo'n moment denk je dat een quad opteron tijd zat heeft voor software RAID 5, echter ga je zien dat je systeem nog niet eens 50% van de CPU belasting gaat vreten, terwijl het toch traag blijft en je MySQL processen de hele tijd zitten te wachten op disk I/O, en dat met 4GB geheugen. Een week later is daar dus de "vergeten" hardware RAID controler ingekomen, wat helaas dus bovenstaande adaptec 64MB geval was. Toen ik doorkreeg dat dat ding in die server kwam, hebben we het ding maar als RAID-10 geconfigureerd, diskruimte zat en met 64MB cache op je controler werkt het op zich nog best aardig als je je te trage controler niet teveel laat rekenen.

Voor RAID-0, 1 en 10 is software RAID over het algemeen sneller dan hardware RAID op het moment dat je controler niet super is, voor RAID-5 raad ik zowel het gebruik van een trage controler als software RAID gewoon af.

Volgens mij vergelijk je appels met peren. Het gaat hier gewoon om een simpel file-servertje aan een 100MB lijntje, niet over een dikke bedrijfsserver.

[BartNL]

de revo in raid3 is een prima oplossing voor een fileserver in een thuisnetwerk. Performance is zeker voldoende in een 100mbit netwerk. Ik gebruik de 5-poorts versie voor een raid3 fileserver waarop voornamelijk films staan en die verder gebruikt wordt voor p2p en nieuwsgroepen. Ook HDTV files spelen daarbij probleemloos over het netwerk (is gigabit bij mij) en ook DVDs kan ik op 16x branden vanaf de filserver.
Voordeel van de revo is dat 'ie hardwarematig werkt en daardoor superstabiele performance heeft onafhankelijk van wat de fileserver doet. In het kort is de maximale snelheid minder als bij een goee raid-5 oplossing maar haalt deze snelheid wel altijd.
Nadeel is dat Netcell inderdaad niet meer bestaat maar feitelijk heb je die ook niet meer nodig omdat de controller momenteel goed werkt.

[Wolfboy]

_JGC_ schreef op zondag 24 december 2006 @ 12:18:
[...]
Voor RAID-0, 1 en 10 is software RAID over het algemeen sneller dan hardware RAID op het moment dat je controler niet super is, voor RAID-5 raad ik zowel het gebruik van een trage controler als software RAID gewoon af.

Uiteraard ben ik het volledig met je eens als het om een drukbezochte server gaat, maar zolang je die server aan 100Mbps knoopt dan maakt het echt niet uit of het software of hardware raid 5 is, de bottleneck is en blijft dan het netwerk.

Maak je daar dus maar geen zorgen om

[_JGC_]

Wolfboy schreef op zondag 24 december 2006 @ 17:37:
[...]
Uiteraard ben ik het volledig met je eens als het om een drukbezochte server gaat, maar zolang je die server aan 100Mbps knoopt dan maakt het echt niet uit of het software of hardware raid 5 is, de bottleneck is en blijft dan het netwerk.

Maak je daar dus maar geen zorgen om

Helaas zijn dit ook mijn ervaringen met dat standaard 64MB adaptec RAID kaartje die je optioneel in een Supermicro server kunt zetten met RAID-5 en 4 harddisks: zodra je ook maar 1 grote schrijfactie doet hangt de hele zooi zowat op omdat het op disk I/O staat te wachten. Dit is wat ik zie bij onze bedrijfs-fileserver, ik had liever gezien dat ie ipv met 4x36GB 10K RPM RAID-5 als 2x143GB of 2x73GB RAID-1 was afgeconfigureerd, zoveel duurder zijn die grotere schijven niet als je er 2 stuks minder van neemt, daarnaast had je dan met RAID-1 kunnen werken, wat stukken minder zwaar is voor zo'n controler of evt voor je CPU als je met host/softraid gaat werken. Mijn ervaring met RAID-0, RAID-1 of een combinatie van beide is nml over het algemeen wel goed als het om host/softraid gaat.

[Verwijderd]

Wolfboy schreef op zondag 24 december 2006 @ 17:37:
[...]
Uiteraard ben ik het volledig met je eens als het om een drukbezochte server gaat, maar zolang je die server aan 100Mbps knoopt dan maakt het echt niet uit of het software of hardware raid 5 is, de bottleneck is en blijft dan het netwerk.

Ook een server met 100Mbps connectie kan meer dan 10MB/s diskactivity bereiken; dat zit niet perse lineair gekoppeld. Dat zou een gevaarlijke aanname zijn in elk geval.

Verder is het zo dat software parity RAID natuurlijk hevig op je CPU leunt; stel je software RAID3 subsystem kan 50MB/s schrijven dan zou de CPU belasting bij 10MB/s al 20% zijn. Die kun je dus niet gebruiken voor de rest van je systeem (Apache/PHP/MySQL etc). Hardware RAID met eigen IO-processor zal dat werk uit handen nemen en dus je processor meer met rust laten zodat die zich met andere zaken kan bezighouden.

Maar het hangt puur van de situatie af; sommige servers leunen sterk op disk activity terwilj andere met een grote RAM pool vrijwel alles kunnen cachen en alleen mutaties moeten wegschrijven. De ene server is de andere niet.

[Wolfboy]

Verwijderd schreef op maandag 25 december 2006 @ 02:52:
[...]

Ook een server met 100Mbps connectie kan meer dan 10MB/s diskactivity bereiken; dat zit niet perse lineair gekoppeld. Dat zou een gevaarlijke aanname zijn in elk geval.

Uiteraard, maar voor zover ik het verhaal goed begrijp gaat dit over een gevalletje thuisserver waar het niet vaak voor komt dat veel mensen tegelijk wat aan het doen zijn op die server, hierdoor blijft de load redelijk beperkt.

Verder is het zo dat software parity RAID natuurlijk hevig op je CPU leunt; stel je software RAID3 subsystem kan 50MB/s schrijven dan zou de CPU belasting bij 10MB/s al 20% zijn. Die kun je dus niet gebruiken voor de rest van je systeem (Apache/PHP/MySQL etc). Hardware RAID met eigen IO-processor zal dat werk uit handen nemen en dus je processor meer met rust laten zodat die zich met andere zaken kan bezighouden.

Dat is natuurlijk wel waar, al zijn mijn ervaringen met software RAID 5 (onder Linux en FreeBSD) erg goed. Met 3 schijven was de grootste bottleneck nogsteeds het 100Mbps netwerk, apache en postgresql reageerden nog net zo goed als normaal en als er al enige vertraging optrad was dat door de beperkte netwerkcapaciteit. Dit heb ik overigens bij meerdere (4 totaal) servers geprobeerd. Waarbij de server varieerde van een single P3 800MHz tot een dual Xeon 3GHz.

Ik kan dus ook redelijk veilig zeggen dat je niet snel aan de cpu limiet van zo'n raid 5 array komt (al ging de load van die P3 800 uiteraard wel richting de 1 zodra je met 10MB/s en >2 gebruikers aan het schrijven was)

[Verwijderd]

Ligt denk ik ook vooral aan de concurrency. Met weinig gebruikers de 10MB/s halen zal moeilijk zijn en als het lukt is dat vanwege sequentiele toegang. Maar zodra je server meer gebruikers hanteert zal de access pattern steeds minder sequentieel worden en uiteindelijk op sterke random I/O lijken. Dan heeft RAID5 zeker een nadeel ten opzichte van RAID3.

RAID5 zal dan heel veel 2-phase writes moeten doen hetgeen inhoudt dat ze eerst moeten lezen en pas daarna kunnen schrijven (ivm berekening van de parity). Dat nadeel kent RAID3 niet; die doet alleen maar 1-phase writes. En bij sterke random I/O waarbij ook leesacties worden gedaan, kan de performance zeker lager dan 10MB/s komen; 2.6MB/s kan dan de max performance zijn van je array. Bij RAID3 zal dat veel hoger zijn dankzij 100% 1-phase writes.