[linux] Software RAID 5 + SCSI performance?

[voodooless]

Ik heb al zitten zoeken, maar vond niet echt iets nuttigs. Bv dit verhaal gaat echt helemaal nergens over :
- [rml][ raid5] Vraag over software raid5[/rml]
- Software Raid-5

Ik wil dus weten hoe het zit met de Performance van Software RAID 5 in linux. Google weet ook al niet echt wat te vinden (Behalve wat benchmarks van oeroude systemen (PII 250 met crappy SCSI en ouder...)).

Ook heb ik in de nieuwe C't een artiekel gezelen over IDE-RAID controllers. Conculsie: ze zijn nooit sneller dan software en de RAID 5 controllers hebben bagger performance. Ze hadden als referentie ook een hardware SCSI RAID controller, en deze haalde wel extraam goeie resultaten , ook in RAID 5. Tevens hadden ze een paar linux benchmarks, echter klopte er iets niet met hun tabellen, waardoor er een deel wegviel, met name een deel van de linux benchmarks... irri dus

Wat ik dus wil weten is: Hoe performt de linux RAID 5 software implementatie. Ik ben met geinteresseert in de Non-Windows Operating Systems met SCSI i.c.m software RAID 5. Ik wil dus voornamelijk weten of het sneller is dan 1 apparte disk en RAID 1(vooral met schrijven, lezen geloof ik wel dat dat sneller is )

Ik ben van plan om namelijk over een paar weekjes een dual Athlon systeempje te gaan aanschaffen met een U160 controller en 3 Maxtor 10K3's. Een hardware RAID controller gaat toch wel iets boven het budget uit (rest van de zooi is al duur genoeg ), en 2xXP 2000+ is genoeg XOR power d8 ik zo .

Dus post al je ervaringen, benchmarks, opmerkingen over software RAID i.c.m een SCSI controller. Let wel op, ik wil dus geen windhoos zooi, maar ben alleen geinteresseer in linux (is ook logisch, is immers het "Non-Windows Operating Systems" forum). Post ook geen hdparm -tT /dev/mdx omdat je daarmee dus absoluut niets kunt, zeker niet als het gaat om RAID devices.

[Guru Evi]

Raid 5 is iets trager dan RAID 0 (striping) maar sneller dan RAID 1 (mirroring). Software RAID gebruikt een deel van je Processorkracht (als het IDE is) en anders moet de SCSI controller dat doen (no prob). Je kunt een IDE RAID adapter kopen maar je moet wel zien dat het geen software RAID is (zoals sommige Promise adapters) maar hardware RAID. Je moet zien wat je zelf wilt: je verliest een beetje schijfruimte, als er een van je harde schijven crasht kan die wel automatisch hersteld worden (behalve als er 2 crashen).

Ervaringen met software RAID onder Linux: gaat goed, maar verbruikt een deel van je rekenkracht - zie dat je een backup hebt van je boot-deel of een opstartdiskette (of cd) met RAID-ondersteuning.

SCSI is heel goed (daar neemt de SCSI controller over) maar iets duurder - wel zien dat je hardware RAID ondersteuning hebt wil je je volledige processorkracht gebruiken.

Voor IDE moet je een hardware RAID controller hebben of je komt in de deep shit en wel alle harde schijven op een aparte bus zetten (dus 3 bussen zoals ik daar zie wat u zegt).

[voodooless]

Raid 5 is iets trager dan RAID 0 (striping) maar sneller dan RAID 1 (mirroring). Software RAID gebruikt een deel van je Processorkracht (als het IDE is) en anders moet de SCSI controller dat doen (no prob). Je kunt een IDE RAID adapter kopen maar je moet wel zien dat het geen software RAID is (zoals sommige Promise adapters) maar hardware RAID. Je moet zien wat je zelf wilt: je verliest een beetje schijfruimte, als er een van je harde schijven crasht kan die wel automatisch hersteld worden (behalve als er 2 crashen).

Ervaringen met software RAID onder Linux: gaat goed, maar verbruikt een deel van je rekenkracht - zie dat je een backup hebt van je boot-deel of een opstartdiskette (of cd) met RAID-ondersteuning.

SCSI is heel goed (daar neemt de SCSI controller over) maar iets duurder - wel zien dat je hardware RAID ondersteuning hebt wil je je volledige processorkracht gebruiken.

Voor IDE moet je een hardware RAID controller hebben of je komt in de deep shit en wel alle harde schijven op een aparte bus zetten (dus 3 bussen zoals ik daar zie wat u zegt).

Tell me something new....(sorry, maar dat wistik ook allemaal al...) Maar het schijnt dat de hardware IDE RAID controllers, ook erg bagger zijn kwa performance, dus ik ga voor SCSI. Ik wil alleen weten wat nu de performance is (in cijfers) om eens te vergelijken met gewonen SCSI (1 disk) en de andere RAID leverls.

[TD-er]

Kijk anders ook eens in dit topic: [rml][ fileserver] welke ontwerpbeslissingen, samba, RAID5, Gbit[/rml]

In deze post heb ik de resultaten van mijn software-RAID-5 systeempje geplaatst.
Ik denk dat de performance wat tegenvalt, omdat ik een VIA-chipset gebruik.
Processor staat ruimschoots uit z'n neus te eten, dus dat is niet zozeer de issue.
40% CPU belasting bij 17 MB/s lezen en schrijven tegelijk, tijdens het serveren van de RAR-files die op de windows machine worden uitgepakt. De files worden uitgepakt ook weer opgeslagen op de fileserver. Lezen is dus 17MB/s en schrijven ook (Intel Gbit ethernet)

[Guru Evi]

De performance hangt af van wat je moet doen, hoeveel kracht je precies hebt ter beschikking, welke drives, welke adapters, welke mobo enz enz. Ik kan je geen cijfers geven maar wel een impressie.
Veel zogenaamde "hardware" IDE RAID controllers zijn gewone software IDE RAID controllers hoor, en een echte hardware IDE RAID is snel genoeg voor een gewone thuis-gebruiker en KMO.

[voodooless]

Die 40% CPU belasting zal dan ook gedeeltelijk door samba komen gok ik zo...

Maar hoe zit het met SCSI en Software RAID? Niemand wat bechmarks? Vergeet dan niet effe erbij te zetten wat je precies voor controller, kernel versie en drives hebt.

[ Voor 27% gewijzigd door voodooless op 10-01-2003 17:10 . Reden: typo ]

[XTerm]

IDE en Raid 5 zou ik nooit doen, IDE is daar niet voor gemaakt en gaat de boel vertragen. Dus als je Raid 5 wil ga je zowieso voor SCSI.

Raid 5 trekt een beetje processorkracht, maar benchmarks moeten uitwijzen hoeveel dat is...
Je gaat dit dus moeten uitproberen, een controller (een *goeie* controller, dus Adaptec of Intel) gaat zowieso beter performen dan software, en is ook betrouwbaarder.

Afgezien van dat ben ik een grote software Raid voorstander, hier thuis draait een raid0 van 3 ide disken al meerdere maanden aan hoge snelheid zeer betrouwbaar (* XTerm klopt op hout).

Het hangt er vanaf wat voor server je hebt en wat je er mee wil gaan doen. Verder is zelf ff testen ook altijd aangewezen

[voodooless]

Hmm, ik ga zeker nog zelf testen, maar het is effe de vraag of ik twee of die SCSI disks ga kopen (RAID 5 of RAID 1). Geld groeit nu eenmaal niet op mijn rug en zon 36 HB 10.000 Maxtor 10k3 is niet erg goedkoop. Het is bovendien bedoelt voor mijn nieuwe workstation. Ik wil een finke tijd vooruit kunnen, dus wordt het een "dikke" machine . Ik doe er zo ongeveer alles mee: DivX encoden, Video bewerken, Software ontwikkelen, Internetten, 3D rendering, Inetten, TV kijken, en ga zo maar door....

[TukkerTweaker]

Twee lijkt me genoeg als je een boot cd met RAID hebt. Met software RAID kun je alleen niet (of nou ja het werkt slecht) hot swappen.

[TheGhostInc]

deepspace schreef op 10 januari 2003 @ 17:32:
Hmm, ik ga zeker nog zelf testen, [...]

Je probleem zit imho hier:

SCSI == Duur
Dus minder mensen hebben SCSI, en de mensen die het hebben zijn daar zo al tevreden mee. (tenminste dat hoor je hier veel)
SCSI RAID (hardware) == Nog duurder
De mensen die dit hebben, hebben daar vaak een goede reden voor, waardoor ze dit willen/kunnen hebben.

Als je nu Software RAID op SCSI gaat draaien, dan heb je blijkbaar geld genoeg voor SCSI, maar te weinig voor RAID, en die groep is niet zo groot meer.
SCSI is minder interessant om software RAID te gaan draaien, omdat je daarmee toch wat compromissen sluit, en je hebt net een hele sloot geld gebruikt om je SCSI spullen te halen.

ALs je echt performance wil, pak dan een 15K schijf, als je gewoon SCSI wil, pak lekker wat je nu hebt uitgezocht.

Wil perse RAID draaien, ga dan over op IDE Raid, dan gebruik je het goedkope van IDE, met het veilige van RAID.

Maar dit is slechts mijn mening, zelf kijk ik nog steeds rond naar SCSI RAID (hardware matig), staar je echter niet blind op U160 of U320 SCSI, maar een 80MB/s 3 channel RAID kaart met 3 10K schijven eraan zit echt nog niet aan zijn max.

[Femme]

Als 't je om de hogere prestaties gaat kun je beter twee 15.000 toeren ipv drie 10.000 toeren harde schijven nemen.

[Guru Evi]

Tis dus voor thuis, zou ik voor het goedkope van IDE gaan en als je al SCSI hebt voor 2 scsi drives.
Wil je natuurlijk je data veilig stellen (als dat belangrijk is voor jou - zoals bij mij) dan heb je er al snel 3 nodig ;-)
De snelheid van een SCSI drive is natuurlijk alles ;-) Ik heb ook een UW-SCSI adapter (gekregen!) maar ik vind die harde schijven zo f*in duur, dat ik er maar 1 heb. Maar hij trekt evenveel als mijn maat zijn IDE software RAID van 2 HD's.

[voodooless]

De snelheid van een SCSI drive is natuurlijk alles ;-) Ik heb ook een UW-SCSI adapter (gekregen!) maar ik vind die harde schijven zo f*in duur, dat ik er maar 1 heb. Maar hij trekt evenveel als mijn maat zijn IDE software RAID van 2 HD's.

En dat is het hem nu juist. Het gaat om de feeling , snelheid en zekerheid. Het is gewoon een geweldig systeem.

Ik heb eens even op pricewatch gekeken en daar staat voor redelijk wat geld ook een hardware controller op : http://www.mylex.com/prod.../datasheets/aclrd170.html , kost 455,- maar dan heb je ook wat. Ik moet nog even kijken wat ik ga doen. Vandaar dat wat benchmarks wel leuk zouden zijn.

[b] Heeft dan niemand benchmarks voor mij? [b]

[Guru Evi]

Je kunt ook altijd nu RAID 0 gebruiken en later overstappen op RAID 5 als je harde schijven wat versleten raken en je meer geld hebt
Een SCSI hd gaat zowiezo langer mee. In sommige on-boot BIOS van SCSI controllers zit RAID ingebouwd zonder dat de specs dat meegeven of met een bios update (sommige PCI SCSI adapters van Adaptec)

[Verwijderd]

Het ligt er ook nog maar net aan wat voor SCSi controller je koopt. Ik heb zelf een Adaptec 19160, en dat is een single channel kaartje, als je daar RAID 1 of 5 over gaat draaien, lever je op je IO aardig in. Ik schat dat met de moderne snelle processoren het rekenwerk geen bottle neck zal zijn.

Ga dan in ieder geval voor een dual channel kaartje, zodat het verkeer van en naar elk van je schijven een eigen kanaal heeft. Dan zitten ze mekaar in ieder geval niet in de weg.

Wanneer geld niet echt een probleem is, zou ik twee schijven nemen, en die op een dual-channel kaart prikken (of twee losse kaarten), en je filesysteem met zorg samenstellen.

Dingen die je per se redundant wil hebben, maak je RAID 1, maar bijvoorbeeld je /tmp (die wil ik best wel groot hebben) niet, daar gebruik je een los stuk van je HD voor, of zelfs een RAID 0 stripe als je echt veel ruimte nodig hebt. Op deze manier ga je ook nog een beetje efficient met je kostbare ruimte om.

Levert op:

Dual channel, dus goede performance
Redundancy waar nodig
Waar niet nodig kun je dan wat economischer met de ruimte omgaan.

_{Ik zou verder je DVD speler en je brander elk als enige op een eigen IDE kanaal aansluiten, stuk goedkoper, en omdat ze elk in hun eentje een eigen controller hebben, is de performance en dus de kans op brandproblemen ook meteen goed geregeld.}

[voodooless]

Nou, 160 MB/s zitten niet zo snel vol hoor. Ik denk dat het met RAID 5 en 3 tot 4 disks nog wel kan, als je bedenkt dat iedere disk gemiddeld zo'n 50 Mb/s trekt (met 4 disks wordt het dan al krap, maar die theoretische 50Mb/s per disk liniear haal je toch maar zelden, en als je tot echt 160 MB/s komt is dat ook al leuk genoeg ). Let wel dat de SCSI anders werkt als bij IDE, waar het niet echt optimaal is als er twee disks aan een kabel hangen. Bij SCSI is dat effect stukken minder.

Ik heb nog eens gekeken naar die Mylex AcceleRAID 170 controler met 32 MB cache erop. Leuk ding en werkt zover als ik dat kan zien onder linux. Het zijn eigenlijk IBM dingen, dus ik gok dat ze wel goed zijn. En ze vallen nog net binnen het budget Ik denk dat ik er dan 4 10K3's van 18 Gb bij pak i.p.v. 3 van 36 (vanwegen de kosten).

[Guru Evi]

Ik ben nu bezig (thuis - voor een testje voor dit topic) een 486 DX/2 - 40MHz - 8MB RAM, AHA1542 Fast-SCSI adapter en DOS erop (snel opstarten) - 2x 1Gb HD. De HD's werken snel genoeg (10Mb/s) zelfs als ze met 2 op hetzelfde kanaal zitten (schommelt dan tussen de 8 en de 10)
Ik zoek nu een Software RAID oplossing voor DOS (maar ik ga daar morgen es voor kijken) om te zien hoeveel performantiewinst ik heb op 1 kanaal met 2 harde schijven of op 2 kanalen (2 SCSI-adapters) met 2 harde schijven alsook het verlies bij RAID 5.
Antwoorden hoop ik volgende week klaar te hebben.

[voodooless]

Guru Evi schreef op 10 January 2003 @ 23:14:
Ik ben nu bezig (thuis - voor een testje voor dit topic) een 486 DX/2 - 40MHz - 8MB RAM, AHA1542 Fast-SCSI adapter en DOS erop (snel opstarten) - 2x 1Gb HD. De HD's werken snel genoeg (10Mb/s) zelfs als ze met 2 op hetzelfde kanaal zitten (schommelt dan tussen de 8 en de 10)
Ik zoek nu een Software RAID oplossing voor DOS (maar ik ga daar morgen es voor kijken) om te zien hoeveel performantiewinst ik heb op 1 kanaal met 2 harde schijven of op 2 kanalen (2 SCSI-adapters) met 2 harde schijven alsook het verlies bij RAID 5.
Antwoorden hoop ik volgende week klaar te hebben.

Wow, thank's dat je effe wil testen Jammer dat je geen 3 disks hebt dan had je ook RAID 5 kunnen testen, al hoewel ik denk dat de CPU dan wel erg belast wordt.

Ondertussen heb ik wat kleine bechmarks gevonden op deze duitse site: http://www.linuxhaven.de/...ftware-RAID-HOWTO-11.html

[ Voor 9% gewijzigd door voodooless op 10-01-2003 23:41 . Reden: link gevonden ]

[voodooless]

schop....

Niemand met wat benchmarks SCSI software RAID?

[Guru Evi]

Kheb dan toch maar een Linux gebruikt om te testen (RH 5) en een software RAID gebruikt op mijn 40 MHz en dat loopt goed (RAID 0) maar ik mag niet te veel meer doen met mijn processor (verbruikt 50%) de snelheid van de disk is wel opgekrikt van 10Mb/s naar 17Mb/s maar niet vergeten dat ze op hetzelfde kanaal zitten. Op een ander kanaal (2 adapters) gaan ze toch tegenaan de 20Mb/s (De ISA bus draait sneller dan eigenlijk toegelaten - 20 MHz - en de multi-I/O en de videokaart zit op een VESA bus dus is ook geen probleem voor de ISA bus) maar de kaartjes gaan daar niet van kapot, behalve mijn videokaart die warmer wordt.
Kheb dan 3x 300MB HD ingestoken en nog es getest op RAID 5. Enneuh... mijn transfer gaat iets naar beneden maar toch niet zoveel (draait rond de 15Mb/s) maar mijne processor is toch naar de 75 - 80% gegaan dus ik kan bijna niets meer doen. En een data-recovery simulatie (stroom van een harde schijf halen) geeft een 100% belasting en mijn systeem is onbruikbaar geworden voor een uurtje of 2.

[voodooless]

Leuk zo'n testje op een 40 Mhz CPU! Geeft wel aan dat je zelfs met RAID5 toch noch ongeveer 1,5 x de performacne van een enkele schijf haalt. CPU belasting is hoog, maar ja, wat is 40% Mhz vandaag nog.... Bovendien worden de RAID 5 XOR's MMX en SSE (of whatever extension...) geoptimaliseer zodat het extra weinig CPU kracht kost.

[igmar]

[b][message=16704167,noline]
Ook heb ik in de nieuwe C't een artiekel gezelen over IDE-RAID controllers. Conculsie: ze zijn nooit sneller dan software en de RAID 5 controllers hebben bagger performance. Ze hadden als referentie ook een hardware SCSI RAID controller, en deze haalde wel extraam goeie resultaten , ook in RAID 5. Tevens hadden ze een paar linux benchmarks, echter klopte er iets niet met hun tabellen, waardoor er een deel wegviel, met name een deel van de linux benchmarks... irri dus

RAID 1 op een Compaq Proliant met 2 10k RPM disken : 35 MB / seconde. De load was gewoon 0 op die bak.
RAID 5 zat op iets van rond de 30 MB/sec, maar die benchmark heb ik maar een keer gedraaid, dus zaken zoals cache kunnen een rol spelen.

[TD-er]

Ik heb zojuist nog even gekeken hoeveel CPU-belasting het kost met 4 IDE schijven in RAID-5, terwijl er met gemiddeld 23.7 MB/s vanaf gelezen werd (was een file van 3.3 GB, bijna helemaal overgezet, dus caching speelt geen rol. Communicatie met FlashFXP, wat een stuk sneller gaat dan via samba)
Ff het meest interessante van een top overgenomen....

code:

CPU states:  0.7% user, 84.6% system,  0.0% nice, 14.5% idle
Mem:   514384K av,  507752K used,    6632K free,       0K shrd,  104040K buff
Swap: 1892512K av,    5324K used, 1887188K free                  352880K cached

  PID USER     PRI  NI  SIZE  RSS SHARE STAT %CPU %MEM   TIME COMMAND
28615 gijs      24   0  2564 2564  1628 R    68.0  0.4   2:08 in.ftpd
   15 root      15   0     0    0     0 SW    3.9  0.0  20:01 raid5d
    4 root      34  19     0    0     0 SWN   0.5  0.0   0:04 ksoftirqd_CPU0

Het gaat hier om een PIII 733.
Je ziet dat het destileren van de data van het RAID-fs nauwlijks CPU-power kost.
Het schrijven heb ik geen zinnige informatie van kunnen krijgen, omdat de communicatie vanaf de windows-bak naar de fileserver nogal onrustig gaat en een stuk langzamer (vaak schommelend tussen 1 en 11 MB/s)

[voodooless]

Kijk eens aan! RAID 5 heeft op CPU's tegenwoordig weinig CPU belasting dus. Maar buiten de CPU belasting is er ook nog een algehele systeembelasting die je mee moet tellen. De CPU moet al zijn data van en naar de PCI SCSI controller shuifelen, en waarschijnlijk ook nog eens naar het geheugen, en het is toch heel wat MB/s aan XOR data die verwertk moet worden. Ik denk dat ik nu wel genoeg weet. Misschien ga ik wel voor een hardware RAID oplossing. Ik heb nu iets gevonden dat binnen het budget past . Verder blijf ik mijn ogen open houden naar Software RAID 5 benchmarks natuurlijk.

[Verwijderd]

Software RAID 5 met IDE werkt prima zolang je niet superperformance verwacht. Wat niet wil lukken (althans mij niet ) is booten vanaf software raid5. Logisch ook

Leuke bijkomstigheid is de capaciteit. Stel je hebt 4x 40 Gb IDE en wilt zekerheid. Dan kan je dus kiezen RAID1 of zelfs RAID 0+1, en dan haal je maximaal 80 Gb capaciteit. Met RAID5 kom je op 120 Gb, dus dat is mooi meegenomen.

Ik gebruik nu softraid5 met ide disks in een debian server en in een _{w2k server} als pure test, en tot nu toe verloopt dat prima. Beiden beschikken over 160 Gb verdeelt over 5x 40 Gb IDE Maxtor 7200. Omdat de meeste data via het netwerk uitgewisseld wordt voldoet de performance prima. Volgende test wordt softraid5 in een workstation. Of het dan nog voldoet weet ik niet.

[ Voor 65% gewijzigd door Verwijderd op 14-01-2003 11:05 ]

[TD-er]

Ik heb op alle hdd's een 32 MB bootable partitie gezet.
Deze bevat grub, de kernel en de initrd. (oftewel /boot)
Dit heb ik gekopieerd naar elke hdd, zodat hij kan booten van een andere hdd, mocht hda defect gaan.
op 80 GB schijven merk je die 32 MB niet echt en zodoende hoef ik dus niet een extra schijf te gebruiken.

Ik heb wel begrepen dat de chipset van het mainboard heel belangrijk is voor de performance.
Het verschil tussen een Intel en een VIA is bij een RAID-fileserver best groot.