[linux/RAID] hoe betrouwbaar is software RAID?

[B-Man]

Ik heb hier een nieuwe server ingericht om eens wat nieuwe versies van software te testen (zeg maar een dev-doos dus). Ik heb er twee nieuwe 80GB schijven bijgekocht, zodat ik eens wat met RAID kan spelen. Ik heb tevens nog een 3Ware Escalade 6200 liggen (2 poorts ATA RAID).

Nu dacht ik in eerste instantie de 3Ware kaart te gebruiken, maar dat heeft weer wat voeten in aarde, omdat ik reeds een draaiend systeem heb gebouwd op een van de 80GB schijven. Kortom: ik moet dan een backup maken van alle partities, vervolgens het RAID array bouwen, booten vanaf een andere HDD (heb er nog eentje met LFS erop liggen), partities weer terugzetten, enz.

Toen kwam ik Software-RAID tegen, en vraag me af of het een interessant alternatief is. Toen ik de tools zag, zag het er meteen al interessant uit, omdat ik als gebruiker veel controle heb, en veel status informatie kan uitlezen.
Los van pros/cons, welke gotters draaien software RAID, en kunnen me vertellen over het gedrag van deze vorm van RAID bij het uitvallen van schijven?

[BoAC]

Dat wil ik ook wel eens weten
Heb net 3 scsi-schijven op de kop kunnen tikken en wil wel eens mijn data daarop zetten met LVM2 van de linux 2.6.x kernel

[Kees]

Software raid (echte raid) is in principe net zo betrouwbaar als hardware raid, alleen heb je wat meer gezooi met; juist, software. Performance schijnt zelfs wel redelijk goed te zijn ook nog.

[Tomsworld]

Kees schreef op 25 september 2004 @ 20:36:
Software raid (echte raid) is in principe net zo betrouwbaar als hardware raid, alleen heb je wat meer gezooi met; juist, software. Performance schijnt zelfs wel redelijk goed te zijn ook nog.

Beetje meer gezooi met de setup maar eens het draait is het ook maar monitorren net zoals je een hw raid monitorred. If problems alert.

Persoonlijk draai ik al meer dan 2 jaar een coloserver op software raid 1 totaal geen problemen mee en een goede performantie.

Dit @ kernel 2.4.x series.

Eerst heb ik wel de promise raid aan de praat willen krijgen dat was een miserie en is nooit gelukt.

[B-Man]

Ok, ik kan me voorstellen dat het spul goed draait, maar ben met name benieuwd hoe het omgaat met een diskcrash. M.a.w.: overleeft het spul het als een schijf uitvalt.

Het feit dat het een stuk makkelijker te bouwen is, goedkoper is, en makkelijk uitbreidbaar, trekt me wel, maar ik lees overal 'als een schijf uitvalt, kan het zo zijn dat het hele systeem hangt/vastloopt/etc..', en dat dit afhangt van de IDE-bus. De grote meerwaarde van hardware-RAID lijkt -als software-RAID inderdaad niet goed om kan gaan met crashes- dat het gemaakt is om disk-crashes te overleven, en dat ik vervolgens met plug&play van ee nieuwe disk weer verder kan.

[Oceria]

Ik heb twee keer een power-out gehad met een software raid setup (stekker eruit getrokken) op een linux 2.4-18 kernel. De software raid setup was een /boot partitie op raid 1 (mirror) en / en /var als raid 0 (striped). De rebuilt van alle drie duurde uren (moest door een pentium @ 133MHz met 48 MB geheugen worden gedaan) maar heeft in geen van de twee gevallen dataloss veroorzaakt (!!!). Performance gedurende de rebuild is wel lager natuurlijk. File system was trouwens ext3 op alle partities en het systeem draaide al enkele weken in beide gevallen.

[No13]

B-Man schreef op 26 september 2004 @ 00:47:
Ok, ik kan me voorstellen dat het spul goed draait, maar ben met name benieuwd hoe het omgaat met een diskcrash. M.a.w.: overleeft het spul het als een schijf uitvalt.

Het feit dat het een stuk makkelijker te bouwen is, goedkoper is, en makkelijk uitbreidbaar, trekt me wel, maar ik lees overal 'als een schijf uitvalt, kan het zo zijn dat het hele systeem hangt/vastloopt/etc..', en dat dit afhangt van de IDE-bus. De grote meerwaarde van hardware-RAID lijkt -als software-RAID inderdaad niet goed om kan gaan met crashes- dat het gemaakt is om disk-crashes te overleven, en dat ik vervolgens met plug&play van ee nieuwe disk weer verder kan.

Het grootste probleem wat ik gehad heb is de load na een disk-crash, de data was geen probleem (software raid 1) maar de load schiet omhoog als je server de dode disk probeert te benaderen...

Ik weet neit of hardware RAID dit beter oplost?

Verder ook bijna 2 jaar colo server @ raid1 nu en soon een 2e erbij

[Bergen]

Kees schreef op 25 september 2004 @ 20:36:
Software raid (echte raid) is in principe net zo betrouwbaar als hardware raid, alleen heb je wat meer gezooi met; juist, software. Performance schijnt zelfs wel redelijk goed te zijn ook nog.

Gezooi valt wel mee... Gewoon de ondersteuning in de kernel bakken, /etc/raidtab netjes invullen en mkraid draaien.

Ik draai nu ongeveer een jaar een software RAID-1 setup via een Promise IDE-controller en ben er erg tevreden mee. Van uitval heb ik nog geen last van gehad dus daar kan ik je niets over vertellen. De performance is super; ik haal bij leesopdrachten netjes bijna de dubbele snelheid van een enkele schijf: bijna 60 MB/s ipv zo'n 30 MB/s, volgens hdparm tenminste, maar da's geen goeie bench. Ik heb 't ooit met Bonnie getest ipv hdparm, de uitslag moet ergens op dit forum staan, ff zoeken... brb

_{[edit]
mja, hier dus maar de details staan achter een inmiddels dooie link.}

[ Voor 16% gewijzigd door Bergen op 27-09-2004 00:34 ]

[justice strike]

ik kan je alleen vertellen waarom ik de keuze voor hardware raid gemaakt heb. Ik heb een server draaien met een escalade 8500 (4p) kaartje. De reden hiervoor was omdat ik raid 5 wou draaien. Dit vergt enorm veel processor kracht en was om deze reden niet een optie. Daarbij krijg je bij hardware raid support (hele goede in het geval van 3ware) en is de peformance bij een uitgevallen schijf nog te doen en stijgt de load niet (zelf uitgetest). Verder kan een kaart beter omgaan met de buffers van de hd. Dit is meestal low level configuratie en meestal niet te configureren in unix. (althans het is wel te doen, maar het is af te raden)

ik spreek overigens over bsd en dus de vinum implementatie van software raid. Verder is software raid wel leuk voor patch oplossingen, maar structureel zou je beter met hardware raid kunnen werken. Vooral het bijhouden van de health van de schijven (en de controller uiteraard) is veel overzichtelijker. Alles op een plek. De ontlasting van de cpu is echt immens (met raid 5). En de cache op de raidkaart zorgt ook voor extra snelheid

[ Voor 30% gewijzigd door justice strike op 27-09-2004 02:15 ]

[Verwijderd]

zijn er nog software-raid programma's die jullie aanraden?

[Verwijderd]

Ik heb alleen wat oppervlakkige kennis van Software Raid, maar ooit heb ik het op m'n werk eens "getest" door 1 van de twee schijven handmatig te laten "crashen" door de Molex-stekker eruit te trekken terwijl het systeem draaide. Linux hing toen voor iets van 3 seconden (geen input meer mogelijk door toetsenbord in ieder geval), en gaf toen een warning dat 1 schijf "down" was. Verder draaide het systeem gewoon door op de schijf die nog overgebleven was, maar het rebuilden kostte inderdaad wat tijd.
Echter, als je een onverwachte crash hebt van die schijven, dan kan het je (denk ik) niet veel schelen dat het rebuilden van je array wat tijd kost, als je maar geen dataloss hebt. Het lijkt me overigens vrij logisch dat het rebuilden van een array bij hardware en software-raid evenveel tijd kost, alleen komt de druk bij software-raid op de processor terecht.

[BoAC]

Zijn er voor soft-raid ook performance-test programma's of kun je daarvoor gewoon hdparm gebruiken?

[Verwijderd]

BoAC schreef op 27 september 2004 @ 09:42:
Zijn er voor soft-raid ook performance-test programma's of kun je daarvoor gewoon hdparm gebruiken?

hdparm is niet meer dan een globale indruk om de performance te testen (controleren of dma werkt etc). Voor iets serieuzere situaties zou je kunnen overwegen om bonnie++ te gebruiken, en dat kan ook zeker op software raid devices (omdat ie met een file op je filesystem werkt en zelfs als user te draaien is)

[pierre-oord]

Ik heb ergens in een howto gelezen dat je geen ext3 moet draaien op raid.
Verder werkt het best goed, ik heb het ook getest.

Nadeel: Ik had een harddisk die corruptie veroorzaakte (geen idee waarom) en daardoor gaat alles kapot als je niet snel wat eraan doet (tsja, raid1 tenslotte was het).

Andere probleem: Je moet geen crash krijgen, dan slaat je linux geheel op hol:
Bij boot gaat FSCHK draaien, maar ondertussen is de RAID1 ook aan het rebuilen. Dat ging zelfs op een 7200 8MB cache schijf _lang_ duren. ik geloof dat ik toen ben gestart vanaf een andere HDD, eerst heb gechecked, en later opnieuw geboot. Het schiet iig niet op, dus als daar nog tips voor zijn.
(Voordeel zou ext3 kunnen zijn, maar nogmaals, die zou slechte performance hebben in vergelijking met ext2 op raid heb ik gelezen).

[it0]

Ik draai sinds een maand of zo raid5 ( na een tijd raid 1 en raid 0 te hebben gedraaid)

Het voordeel van software raid is dat het flexibeler is qua upgrade. Niet afhankelijk van hardware.

De performance is wel lager met soft tov een normale partitie op die schijf , maar voor mij niet storend. Ik heb een aantal crashes gehad door een overhitte cpu/systeem e.d. maar nooit dataloss. (overigens reiser 3.6)

[B-Man]

Ik heb gisteren alle partities mbv mdadm omgezet naar software RAID-1. Mede vanwege het feit dat een schijf die ik aan mijn Escalada 6200 hang, daarna niet meer zonder die kaart te lezen is. Dus mocht die kaart er een keer mee ophouden, dan zit ik met de 'gebakken peren'

Het omzetten naar software RAID ging overigens erg, erg gemakkelijk, al heb ik er even mee moeten spelen, omdat de software RAID howto nog gebaseerd is op raidtools.

Momenteel heb ik mijn geld aan andere dingen te besteden, maar wil binnenkort sowieso eens met RAID-5 gaan testen, en (mede zoals justice-strike aangeeft) vergt RAID-5 een hoop rekenkracht. Dan haal ik wel een fatsoenlijke RAID kaart. Bedenk me net dat ik hier binnenkort een server overheb (dual xeon, gig ram en een Mylex AcceleRAID 170/SCSI), eens kijken of die kaart RAID-5 aankan.

Voorlopig draai ik in ieder geval software RAID-1.

Ik draai overigens ook mijn swap partities in RAID-1, en draai op de rest ext3. pierre-oord: heb je een linkje vwb het al dan niet slecht zijn van ext3 op RAID-1?

[Verwijderd]

B-Man schreef op 27 september 2004 @ 14:18:
Ik heb gisteren alle partities mbv mdadm omgezet naar software RAID-1. Mede vanwege het feit dat een schijf die ik aan mijn Escalada 6200 hang, daarna niet meer zonder die kaart te lezen is. Dus mocht die kaart er een keer mee ophouden, dan zit ik met de 'gebakken peren'

Het omzetten naar software RAID ging overigens erg, erg gemakkelijk, al heb ik er even mee moeten spelen, omdat de software RAID howto nog gebaseerd is op raidtools.

Momenteel heb ik mijn geld aan andere dingen te besteden, maar wil binnenkort sowieso eens met RAID-5 gaan testen, en (mede zoals justice-strike aangeeft) vergt RAID-5 een hoop rekenkracht. Dan haal ik wel een fatsoenlijke RAID kaart. Bedenk me net dat ik hier binnenkort een server overheb (dual xeon, gig ram en een Mylex AcceleRAID 170/SCSI), eens kijken of die kaart RAID-5 aankan.

Voorlopig draai ik in ieder geval software RAID-1.

Ik draai overigens ook mijn swap partities in RAID-1, en draai op de rest ext3. pierre-oord: heb je een linkje vwb het al dan niet slecht zijn van ext3 op RAID-1?

hier word het dus alleen maar trager van.

Gewoon van elke schijf apart swapon doen, de kernel regelt het verdelen zelf.

/edit. Ik moet lezen, raid 1.....

wat is daar het nut van

[ Voor 4% gewijzigd door Verwijderd op 27-09-2004 19:00 ]

[Verwijderd]

Ik draai Gentoo Linux (2.4.24-gentoo-r2) met mdraid op een HPT372A controller (Highpoint RocketRaid 100). Linux wil gewoon niet werken met die kaart. De kernel is hacked voor de juiste chipset timings om zo een geen oops te krijgen.

Anyway, de performance vind ik best goed. Het is nagenoeg hetzelfde als de hpt370 software raid onder Windows XP.

Ik draai overigens wel RAID-0

[Weppel]

Tomsworld schreef op 25 september 2004 @ 20:38:
[...]


Beetje meer gezooi met de setup maar eens het draait is het ook maar monitorren net zoals je een hw raid monitorred. If problems alert.

Persoonlijk draai ik al meer dan 2 jaar een coloserver op software raid 1 totaal geen problemen mee en een goede performantie.

Dit @ kernel 2.4.x series.

Eerst heb ik wel de promise raid aan de praat willen krijgen dat was een miserie en is nooit gelukt.

I'm with stupid.
1,5 jaar colo, software raid 1 onder 2.4.x zonder problemen. Ook eerst met zo'n promise kaartje lopen rotzooien, maar uiteindelijk maar voor software raid1 gegaan. Nog geen moment spijt van gehad.

[B-Man]

Verwijderd schreef op 27 september 2004 @ 18:59:
[...]


hier word het dus alleen maar trager van.

Gewoon van elke schijf apart swapon doen, de kernel regelt het verdelen zelf.

/edit. Ik moet lezen, raid 1.....

wat is daar het nut van

Als ik ze los van elkaar met swapon aanzet, en er geswapt wordt naar een schijf die uitvalt, kan er van alles misgaan, mogelijk loopt het systeem zelfs vast. Door de swap partitie ook op RAID-1 te draaien, komt dit niet voor.

[_JGC_]

Op dit moment ben ik een server aan het configureren met RAID-5, 3 36GB 10K RPM IBM disken en een IBM ServeRAID 4Lx controler. Dit werkt zeer flex, de controler heeft goede linux support en emuleert het raid-5 array gewoon als een normale SCSI disk naar het OS.

Thuis draai ik twee servers met Software RAID-1: 2x120GB S-ATA als independent disks ingesteld in de BIOS van de controler en vervolgens met software RAID koppelen. Hierbij gebruik ik niet /etc/raidtab, maar mdadm, welke veel flexibeler werkt. mdadm schrijft signatures in de partities weg, welke door de kernel automatisch samengevoegd worden tot een RAID array. Ik heb al enkele tests gedraaid dmv het weghalen van een willekeurige disk en dan te booten: dit werkt gewoon goed. De bootloader boot gewoon vanaf de andere disk, linux ziet vervolgens dat er een disk mist en markeert het array dirty. Als ik later dan weer een disk toevoeg en opnieuw boot, zal linux automatisch uitvinden welke disk de meest recente is. Vervolgens is het met mdadm mogelijk om de disk weer terug in het array te stoppen om vervolgens een rebuild mee te maken.

Mijn andere server heeft 60GB en 80GB IDE in RAID-1 staan, waarbij de 20GB die over is wordt gebruikt voor onbelangrijke prut. Hierbij geldt hetzelfde als bij de andere server, alleen ben ik 20GB aan prut kwijt als die disk zou sterven.

De enige nadelen die ik zie in software IDE RAID is dat het onbekend is wat je systeem gaat doen als een IDE disk gaat sterven. Neemt ie het hele IDE kanaal mee? haalt ie je systeem neer omdat je kernel weigert automatisch de disk af te schrijven? Dat laatste geldt voor alle software RAID implementaties. Een SCSI controler zoals de ServeRAID schakelt gewoon zelf de disk uit zonder dat het OS er veel van merkt buiten een notificatie om.

Anders dan RAID-0 en RAID-1 zie ik overigens niet zitten met software RAID. Ik had destijds op school nog een HP PA-RISC machine met 7x4GB U-SCSI in software RAID-5 draaien, ding is echter niet vooruit te branden.

[it0]

na een foute config van mailscanner heeft is de server vanacht zonder mem/swap komen te zitten, dus heel de nacht zware diskactiviteit en dat heeft 1 hd nu niet getrokken

Maar mijn raid5 blijft het netjes doen

code:

thuis:/home/it0# mdadm -a /dev/md1 /dev/sdc5
mdadm: hot added /dev/sdc5
thuis:/home/it0# cat /proc/mdstat
Personalities : [raid0] [raid1] [raid5]
md1 : active raid5 sdc5[3] sdb5[2] sda7[0]
      2923520 blocks level 5, 32k chunk, algorithm 2 [3/2] [U_U]
      [=>...................]  recovery =  7.3% (107960/1461760) finish=1.6min speed=13495K/sec
unused devices: <none>
thuis:/home/it0# cat /proc/mdstat
Personalities : [raid0] [raid1] [raid5]
md1 : active raid5 sdc5[3] sdb5[2] sda7[0]
      2923520 blocks level 5, 32k chunk, algorithm 2 [3/2] [U_U]
      [==>..................]  recovery = 12.1% (178304/1461760) finish=1.7min speed=11886K/sec
unused devices: <none>
thuis:/home/it0#

thuis:/home/it0# cat /proc/mdstat
Personalities : [raid0] [raid1] [raid5]
md1 : active raid5 sdc5[1] sdb5[2] sda7[0]
      2923520 blocks level 5, 32k chunk, algorithm 2 [3/3] [UUU]

[Verwijderd]

Is het mogelijk met LinuxMD dmv 4 discs een gecombineerde raid set te maken: RAID1 set bovenop een RAID0 set (of omgekeerd)?
Dit om de snelheidswinst van RAID0 te koppelen aan de betrouwbaardheid van RAID1....

[_Squatt_]

Verwijderd schreef op 30 september 2004 @ 19:45:
Is het mogelijk met LinuxMD dmv 4 discs een gecombineerde raid set te maken: RAID1 set bovenop een RAID0 set (of omgekeerd)?

Ja. De 2 devices van de RAID1 zijn dan bijvoorbeeld /dev/md/0 en /dev/md/1, die je daarvoor als RAID0 arrays geinitialiseerd hebt.

[Verwijderd]

_Squatt_ schreef op 30 september 2004 @ 19:56:
[...]

Ja. De 2 devices van de RAID1 zijn dan bijvoorbeeld /dev/md/0 en /dev/md/1, die je daarvoor als RAID0 arrays geinitialiseerd hebt.

Jah dat snapte ik wel al hetgeen ik wou weten of de kernel dat ook leuk vond en of dat betrouwbaar is en effectief ook sneller is of werkt dat mekaar tegen....