Welke raidcontroller?

[Verwijderd]

Hallo,

Ik heb op dit moment een pc die oa dient als centrale opslag met 1x 250gb en 2x 500gb (sata II), maar ik ben weer bijna door mijn schijfruimte heen. Nou wou ik een extra 500gb schijf kopen maar door de groeiende collectie data wil ik ook graag wat extra zekerheid hebben, daarom ben ik uitgekomen bij raid 5.

Ik ben dus van plan:

1x 250gb schijf = Windows
4x 500gb raid5 = data

Nou word er overal afgeraden om raid5 te draaien op mijn moederbord. Aangezien ik dus nieuw ben in de raid controllers en je controllers hebt van 50 tot meer dan 500 euro hier de vraag:

Welke raid controllers raden jullie aan voor een raid5 met 4 schijven met uitbreidingsmogelijkheid tot 5 of 6 schijven?

Alvast bedankt,
Tomboo

[DukeBox]

Tja.. komt puur op budget uit. Goede controllers, Areca, LSI.. denk dan aan 300€+ zeker als je BBU cache erop hebt.
Anders zou ik gewoon voor onboard gaan maar raid5 is dan natuurlijk niet net zo snel.

[TERW_DAN]

Waarom zou je niet een RAID5 array gebruiken op je moederbord?

Tja, als je tot 6 disks wilt zou ik een Areca 1220 pakken. Deze is goed te betalen (425€ momenteel) en bied je 8 poorten met hardware raid 5. Het is iig de controller die ik voor mezelf ga halen.
Ik zou je aanraden gewoon te kijken wat je eisen zijn, wil je echt hardware raid of is soft/firmware raid ook afdoende. Er zijn vast wat reviews te vinden over je controller, oa hier: http://tweakers.net/pricewatch/reviews/cat/60

[DukeBox]

Terw_Dan schreef op zondag 20 januari 2008 @ 00:24:
Tja, als je tot 6 disks wilt zou ik een Areca 1220 pakken.

Ik zou eerder naar een SAS controller kijken, deze kunnen ook multipliers aan en zijn daardoor niet gebonden aan aantal poorten.
Daarnaast vind ik 400+ erg duur voor zulke specs.

[ Voor 21% gewijzigd door DukeBox op 20-01-2008 00:30 ]

[TERW_DAN]

DukeBox schreef op zondag 20 januari 2008 @ 00:29:
[...]

Ik zou eerder naar een SAS controller kijken, deze kunnen ook multipliers aan en zijn daardoor niet gebonden aan aantal poorten.
Daarnaast vind ik 400+ erg duur voor zulke specs.

Tja, liever een iets duurdere controller dan SCSI disks mogen kopen of met dure portmultipliers gaan werken.

[edit]
DukeBox heeft gelijk, S-ATA op SAS kan wel, andersom ging niet.

[ Voor 8% gewijzigd door TERW_DAN op 20-01-2008 16:27 ]

[Microkid]

Om het niet te duur te maken, Highpoint 2320 (PCI-e, 8 drives). Kan je meerdere RAID sets mee maken en ook online uitbreiden of wijzigen. Heb zelf de 2310 (4 poort) en dat bevalt prima. 170MB/sec haal ik makkelijk.

[DukeBox]

Terw_Dan schreef op zondag 20 januari 2008 @ 00:32:
[...]

Tja, liever een iets duurdere controller dan SCSI disks mogen kopen of met dure portmultipliers gaan werken.

??? SAS kan ook gewoon SATA aan, daarnaast PM's kosten geen drol (Zeker de sata PM's niet) en de meeste server kasten hebben ze tegenwoordig al als optie er in zitten.

De MegaRAID SAS 8480E is overigens de Dell PERC 5e welke je via dell parts voor nog geen 300€ kan aanschaffen.

[Verwijderd]

Bedankt voor de snelle reacties!

Ik heb een maximaal budget tussen de 350 en 400 euro.

Wat zijn nou eigenlijk de voordelen van SAS of SCSI. Of is het verstandig om gewoon bij Sata te blijven

[Venxir]

Zowieso is een aparte raidcontroller handig, als je een keer van mobo switched ben je teminste niet je (belangrijke) data kwijt. Ik had een half jaar geleden hetzelfde dilemma, maar heb gekozen voor een areca 1220 + BBU. Zo ben ik altijd zeker van mijn data en heb ik ook nog fatsoenlijke performance.

[DukeBox]

Verwijderd schreef op zondag 20 januari 2008 @ 00:40:
Bedankt voor de snelle reacties!

Ik heb een maximaal budget tussen de 350 en 400 euro.

Wat zijn nou eigenlijk de voordelen van SAS of SCSI. Of is het verstandig om gewoon bij Sata te blijven

SAS is Serial SCSI. SCSI zelf zal je niet meer gebruiken.
De connector van SAS is (bijna) gelijk aan die van SATA, een SATA HDD kan op op SAS aansliuten, andersom niet.
Voordeel van SAS boven SATA(II) buiten dat je er natuurlijk ook SAS HDD's op kan aansluiten zijn hoofdzakelijk de mogelijkheid tot multipliers en actieve extenders (voor langere kabels).

Oh, ook handig om te weten, LSI raid sets zijn altijd backwards compattible (dus raid set gemaakt op ouder model kan op nieuwer model (soms moet er wel online rebuild plaatsvinden, echter zonder dataverlies)). Ik weet niet of dat met areca ook zo is.
Misschien dat onboard Intel of SIS dat ook is..

[ Voor 18% gewijzigd door DukeBox op 20-01-2008 01:00 ]

[Femme]

DukeBox schreef op zondag 20 januari 2008 @ 00:29:
[...]

Ik zou eerder naar een SAS controller kijken, deze kunnen ook multipliers aan en zijn daardoor niet gebonden aan aantal poorten.
Daarnaast vind ik 400+ erg duur voor zulke specs.

Een backplane met een sas-expander is niet echt goedkoop. Je kunt dan net zo goed een sata-controller met meer poorten kopen. Voor een goede sas raid-controller ben je ook al snel 800 euro kwijt (tenzij dat verhaal van die Dell Perc 5/E voor 300 euro waar is). Adaptec biedt momenteel een 8-poorts adapter in de prijsklaase van de Areca ARC-1220, maar de Areca presteert nog altijd beter.

De prijs van 425 euro voor een ARC-1220 is voor de specs en de performance gewoon goed te noemen. Andere intelligente raid-adapters van een gerenommeerd merk bevinden zich op een vergelijkbaar prijsniveau. De Promise SuperTrak EX8350 is goedkoper maar presteert een stuk minder. Dit geldt ook voor de controllers zonder cache.

[DukeBox]

Femme schreef op zondag 20 januari 2008 @ 01:04:
Een backplane met een sas-expander is niet echt goedkoop.

Dat valt best mee, de Intel AXX6DRV3GEXP heb je al voor 120€ (6 poorts/bays) en als je kijkt naar andere merken kun je voor 70€ al slagen.
Het voordeel is dat je ook HDD's extern kan koppelen met maar 1 eSAS kabel. Met een actieve extender zoals die intel kun je tot 7 meter verlengen.

TS, iets heel anders.. waarom ga je geen software raid5 draaien via je OS ? Dan heb je nooit meer het probleem dat je vast zit aan een controller en de performance is vaak beter dan een losse 'soft'controller.

[ Voor 19% gewijzigd door DukeBox op 20-01-2008 01:14 ]

[Verwijderd]

Ik hoor altijd van alle kanten dat software raid5 redelijk slechte presteert en dat het de cpu erg belast. En mijn pc functioneert deels als file server voor heel het huis (4 pc's die dagelijks aanstaan en een media center) dus een redelijke stabiele snelheid is wel zo fijn, dus niet dat als mijn pc redelijk hard aan het werken is mijn snelheid afgeknepen word.

[DukeBox]

hangt natuurlijk van je CPU af.. voor een bijv. een core duo zal je het amper merken. De prestatie is afhankelijk hoeveel cache je aandurft.. hangt de boel achter een UPS kun je prima hdd en os write cache aanzetten wat de performance met write bursts een flinke boost geeft.

[Verwijderd]

Verwijderd schreef op zondag 20 januari 2008 @ 01:34:
Ik hoor altijd van alle kanten dat software raid5 redelijk slechte presteert en dat het de cpu erg belast. En mijn pc functioneert deels als file server voor heel het huis (4 pc's die dagelijks aanstaan en een media center) dus een redelijke stabiele snelheid is wel zo fijn, dus niet dat als mijn pc redelijk hard aan het werken is mijn snelheid afgeknepen word.

Aangezien je een centrale pc voor dataopslag hebt zou je daar ook Linux of FreeBSD op kunnen draaien. Die hebben beide een RAID5 engine die > 100MB/s write kunnen verwerken op moderne hardware. Zelf heb ik hier FreeBSD7 draaien en met software RAID (geom_raid5) op een dualcore met 8 schijven en haal tot 470MB/s raw write (met dd naar /dev/raid5/volume). Genoeg voor gigabit dus. Hiermee bespaar je dan weer op een dure controller.

Een dualcore NAS heb je voor 185 euro excl. schijven. Zet daar een paar WD Caviar GP schijven bij die in idle minder dan 4W verbruiken en je hebt een snelle en energiezuinige NAS. Maar dit zelf klussen en spelen met FreeBSD moet je wel zien zitten natuurlijk. Eventueel kun je ook FreeNAS gebruiken die heeft een makkelijke interface. Echter werkt veel onboard hardware niet door gebrek aan support, FreeBSD7 heeft nieuwere drivers en dus ook meer ondersteuning voor nieuwe hardware.

[maratropa]

Verwijderd schreef op zondag 20 januari 2008 @ 01:34:
Ik hoor altijd van alle kanten dat software raid5 redelijk slechte presteert en dat het de cpu erg belast. En mijn pc functioneert deels als file server voor heel het huis (4 pc's die dagelijks aanstaan en een media center) dus een redelijke stabiele snelheid is wel zo fijn, dus niet dat als mijn pc redelijk hard aan het werken is mijn snelheid afgeknepen word.

CPU belasting is geen issue meer met raid 5 hoor, en het probleem met raid 5 is de snelheid van de schijven, maar dat is weer te ondervangen met cache en andere slimme dingen.

Trouwens, die dell perc5E's kun je ook best cheap van ebay afhalen

[Verwijderd]

Venxir schreef op zondag 20 januari 2008 @ 00:40:
Zowieso is een aparte raidcontroller handig, als je een keer van mobo switched ben je teminste niet je (belangrijke) data kwijt. Ik had een half jaar geleden hetzelfde dilemma, maar heb gekozen voor een areca 1220 + BBU. Zo ben ik altijd zeker van mijn data en heb ik ook nog fatsoenlijke performance.

Tot dat je RAID controller kapot gaat en ja ik heb het zien gebeuren Vandaar dat ik altijd kies voor 100% software RAID. D.w.z. niet met behulp van die goedkope kaartjes maar vanuit het OS zelf, is in principe nog de goedkoopste oplossing ook

[maratropa]

Verwijderd schreef op zondag 20 januari 2008 @ 12:15:
[...]


Tot dat je RAID controller kapot gaat en ja ik heb het zien gebeuren Vandaar dat ik altijd kies voor 100% software RAID. D.w.z. niet met behulp van die goedkope kaartjes maar vanuit het OS zelf, is in principe nog de goedkoopste oplossing ook

Raid is geen backup dus als het goed is heb je altijd je data nog wel ergens anders, toch?

[DukeBox]

Daarnaast heb je bij goede controllers altijd backwards compatibility (zoals eerder genoemd).
100% software raid is zeker 'leuk' maar gaat toch echt niet op tegen een goede raid controller.
edit:
Ter info in [HDD] De Samsung Spinpoint F1 is er! heb ik wat benchmarks gepost van een perc5 met 4x Samsung HD753LJ rev.1AA01106 (F1 750GB 32MB)

hdtune:
DukeBox in "[HDD] De Samsung Spinpoint F1 is er!"

atto en hdtach:
DukeBox in "[HDD] De Samsung Spinpoint F1 is er!"

en ook een van een softraid5 controller met 4x Seagate 500GB 7200.10.
DukeBox in "[HDD] De Samsung Spinpoint F1 is er!"

Helaas zijn dit allemaal windows tools, anders was ik wel benieuwd geweest naar een atto van geom_raid5.

[ Voor 78% gewijzigd door DukeBox op 20-01-2008 13:22 ]

[Venxir]

Verwijderd schreef op zondag 20 januari 2008 @ 12:15:
[...]


Tot dat je RAID controller kapot gaat en ja ik heb het zien gebeuren Vandaar dat ik altijd kies voor 100% software RAID. D.w.z. niet met behulp van die goedkope kaartjes maar vanuit het OS zelf, is in principe nog de goedkoopste oplossing ook

In dezelfde trend:
Tot dat je mobo (controller) kapot gaat en ja ik heb het zien gebeuren Vandaar dat ik altijd kies voor 100% hardware RAID. D.w.z. niet met behulp van die goedkope kaartjes maar met degelijke merken is in principe nog de veiligste oplossing ook

[Andros]

Areca ARC1220 gebruiker hier en uitermate tevreden. Als je niet meteen in het diepe wilt springen is een highpointje best aan te raden. Erg betaalbaar en prestaties vielen mij best mee. Heb nog een 2300'je over (wijst naar V&A)...

[Verwijderd]

maratropa schreef op zondag 20 januari 2008 @ 12:50:
[...]


Raid is geen backup dus als het goed is heb je altijd je data nog wel ergens anders, toch?

Dat is helemaal correct. Maar het gaat mij in dit geval om de redundantie. In het geval van hardware raid zal je altijd een tweede controller op de plank hebben moeten liggen of een betrouwbare en snelle leverancier. Terwijl bij software raid je kunt volstaan met een kopie van je OS op dvd of cdrom.

[TERW_DAN]

Verwijderd schreef op zondag 20 januari 2008 @ 15:54:Dat is helemaal correct. Maar het gaat mij in dit geval om de redundantie. In het geval van hardware raid zal je altijd een tweede controller op de plank hebben moeten liggen of een betrouwbare en snelle leverancier.

Tja, dan nog. Als mijn array sterft, ongeacht of dat nu komt door dode disks of een dode controller, de data is dan toch niet meer direct beschikbaar. Dus zul je alsnog een backup op een ander medium moeten zetten wil je heel zeker zijn. Als je controller stuk is dan kun je die nog wel vervangen met behoudt van data, maar sterft je hdd, dan ben je verder van huis (met RAID 0 dan, de andere RAIDlevels hebben natuurlijk wat meer nodig om te sterven).

[Verwijderd]

Venxir schreef op zondag 20 januari 2008 @ 14:21:
[...]


In dezelfde trend:
Tot dat je mobo (controller) kapot gaat en ja ik heb het zien gebeuren Vandaar dat ik altijd kies voor 100% hardware RAID. D.w.z. niet met behulp van die goedkope kaartjes maar met degelijke merken is in principe nog de veiligste oplossing ook

Software kun je op een hele andere controller aansluiten in heel andere volgorde en toch gelijk booten alsof er niks gebeurd is, dat is de kracht van software boven hardware. Het hangt natuurlijk van je situatie af of software of hardware RAID de beste optie is.

Voor performance hoef je software RAID5 niet meer te laten, snelheden boven de 100MB/s write zijn gemakkelijk te halen. Met 4 disks zit je met FreeBSD op 185MB/s UFS2-32k write met geom_raid5 en rond de 100MB/s in linux met md raid5. Genoeg voor gigabit. Enig wat je nodig hebt is een energiezuinig bordje met 6x onboard SATA. Of deze voor intel-platform.

Software RAID5 vraagt echter wel degelijk veel van je CPU; dualcore valt dan ook aan te raden. Dan blijft er ook genoeg over voor andere dingen.

[ Voor 7% gewijzigd door Verwijderd op 20-01-2008 16:49 ]

[DukeBox]

Verwijderd schreef op zondag 20 januari 2008 @ 15:54:
[...]
..of een betrouwbare en snelle leverancier...

Helaas is het bij Dell niet mogelijk gold te krijgen op parts, maar met bijv. een goedkope 1950 er omheen ben je voor 1200€ inc. raid controller gedekt met 4 uur on site voor 3 jaar..
Nevertheless.. een goede backup heb je hoe dan ook nodig want bij software of hardware raid heb je altijd de mogelijkheid dat er een bug in de 'software' zit en daardoor je data corrupt raakt. Een kapotte memory module of zelfs een rottige sata/sas kabel kan daar aan mee werken.

[ Voor 21% gewijzigd door DukeBox op 20-01-2008 17:00 ]

[Verwijderd]

DukeBox schreef op zondag 20 januari 2008 @ 13:10:
100% software raid is zeker 'leuk' maar gaat toch echt niet op tegen een goede raid controller.

Waarom, precies? Bij mij haalt software RAID5 een hogere maximale write dan mijn hardware Areca-controller, dus ik denk dat dat beeld bijgesteld dient te worden. RAID controllers halen nog wel veel hogere IOps performance maar voor thuisgebruik en NAS is sequentieel belangrijker.

Helaas zijn dit allemaal windows tools, anders was ik wel benieuwd geweest naar een atto van geom_raid5.

Voor de gein eens geprobeerd ATTO op mijn Ubuntu systeem te draaien met Wine.

En het werkt:
Even voor de duidelijkheid: dit is op een oude 5400rpm schijf niet geom_raid5. Het was alleen maar om te illustreren dat ATTO in principe wel op Linux/BSD kan draaien, maar helaas niet echt bruikbaar door de lage transfer size van 256MB



Zoals je ziet is deze benchmark gecontamineerd; de hoge read scores komen door caching van de Linux kernel. De 256MB testfile past namelijk gemakkelijk in de 2GB RAM, en je test dus geen disk performance meer maar cache performance. In feite is ATTO nutteloos in dit soort omgevingen, een goede sequentiële test moet:

1) OS cache omzeilen (dat lukt ATTO in Windows maar niet via Wine)
2) grote transfer size gebruiken (verhoog 256MB naar 8GB en je krijgt heel andere scores)
3) rustperiode tussen elke test houden (anders krijg je lagere scores door write-buffering contaminatie)

Voor geom_raid5 kun je daarvoor prima dd gebruiken, op het filesystem voor een realistisch resultaat.

[ Voor 7% gewijzigd door Verwijderd op 20-01-2008 18:32 ]

[Venxir]

Ik vind het zeer apart dat een software raid 5 hogere scores haalt dan een hardware raid 5. Dit lijkt mij vrijwel onmogelijk. Ik haalde op een c2d en intel ich8r @ raid 5 hooguit 30mb/s in Atto. de areca maakt hier toch 200mb/s read en write van.

[Verwijderd]

Venxir schreef op zondag 20 januari 2008 @ 18:27:
Ik vind het zeer apart dat een software raid 5 hogere scores haalt dan een hardware raid 5.

Hoezo apart? Een modern systeem met dual of quadcore is tig keer krachtiger dan zo'n Intel IOP, dus komt het in principe op specialisatie en software aan wat sneller is. Software biedt nog voldoende mogelijkheid tot significante performance-verbetering. Zo heb ik nooit een RAID1 implementatie gezien die aan goede load balancing doet. Software is de sleutel, hardware RAID voor thuisgebruikers die enkel performance willen straks mogelijk overbodig worden. Software RAID heeft denk ik meer potentie dan hardware RAID.

Met voldoende disks moet het mogelijk zijn om meer dan 1000MB/s write te halen met software RAID5. En nee, daar kunnen al die crappy onboard implementaties alleen maar over dromen. Die hebben geen shared buffer met write combining, geom_raid5 en Areca wel.

[DukeBox]

Verwijderd schreef op zondag 20 januari 2008 @ 18:36:
[...]
Met voldoende disks moet het mogelijk zijn om meer dan 1000MB/s write te halen met software RAID5.

Met de nodige caching geloof ik best dat dat mogelijk is.. maar hoe zit het dan met een systeem crash ? Dan ben je wel je data kwijt (mogelijk zelfs array corrupt) omdat de cache in je ram zit en deze foetsie is. Overigens vraag ik me ook af of software raid5 nog wel performt bij bijv. 8 hdd's.

[Verwijderd]

Software RAID heeft denk ik meer potentie dan hardware RAID.

Zeker weten Zowel GNU/Linux alsmede FreeBSD Software RAID is zeer betrouwbaar en zet goede prestaties neer. Mede door het open karakter van dit soort besturingssytemen is optimalisatie van de code eenvoudiger dan bij gesloten hardware of software. Dit komt de prestaties en betrouwbaarheid zeker ten goede.

Wat dat betreft zie ik de toekomst van Software RAID zonnig in

[DukeBox]

Verwijderd schreef op zondag 20 januari 2008 @ 19:46:
[...]
Wat dat betreft zie ik de toekomst van Software RAID zonnig in

Opzich ik ook wel, maar het komt toch altijd weer neer op intelligente cache algoritmes, en zolang soft-raid geen mogelijkheid bied om write back cache te garanderen blijft het onbetrouwbaar bij dezelfde performance.

[Verwijderd]

@DukeBox

Indien Software RAID onbetrouwbaar zou zijn zouden Enterprise leveranciers zoals Sun microsystems en RedHat geen support c.q. ondersteuning op het gebruik van Software RAID geven. Software RAID wordt door deze leveranciers betrouwbaar gevonden.

[DukeBox]

Ik zeg niet dat het onbetrouwbaar is.. [knip]hmm dat zeg ik wel.. maar ik bedoel het anders *[/knip]
alleen dat wanneer je write-back cache wil gebruiken zonder BBU dan ben je niet verstandig bezig. En alleen door write-back te gebruiken kun je vergelijkbaare resultaten halen.

*Een hardware controller heeft geen invoeld van het OS, als deze spontaan reboot blijft de data in de controller beschikbaar d.m.v. BBU, data in het RAM bij soft-raid ben je kwijt. Dat bedoel ik met betrouwbaar. De softraid zelf is best betrouwbaar.

[ Voor 43% gewijzigd door DukeBox op 20-01-2008 21:49 ]

[Verwijderd]

DukeBox schreef op zondag 20 januari 2008 @ 19:42:
Met de nodige caching geloof ik best dat dat mogelijk is.. maar hoe zit het dan met een systeem crash ? Dan ben je wel je data kwijt (mogelijk zelfs array corrupt) omdat de cache in je ram zit en deze foetsie is. Overigens vraag ik me ook af of software raid5 nog wel performt bij bijv. 8 hdd's.

Ik had het over 1000MB/s sustained he, geen cache transfers die gaan zo hoog als je geheugenbandbreedte in b.v. de ICHxR driver met write-back enabled. Het gaat hier om echte sequentiële write, iets waarbij de implementatie van RAID5 de snelheid maakt of breekt. Schrijven is bij RAID5 namelijk een ingewikkeld proces dat een intelligent ontwerp vereist om te voorkomen dat de fysieke schijven continu moeten swappen, met alle performanceproblemen van dien.

Bij een system crash is je filesystem sowieso niet meer sync, ook niet met een hardware kaart met BBU. Het maakt natuurlijk wel uit of een paar writes of een paar honderd writes verloren zijn gegaan. De oplossing voor dit probleem is journaling (in de breedste interpretatie, dus ook ZIL van ZFS valt hieronder). Een journal kan verloren buffers opvangen omdat het kan achterhalen op welk moment het mis ging en waar het systeem mee bezig was op dat moment. De journal kan dan de writes terugdraaien of alsnog uitvoeren, en bereikt daarmee weer een consistente status.

Voor FreeBSD heb je twee goede opties als je journaling wilt:

• UFS met geom_journal
• ZFS

ZFS gebruikt een licht journal maar wel met minder performance impact dan geom_journal. Laatstgenoemde moet alle data twee keer schrijven, wat vooral bij sequentiële I/O de snelheid minimaal halveert. Gelukkig is geom_raid5 wel snel, maar je zult iets van 8 schijven moeten hebben om dan nog aan 100MB/s write te zitten. Reads zijn dan natuurlijk wel stukken sneller. geom_journal is een ijzersterk journal dat zowel metadata als file data in zijn journaling opneemt. NTFS en Ext3 doen alleen journaling voor de metadata, en biedt dus minder veiligheid.

Zelf gebruik ik geen journaling, maar gebruik ik een backup server waar ik snel mee kan syncen als dat moet. Tot dusver werkt alles heerlijk: de keer dat een server niet bereikbaar was geworden kon ik zo omwisselen naar mn backup server. Natuurlijk is zo'n setup niet voor iedereen weggelegd.

Over de performance met 8 schijven:


Software RAID0 (geom_stripe) - 8-disks 128KiB stripe
UFS 32K read: 386MB/s (64 blocks Read Ahead (vfs.read_max))
8 block RA = 227MB/s
64 block RA = 386MB/s
128 block RA = 401MB/s
UFS 32K write: 485MB/s

gjournal performance (16GB file) on 32k UFS
read: 374MB/s
write: 108MB/s


Software RAID5 (geom_raid5 PP with 250 cache buckets) - 8-disks 128KiB stripe
raw write: 470MB/s

UFS 32k
read: 341MB/s (64 block RA, 361MB/s with 256 block read-ahead)
write: 323MB/s

gjournal performance (16GB file) on 32k UFS
read: 364MB/s
write: 99MB/s


Software RAID5 (geom_raid5 EFF/TNG with maxwql=200) - 8-disks 128KiB stripe
raw write: 478MB/s

UFS 32k
read: 359MB/s (64 block RA, 357MB/s with 256block UFS read-ahead)
write: 358MB/s

gjournal performance (16GB file) on 32k UFS
read: 344MB/s
write: 135MB/s

Zoals je ziet werkt schrijven naar software RAID5 + journaling nog beter dan naar RAID0 + journaling.

[Verwijderd]

DukeBox schreef op zondag 20 januari 2008 @ 21:46:
*Een hardware controller heeft geen invoeld van het OS, als deze spontaan reboot blijft de data in de controller beschikbaar

Een hardware controller kan zeker wel van invloed zijn op een systeem want hardware controllers zijn niet 100% crash proof met alle ellende van dien. Wat dat betreft is er geen verschil is tussen Software RAID i.c.m een betrouwbaar operating system en Hardware RAID van een A-merk.

[Verwijderd]

Verwijderd schreef op zondag 20 januari 2008 @ 22:16:
Een hardware controller kan zeker wel van invloed zijn op een systeem want hardware controllers zijn niet 100% crash proof met alle ellende van dien. Wat dat betreft is er geen verschil is tussen Software RAID i.c.m een betrouwbaar operating system en Hardware RAID van een A-merk.

Oke strict genomen kan de hardware RAID controller zelf stuk gaan en dat je daardoor een inconsistent filesystem hebt, maar dat zijn echt uitzonderingen hoor.

Veel vaker gebeurt het dat je systeem crasht, stroomstoring of iemand die op reset drukt. Dan ben je je dirty buffers (die op de schijf horen maar nu nog in de RAM staan) dus wel mooi kwijt. En daardoor ben ik zelf al een aantal files kwijt geraakt, dus DukeBox heeft zeker wel een punt.

Maar de hardeschijven hebben zelf ook een write buffer die ook verloren gaat als de stroom uitvalt. Je kunt die uitschakelen maar dat verlaagt de schrijfprestaties aanzienlijk (2.2MB/s max ofzo). Een BBU (Battery Backup Unit voor b.v. Areca) beschermt je niet tegen de write buffer van je hardeschijf, alleen de geheugenchipjes op je Areca. Dus zelfs met Hardware RAID + BBU ben je nog lang niet veilig tenzij je ernstige consessies doet aan de performance.

Ik moet daarbij wel zeggen dat je mogelijk door gebruik van NCQ sneller kunt schrijven met de HDD write buffer uitgeschakeld, maar ook NCQ zou als een vorm van write buffer gezien kunnen worden (bij SATA max 32 I/O requests waarbij SCSI TCQ tot 128 gaat meen ik).

Mijn conclusie is dus dat als je hoge eisen aan veiligheid stelt je journaling moet gebruiken, en dan een journal sterk genoeg om je RAID-adapter er uit te lopen. Een 32MB journal is b.v. niet groot genoeg voor een Areca met 256MB onboard geheugen, een journal kan dan niet of deels zijn beschermende werking bieden. Ik raad aan een partitie op je systeemschijf te maken alleen voor de journal Je kan b.v. op je systeemschijf een partitie maken voor de journaling en die dan 4GB groot maken. Maar wat onoverkomelijk is: wat er op het fatale moment geschreven werd naar de array is niet 'afgemaakt' en zal dus òf helemaal verdwijnen òf gedeeltelijk blijven bestaan na een reset en de daarop volgende journal replay/resync.

[ Voor 10% gewijzigd door Verwijderd op 20-01-2008 22:49 ]

[DukeBox]

Enlightenment schreef op zondag 20 januari 2008:
Bij een system crash is je filesystem sowieso niet meer sync, ook niet met een hardware kaart met BBU. Het maakt natuurlijk wel uit of een paar writes of een paar honderd writes verloren zijn gegaan. De oplossing voor dit probleem is journaling (in de breedste interpretatie, dus ook ZIL van ZFS valt hieronder). Een journal kan verloren buffers opvangen omdat het kan achterhalen op welk moment het mis ging en waar het systeem mee bezig was op dat moment. De journal kan dan de writes terugdraaien of alsnog uitvoeren, en bereikt daarmee weer een consistente status.

Ja en nee, journaling is idd dé oplossing voor crashende systemen, maar niet voor verloren write-back cache. Veelal is de WB cache al gecommit naar het OS en daarmee uit de log geflushed.
Bij een crash is dat dus niet meer terug te bouwen.

Enlightenment schreef op zondag 20 januari 2008:
Maar de hardeschijven hebben zelf ook een write buffer die ook verloren gaat als de stroom uitvalt. Je kunt die uitschakelen maar dat verlaagt de schrijfprestaties aanzienlijk (2.2MB/s max ofzo). Een BBU (Battery Backup Unit voor b.v. Areca) beschermt je niet tegen de write buffer van je hardeschijf, alleen de geheugenchipjes op je Areca...

...maar ook NCQ zou als een vorm van write buffer gezien kunnen worden.

Een echte raid controller schakeld de HDD cache uit, NCQ is dan inderdaad wel noodzakelijk om goede performance te behouden maar ook hier heb je als voorbeeld dat bij SAS dit in de controller wordt gedaan en hiermee is dus ook de cache gewaarboorgd door BBU.

Enige voordeel van HDD cache is dat deze niet verloren gaat bij een OS crash, alleen bij power failure (en dat is weer met een UPS te ondervangen).

[Verwijderd]

DukeBox schreef op zondag 20 januari 2008 @ 23:00:
[...]

Ja en nee, journaling is idd dé oplossing voor crashende systemen, maar niet voor verloren write-back cache. Veelal is de WB cache al gecommit naar het OS en daarmee uit de log geflushed.
Bij een crash is dat dus niet meer terug te bouwen.

Toch wel. De reboot na een crash komt de journal weer tot leven en ontdekt dat er niet netjes is afgesloten. De journal kan zien in welke fase het mis gegaan is en neemt dan de juiste actie. Stel dat een journal switch aan de gang was, de journal werd dus naar fysieke disk weggeschreven. Als het daar mis gaat, schrijft het de journal gewoon opnieuw weg, alle data die op de disk thuishoort staat immers nog in de afgesloten journal.

Als er nog niet gecommit is, dan heb je ook geen inconsistent filesystem omdat alleen de journal inconsistent is, die wordt dan weggeflikkerd en wat je op dat moment aan het schrijven was, ben je dan dus gewoon kwijt (als de file al bestond houdt deze zijn originele data). Met andere woorden: journaling kan ook bij verloren dirty buffers voor een consistent filesystem zorgen.

Journaling zoals NTFS dat implementeert (metadata-only journaling), is niet opgewassen tegen de grote write-back van bijvoorbeeld Areca. Daar kun je dus wel een corrupt filesystem krijgen als het goed mis gaat.

Een echte raid controller schakeld de HDD cache uit, NCQ is dan inderdaad wel noodzakelijk om goede performance te behouden maar ook hier heb je als voorbeeld dat bij SAS dit in de controller wordt gedaan en hiermee is dus ook de cache gewaarboorgd door BBU.

Ah ja NCQ kan idd nog gedekt worden door de BBU. Ik weet niet of Areca een "echte RAID controller" is voor jou, maar daarbij heb je gewoon de optie om de HDD write buffer in of uit te schakelen. Standaard staat die op enabled meen ik, en ik gebruik zelf geen BBU.

Enige voordeel van HDD cache is dat deze niet verloren gaat bij een OS crash, alleen bij power failure (en dat is weer met een UPS te ondervangen).

Oke, maar een rotte voeding beschermt een UPS je niet tegen. Mijn punt is: je blijft zelfs met dure apparatuur het gevaar houden van filesystem inconsistentie. De enige oplossing daarvoor, in mijn ogen, is journaling. En voor Areca of andere intelligente write-back mechanismen heb je daarvoor een sterke journal nodig die groot genoeg is voor alle buffers tezamen. Het BIO_FLUSH commando zorgt ervoor dat de fases die een journal doorloopt ook gerespecteerd worden door de diverse soft- en hardware die zich met dat proces bemoeien.

Het grote nadeel van sterke journaling is de grote write performance penalty. Met 8 disks haal je met Software RAID5 echter nogsteeds tot 135MB/s write, dus genoeg voor gigabit, maar veel mensen doen het met minder schijven.

[DukeBox]

Verwijderd schreef op maandag 21 januari 2008 @ 10:43:
Ah ja NCQ kan idd nog gedekt worden door de BBU. Ik weet niet of Areca een "echte RAID controller" is voor jou,

Jup.. vind dat een echte controller

Ben het wel met je eens hoor.. het enige wat ik probeer duidelijk te maken dat hardware raid best wel een paar voordelen heeft (met ook de bijbehorende nadelen natuurlijk) die je goed moet overwegen.. maar volgens mij bedoel jij het ook zo.

[ Voor 31% gewijzigd door DukeBox op 21-01-2008 11:53 ]

[Verwijderd]

Volgens mij zijn we er uit, leuke en leerzame discussie trouwens

[DukeBox]

Verwijderd schreef op maandag 21 januari 2008 @ 14:05:
..leuke en leerzame discussie trouwens

Vond ik ook wel.. tenminste een paar reacties met diepgang en goede scenario's.

[Verwijderd]

Bedankt voor alle reactie's!

Door alle opmerkingen hier ben ik toch gaan kijken naar de mogelijkheden van software raid.

Nou heb ik gehoord dat iedereen die volledige software raid gebruiken vrijwel allemaal Linux gebruiken. Zijn er mensen die ervaring hebben met Windows? Stabiel? (niet omdat ik Linux niks vind, maar verschillende programma's die ik nodig heb werken alleen onder Windows)

Ik hoor af en toe de term BBU langskomen. Is dit het stukje geheugen waar je buffer in weg word geschreven?

Nou wil ik mijn raid5 setup gaan gebruiken voor opslag en is het om te beginnen bedoelt om mijn bestanden veilig(er) op te slaan. Niet dat snelheid verbetering niet wenselijk is maar ik denk persoonlijk dat hardware raid beter hiervoor geschikt is, of word toch software raid aangeraden? (graag reacties)

Mijn moederbord ondersteunt geen raid 5, dus on board valt af.

Verder interessant zo'n discussie ben er niet veel tegen gekomen. Erg leerzaam.

groeten,
Tomboo

[ Voor 3% gewijzigd door Verwijderd op 21-01-2008 20:07 ]

[_Arthur]

Verwijderd schreef op maandag 21 januari 2008 @ 20:06:
Ik hoor af en toe de term BBU langskomen. Is dit het stukje geheugen waar je buffer in weg word geschreven?

Een BBU is een Battery Backup Unit (of Module). Deze hangt aan je raid controller.

Dit zorgt er voor dat je raidcontroller, ten tijde van een stroomuitval van je computer, toch de bitjes die in het geheugen zitten van de raidcontroller weggeschreven kunnen worden naar de hardeschijven. Zo blijft de data consistent.

[ Voor 3% gewijzigd door _Arthur op 21-01-2008 20:26 ]

[Mr Alfabet]

Ik heb een tijd geleden in exact dezelfde situatie gezeten. Toen heb ik besloten om een highpoint 2320 aan te schaffen, hardware raid, geen onboard processor, dus voor raid5 vraagt het nog steeds cpu kracht. Wat ik echter merkte is dat de snelheiden erg omlaag gaan als je meer dan 2 array's aanmaakt op dezelfde controller. (raid5 van 4 schijven +OS array = 100mbps, raid5 array los op de controller = bijna het dubbele). Dit soort controllers zijn dus perfect om veel data op te slaan, raid5 te gebruiken (cpu usage bij volledige belasting met een X2 3800@2.65Ghz was 15% ofzo, niets noemenswaardigs) en je data (inclusief controller) makkelijk te verplaatsen naar een andere pc. de 12poorts areca die ik nu heb is een heel ander verhaal: retesnel (5disks in raid5 = 250mbps average ofzo, 300mbps+ max), maar ook een heel andere prijscategorie.

in short:
goedkope, langzamere oplossing: highpoint (of vergelijkbaar)
+ goedkoop
+ gebruikt weinig cpu power (minder dan complete software raid, meer dan een controller met onboard cpu)
- langzamer

dus puur 'meer data'

dure, snelle, 'professionelere' oplossing: areca
+ retesnel
+ heleboel opties
+ 'voelt' stevig en degelijk
- duur ivm highpoint

niet alleen 'meer data' maar ook snellere data

and as post scriptum:
de reden waarom ik ben overgestapt is puur de snelheden: 100 vs 350mbps en toevallig kwam er een mooi 2e handsje mijn kant op waaien. Bovendien wilde ik uitbreiden boven de 2TB, en dus had ik meer poorten nodig (highpoint was 8 poorts, areca is 12). Mijn areca doet nu met 7 data disks in raid5 bijna 400mbps.

[Mentox]

_Arthur schreef op maandag 21 januari 2008 @ 20:26:
[...]

Een BBU is een Battery Backup Unit (of Module). Deze hangt aan je raid controller.

Dit zorgt er voor dat je raidcontroller, ten tijde van een stroomuitval van je computer, toch de bitjes die in het geheugen zitten van de raidcontroller weggeschreven kunnen worden naar de hardeschijven. Zo blijft de data consistent.

Maar hoe zit het dan met de stroom naar je HDD`s?

[Femme]

Mentox schreef op dinsdag 22 januari 2008 @ 18:08:
[...]

Maar hoe zit het dan met de stroom naar je HDD`s?

De stroomvoorziening van de harde schijven staat los van de bbu. De bbu voorziet alleen het geheugen van de raidcontroller van stroom.

Als je harde schijven wilt behoeden voor stroomuitval moet je een ups gebruiken.

[PcDealer]

Femme schreef op dinsdag 22 januari 2008 @ 18:29:
[...]

Als je harde schijven wilt behoeden voor stroomuitval moet je een ups gebruiken.

En ingeval van voedingfailure een redundant voeding gebruiken.

[ Voor 21% gewijzigd door PcDealer op 22-01-2008 18:34 ]

[DukeBox]

En een redundante UPS, en verschillende stroom groepen.. enz enz..
Maar zoals eerder genoemd, bieden de meeste controllers mogelijkheid de hdd-cache uit te schakelen of deze in write-through te gebruiken eventueel in combinatie met read-ahead.

[ Voor 15% gewijzigd door DukeBox op 22-01-2008 19:28 ]

[Mentox]

Femme schreef op dinsdag 22 januari 2008 @ 18:29:
[...]


De stroomvoorziening van de harde schijven staat los van de bbu. De bbu voorziet alleen het geheugen van de raidcontroller van stroom.

Als je harde schijven wilt behoeden voor stroomuitval moet je een ups gebruiken.

Als ik het goed begrijp blijft het geheugen voorzien van stroom, en wanneer de computer weer stroom heeft, wordt de data dat in het geheugen stond alsnog naar de schijven gekopieerd?

[PcDealer]

Mentox schreef op donderdag 24 januari 2008 @ 12:30:
[...]

Als ik het goed begrijp blijft het geheugen voorzien van stroom, en wanneer de computer weer stroom heeft, wordt de data dat in het geheugen stond alsnog naar de schijven gekopieerd?

Als je het over de controllercache hebt: ja.

[JShal]

Verwijderd schreef op maandag 21 januari 2008 @ 20:06:
Bedankt voor alle reactie's!

Door alle opmerkingen hier ben ik toch gaan kijken naar de mogelijkheden van software raid.

Nou heb ik gehoord dat iedereen die volledige software raid gebruiken vrijwel allemaal Linux gebruiken. Zijn er mensen die ervaring hebben met Windows? Stabiel?

Ik heb zelf even gespeeld met RAID 1 (Mirror) van twee schijven onder XP, standaard ondersteuning bij Diskmanagement. Zelf heb ik er slechte ervaringen mee, maar dat kwam door mijn CPU (AMD Athlon 1600+). Deze werd bij volledige belasting iets te warm, waardoor hij fouten maakte met het mirroren. Bij normaal gebruik zag je hier niets van, totdat bleek dat al mijn JPG's van mijn EOS300D beschadigd waren (bitjes omgevallen, 7000 foto's reddeloos verloren). Ik kon geen schijfcontrole meer uitvoeren. Dus test in ieder geval zeer goed je CPU zou ik zeggen, zelfs bij mirror kan al corruptie ontstaan, laat staan in RAID 5 (is een hack voor te vinden op internet voor XP).
Anyway, bij mirror onder XP werd mijn CPU volledig belast bij het schrijven van data. Maar moderne CPU's moeten dit wel makkelijk aankunnen, ook RAID 5.