Welke harddisk voor FREENAS

[ChrisVrolijk]

Pff, ik zie echt even door de bomen het bos niet meer en ik hoop dat ik van iemand een goed advies kan krijgen.

Ik heb een SuperMicro ATOM bord met de Dell Perc 5/i erop. Ik wil op deze kaart graag 8 schijven van 2Tb of 1.5Tb aansluiten. Uiteraard hoop ik ook dat het een zuinig en stil systeem kan worden. Ik wil graag alle 8 schijven in RAID 5 plaatsen voor de betere performance en redundancy. Budget per disk is ongeveer 100 EURIES.

Maar nu nog de schijf. Eerst had ik mijn oog op de Seagate 1.5Tb disk. Deze had een probleem met de firmware waardoor e.e.a. mis gaat in RAID5. Toen gekeken naar de Western Digital WD20EARS. Deze disk had het probleem dat hij elke 8 seconden terug gaat naar zijn park stand. Dit is opgelost door een tool uit te brengen waarmee je de idle time kan aanpassen. HAPPY dacht ik. Nu lees ik elders dat deze disk geen TLER ondersteund en daardoor niet stabiel is in RAID5 oplossingen.

[Verwijderd]

Ik draai hier zelf met 24 Hitachi's 1 TB schijven verdeeld over 3 Raid5 setjes (8 schijven per set). Heb hier nog nooit last gehad van downspinnende schijven of welk probleem dan ook. Ze doen gewoon wat ze moeten doen dus. Misschien zijn de 2 TB Hitachi's wat voor jou? Volgens de pricewatch zitten ze nu rond de 82 euro per stuk, dus in je budget.

[Verwijderd]

FreeNAS ondersteunt GEOM RAID5 en ZFS RAID-Z; wat ga je gebruiken want daar zit enorm veel verschil tussen!

Je controller moet ook een AHCI/SATA controller (HBA) zijn en geen RAID controller. Als het een RAID controller is, gaan je schijven met bosjes uit de array vallen bij elke bad sector die langer dan 10 seconden recovery vergt. RAID controllers pikken dat niet en om die reden heb je TLER nodig, maar TLER verlaagt je bescherming weer tegen Bit-errors (BER).

Dus de beste setup is een non-RAID controller (HBA) in combinatie met Linux/BSD software RAID. FreeNAS is daartoe instaat, maar dan mag je géén RAID controller gebruiken. Als je je hieraan houdt, heb je geen TLER schijven nodig.

Samsung F4 2TB is mijn favo schijf; wel firmware applyen maar dan heb je een prima disk. Niet geschikt voor controllers die TLER vereisen. En het grote probleem is denk ik dat dat dus geldt voor jouw Dell controller, tenzij je hem kunt flashen naar non-RAID firmware?

[0rbit]

Ik weet niet maar ik vind de BER voor schijven net iets te hoog om er 8 van in RAID5 te hangen met geomraid. Ik zou toch voor ZFS kiezen dan.

Ik heb zelf ook 4x2TB Samsungs in software RAID5. Die bevallen goed. Kun je zo'n raid kaart niet gewoon "per poort" gebruiken? Dan zou je toch geen problemen moeten hebben met TLER.

[ChrisVrolijk]

Verwijderd schreef op donderdag 24 februari 2011 @ 16:24:
FreeNAS ondersteunt GEOM RAID5 en ZFS RAID-Z; wat ga je gebruiken want daar zit enorm veel verschil tussen!

Het zal ZFS RAID-Z worden want ik wil geen softwarematige RAID oplossing.

Verwijderd schreef op donderdag 24 februari 2011 @ 16:24:
Je controller moet ook een AHCI/SATA controller (HBA) zijn en geen RAID controller. Als het een RAID controller is, gaan je schijven met bosjes uit de array vallen bij elke bad sector die langer dan 10 seconden recovery vergt. RAID controllers pikken dat niet en om die reden heb je TLER nodig, maar TLER verlaagt je bescherming weer tegen Bit-errors (BER).

De DELL Perc 5/i is een RAID controller

Verwijderd schreef op donderdag 24 februari 2011 @ 16:24:
Dus de beste setup is een non-RAID controller (HBA) in combinatie met Linux/BSD software RAID. FreeNAS is daartoe instaat, maar dan mag je géén RAID controller gebruiken. Als je je hieraan houdt, heb je geen TLER schijven nodig.

Ik denk niet dat mijn processor software raid gaat trekken dus dit zou betekenen dat de schijven TLER moeten ondersteunen. Ik weet nog niet of de HITACHI's dat doen.

0rbit schreef op donderdag 24 februari 2011 @ 16:31:
Ik weet niet maar ik vind de BER voor schijven net iets te hoog om er 8 van in RAID5 te hangen met geomraid. Ik zou toch voor ZFS kiezen dan.

Ik heb zelf ook 4x2TB Samsungs in software RAID5. Die bevallen goed. Kun je zo'n raid kaart niet gewoon "per poort" gebruiken? Dan zou je toch geen problemen moeten hebben met TLER.

Dus 2x 4 Hitachi 2Tb schijven in RAID5 dan heb ik geen gedoe met TLER en BER?

[Verwijderd]

Ik heb een Areca en die flikkert ook gewoon schijven eruit, of je nou op passthrough disk, JBOD (dus zonder RAID) mode of als RAID set aanmaakt, dat maakt allemaal geen verschil.

Bij een RAID controller is de RAID firmware de baas. Die bepaalt wat er gebeurt, en als de disk een timeout geeft, beschouwt die firmware de hele disk als verloren (achterlijk!). Dat wil je dus niet, je wilt dat je OS directe controle heeft over de disk, dan heb je ook geen TLER meer nodig en ook nooit meer disks die zomaar uit de array vallen bij een bad sector.

ZFS is zelfs zo cool dat het redundante data gebruikt om de bad sector te repareren, dus bij een redundante array zou je dan geen problemen meer moeten hebben.

Een populaire keuze is de Intel SASUC8i controller, die ook werkt met FreeNAS. Die kun je met IT-firmware flashen zodat je een non-RAID controller krijgt. Die kun je vervolgens gebruiken voor ZFS. Maar er zijn meer mogelijkheden. Enige wat je dus niet moet doen is iets op basis van PCI of PCI-X, iets met expanders of port multipliers, of iets met RAID. Een non-RAID controller wordt een HBA (Host bus adapter) genoemd, dat is dus wat je wilt.

[Verwijderd]

ChrisVrolijk schreef op donderdag 24 februari 2011 @ 16:37:
Het zal ZFS RAID-Z worden want ik wil geen softwarematige RAID oplossing.

ZFS is software-based. Doorgaans is software RAID superieur aan hardware RAID, zeker op Linux/BSD platforms en zeker in het geval van ZFS.

De DELL Perc 5/i is een RAID controller

Zet hem op V&A of marktplaats en koop een échte HBA controller; het alternatief is dataverlies, gezeik, hoofdpijn en ellende met uitvallende disks; bespaar jezelf dat hele verhaal!

Ik denk niet dat mijn processor software raid gaat trekken dus dit zou betekenen dat de schijven TLER moeten ondersteunen. Ik weet nog niet of de HITACHI's dat doen.

ZFS draait op een 400MHz 1W CPU en met een Atom al 100MB/s in RAID5 (RAID-Z) dus wat is precies je bezwaar?

Dus 2x 4 Hitachi 2Tb schijven in RAID5 dan heb ik geen gedoe met TLER en BER?

Hitachi ondersteunt CCTL dacht ik, en dat werkt weer anders omdat die instelling na een power cycle verdwenen is; het is iets wat de controller moet sturen bij elke power on. Geen idee of jouw controller dat doet, ik zou er niet op gokken.

BER probleem heb je eigenlijk altijd last van, zeker bij 2TB+ disks met hoge data dichtheid. Die hebben een relatief hoge BER rate en betekent dat je steeds vaker te maken krijgt met BER in de praktijk. Voorbeeldje:

1) je 4-disk RAID5 draait prima, totdat.... een disk faalt; hè jammer!
2) nieuwe disk aangesloten en rebuilden maar, wat is RAID5 toch fijn!
3) oeps... een van de bestaande disks krijgt nu een onleesbare sector (BER). Afhankelijk van je RAID setup kan het gebeuren dat deze disk eruit wordt getrapt en dan ben je twee disks kwijt; dan stopt de rebuild en is je array failed. Met veel problemen en omwegen kun je nog wel data recoveren, maar dit is dus iets wat je wilt vermijden!

Met een non-RAID controller en ZFS, is het ergste wat kan gebeuren met BER dat individuele bestanden onleesbaar/ontoegankelijk worden. ZFS metadata heeft altijd meerdere kopiën en is dus beveiligd. Geen uitvallende disks, geen ontoegankelijke array, geen ellende, gewoon zpool status -v die aangeeft dat bestanden X, Y en Z niet meer leesbaar zijn. Fijn, weet je precies om welke bestanden het gaat.

Wil je betere bescherming tegen BER, dan kun je RAID-Z2 overwegen, zeg maar RAID6. Dan heb je twee parity disks; eentje voor het opvangen van BER en eentje voor een traditionele 100% gefaalde disk.

[ChrisVrolijk]

Hm, echt heel lastig allemaal.
Ik denk dat ik er heel verstandig aan doe om eerst maar eens 4x 2Tb aan te sluiten en kijken hoe dit bevalt voordat ik er gelijk 8 schijven tegenaan smijt.

[Verwijderd]

Weet wel dat alles prima werkt, totdat het fout gaat, en dan gaat het ook fout! Ik snap wel je dilemma, maar voor opslag kun je denk ik maar beter de juiste componenten gebruiken; eigenlijk juist goedkope componenten juist het dure spul is niet goed. Dat maakt het wel lastig als je al wat van het duurdere RAID spul in huis hebt. Daarom dat ik voorstelde om het 2e hands weg te doen zodat je voor niet al teveel geld een échte controller in huis kunt halen.

In plaats van de add-on controller kun je ook je chipset SATA gebruiken in AHCI of IDE (niet RAID) modus. Die zijn ook prima en met een modern systeem heb je 6 onboard SATA wat toch ook vrij redelijk is. Het is geen enkel probleem meerdere controllers te gebruiken, zoals de onboard chipset SATA en een addon PCIe controller; werkt prima. Alleen van PCI/PCI-X moet je afblijven en nooit meer gebruiken; alleen PCI-express of onboard chipset. PCI HBAs zijn erg buggy en moet je beslist niet doen.

[Nyxium]

Ik ben toch wel verbaasd wat ik hier nu lees, ik dacht dat software RAID 5 echt not done was omdat je CPU nogal belast met alle berekeningen. Maar RAID 5 in ZFS (RAID-Z) haalt dus gewoon aardige prestaties?

[Verwijderd]

Dat is onzin hoor, XOR is supermakkelijk en moderne CPU + RAM doet 7GB/s XOR; eigenlijk bottlenecked door geheugensnelheid alleen.

Een software RAID5 driver doet meer dan XORen alleen, dus het doet wel wat, maar zelfs een dualcore Atom D510 kan prima 100MB/s software RAID5 doen, misschien wel iets meer. Software RAID5 is wel complex en dus hangt het heel erg af van de driver/engine hoe goed met name je write performance is. Onboard RAID5 met Windows drivers is héél anders dan onder Linux of BSD met goede RAID5 drivers.

ZFS is weer beter dan RAID, met name om de veiligheid maar ook sommige performanceaspecten, zoals dynamische stripesizes; er zijn geen read-modify-write sequences meer wat het een stuk sneller maakt voor random writes. ZFS heeft wel behoefte aan héél veel geheugen, 8GB+ is aanbevolen. En 64-bit OS en CPU. Maar CPU valt wel mee, tenzij je andere dingen zoals compressie of encryptie gaat activeren.