Hardware RAID controller als normale SATA controller

[timberleek]

Hallo

In een freenas (0,7) servertje draai ik nu 3 sata schijven (2, 1 en 0,5TB). Dit wil ik binnenkort om gaan gooien. Ik wil met een stelletje nieuwe schijven zorgen voor een berg meer opslagruimte.

Het moederbord heeft echter maar 4 sata poorten, dus uitbreiding is nodig.
Nu heb ik voor 3 tientjes een LSI MegaRAID SAS 8344ELP kaart overgenomen (8x sas raid controller) met de gedachte deze te gaan gebruiken als sata controller.

Ik wist nog niet of ik hardware raid ging gebruiken, maar een hardware raid controller met 8 poorten voor 30 euro vond ik te mooi om te laten liggen. een normale sata controller is al duurder. Als ik niet gebruik ging maken van raid kon ik hem nog altijd gebruiken als normale sata controller.

Maar is dat ook zo?
Ik zat net wat rond te lezen en kwam onder andere deze post tegen:
Anoniem: 15758 in "Welke harddisk voor FREENAS"
met vooral dit stuk:

Ik heb een Areca en die flikkert ook gewoon schijven eruit, of je nou op passthrough disk, JBOD (dus zonder RAID) mode of als RAID set aanmaakt, dat maakt allemaal geen verschil.

Bij een RAID controller is de RAID firmware de baas. Die bepaalt wat er gebeurt, en als de disk een timeout geeft, beschouwt die firmware de hele disk als verloren (achterlijk!). Dat wil je dus niet, je wilt dat je OS directe controle heeft over de disk, dan heb je ook geen TLER meer nodig en ook nooit meer disks die zomaar uit de array vallen bij een bad sector.

klopt dit? Stel dat ik er schijven in hang zonder raid, blijft de controller dan zo streng en gooit hij de disk eruit als er een bad sector is (in plaats van de ...seconden aan retry's)? In dat geval zou de kaart redelijk nutteloos zijn. De consumenten schijven hebben geen TLER die dat een beetje afvangt (al is het nog redelijk belabberd) en zouden dus bij elke bad sector eruit geknikkerd worden.

Voor hetzelfde geld ga ik wat doen met ZFS, dan neem je sowieso al schijven zonder TLER, maar dan zou de raid controller ook bij elke slechte sector de disk "afschrijven" en daarmee ZFS panisch maken (die denkt dat dat de schijf dood is).

Wie heeft hier verder ervaring mee? (een hardware raid controller gebruiken als sata controller).

ben benieuwd naar jullie ervaring/kennis hiern

bedankt
timberleek

ps: het is nog niet van direct belang, want er zijn nog geen schijven en nog even geen tijd, maar ik zit me wel vast in te lezen op het wel en wee van deze materie. En dan kom je wel eens wat tegen...

[timofp]

Toevallig, ik las CiPHER zijn comment ook en had daar ook meteen vragen bij voor mijn eigen server. Wilde echter het topic niet kapen en omdat mijn vraag niet dringen is had ik nog geen topic gestart.

Anyway, ik vraag me ook hetzelfde af. Ik heb wel nog geen controller aangeschaft. Maar mijn server draait op WHS met Stablebit Drivepool voor de creatie van één grote opslag pool (werkt prachtig). Momenteel zijn ook alle 10 mijn SATA aansluitingen op het moederbord in gebruik.

Ik zoek dus naar de beste manier om het aantal sata poorten uit te breiden, liefst 6 poorten. Ik wil een goede performantie halen, een kleine 100 Megabyte/sec doorvoersnelheid is echter voldoende. Maar ik wil ook niet overdreven veel betalen voor RAID functionaliteit welke ik niet gebruik en dus zeker niet indien deze functionaliteit nadelig kan zijn.

Heb zoals CiPHER weet onlangs een bad sector gehad, dus wil niet als ik dit in de toekomst heb dat alles eruit geknikkerd wordt.

[ Voor 7% gewijzigd door timofp op 28-01-2013 23:41 ]

[timberleek]

Op zich zal dit meer een discussietopic worden als een aankoopadvies oid. Wat mij betreft, doe lekker mee.

offtopic:
zo'n drivepool ken ik overigens niet, klinkt een beetje als JBOD. Ook eens op inlezen

[Anoniem: 15758]

Even als moderator: ik vind het juist heel goed dat je hier een apart topic voor opent, dat voorkomt dat interessante discussies soms een topickaping teweegbrengt of uit vrees daarvoor niet gevoerd wordt. Juist deze discussies zijn denk ik heel interessant voor een forum als GoT. Dus wat mij betreft mag dit wel vaker gebeuren: discussietopics over échte storage vraagstukken.


Mijn ervaring met Hardware RAID / Areca
Zoals gezegd heb ik dus ervaring met Areca ARC-1220, specifiek met firmware 1.43 uit mijn hoofd. Het kan natuurlijk zijn dat nieuwe firmware het gedrag van de controller veranderen. Maar met de firmware die ik heb getest, was geen enkele instelling voldoende om te voorkomen dat disks met bad sector niet onzichtbaar werden (detached). Soms moest ik ook opnieuw in de Areca BIOS de passthrough disk aanmaken, dus simpelweg rebooten werkt dan ook niet. Kortom, dit wil je niet voor je ZFS NAS.

Echter, jij hebt een LSI MegaRAID controller gekocht, ik weet van de LSI 1068E dat het 'RAID BIOS' van die controller ook timeouts kan instellen van de disks. Ik denk dat die waarden in IT-mode (non-RAID) firmware wellicht niet gebruikt worden; maar hoe het precies zit weet ik ook niet helemaal. Maar het goede nieuws is dat het prima mogelijk is dat LSI veel beter op bad sectors reageert en gewoon een I/O error terugstuurt in plaats van de disk onzichtbaar maakt. Hoe het precies zit, weet ik niet. Ik heb in elk geval heel weinig informatie van problemen met LSI controllers en bad sectors.

Maar Intel en andere Windows-based 'FakeRAID' aka 'onboard RAID' maar eigenlijk: driver RAID gedragen zich op een vergelijkbare manier. En om te begrijpen waarom moet je ongeveer weten hoe een RAID engine werkt en tegen welke uitdagingen je aanloopt om corruptie te voorkomen. Want bijvoorbeeld RAID5 kan op tig manieren corrupt raken; allerlei andere scenario's. De driver/engine moet dan voor elk scenario een bescherming bieden, vaak in de vorm van metadata die bepaalde condities opslaat, waar de engine firmware of driver gebruik van maakt.


Wat kun je het beste doen?
Waarom probeer je die LSI MegaRAID controller niet eerst een tijdje. Als je er problemen mee krijgt, koop je een IBM M1015, 2e hands (ebay) of nieuw. Deze controller is gewoon erg populair onder ons ZFS volk.

Als je moderne 1TB EARX schijven neemt hoef je denk ik ook niet lang te wachten op bad sectors. Bij een systeem van een familielid hadden 4 van de 6 schijven bad sectors (current pending sector) na een aantal maanden al. Geen enkel probleem voor ZFS dat draait vrolijk verder, maar als je dan hardware RAID had gedraaid?! Brrr...

En dan denk ik aan die algemene wijsheden 'RAID5 beschermt tegen de uitval van één disk' evenals 'de kans dat twee schijven tegelijkertijd sterven, is erg klein'. Vaak denken mensen dan aan een kapotte voeding en dat soort inderdaad vrij zeldzame oorzaken. Maar iets wat naar mijn inzicht meer dan 50% van alle RAID failures inhoudt, namelijk incompetente firmware die de failure veroorzaakt, daar heeft niemand het over. Analoog hieraan heeft iedereen het over beperkte hoeveelheid writes die SSDs kunnen hebben, maar veel minder bekend is de (lage) betrouwbaarheid van SSD controller firmware. Dat zijn natuurlijk de échte issues waar je op moet letten. Niet de <0,1% risico's.

timberleek schreef op maandag 28 januari 2013 @ 23:31:
klopt dit? Stel dat ik er schijven in hang zonder raid, blijft de controller dan zo streng en gooit hij de disk eruit als er een bad sector is (in plaats van de ...seconden aan retry's)? In dat geval zou de kaart redelijk nutteloos zijn. De consumenten schijven hebben geen TLER die dat een beetje afvangt (al is het nog redelijk belabberd) en zouden dus bij elke bad sector eruit geknikkerd worden.

Voor hetzelfde geld ga ik wat doen met ZFS, dan neem je sowieso al schijven zonder TLER, maar dan zou de raid controller ook bij elke slechte sector de disk "afschrijven" en daarmee ZFS panisch maken (die denkt dat dat de schijf dood is).

Nou, je data is met ZFS nog steeds veilig als dit gebeurt, want je kunt simpelweg opnieuw de passthrough disk aanmaken of rebooten en dan boot ZFS gewoon weer en is alles in orde. Maar als je OS ook op dezelfde ZFS volume zit, zoals bij ZFSguru veelal gebeurt, dan crasht ook je besturingssysteem en moet je dus de resetknop gebruiken. Soms dan ook opnieuw de RAID BIOS in en passthrough disk maken. Kortom, dat heeft een hoog hoofdpijn-gehalte.

Het enige wat ZFS kapot kan krijgen, is als je Areca in write-back mode draait zonder battery backup unit. Dan negeert de controller namelijk de flush commando's van ZFS en bij een stroomonderbreking kan dit de boundaries tussen ZFS metadata overtreden, het gaat er namelijk om dat bepaalde writes van de oh zo belangrijke filesystem metadata, gegarandeerd in een bepaalde volgorde moeten plaatsvinden.

ps: het is nog niet van direct belang, want er zijn nog geen schijven en nog even geen tijd, maar ik zit me wel vast in te lezen op het wel en wee van deze materie. En dan kom je wel eens wat tegen...

Daar hebben we GoT voor, toch? Van hoogwaarde fora komt vaak toch de beste informatie van kenners in hun vak- of interessegebied, terwijl officiële informatie of algemeen geaccepteerde 'waarheden' vaak (bewust) onjuist, incompleet of misleidend zijn. Als forumleden is de informatie die wij delen potentieel heel waardevol, vooral omdat wij een relatief onafhankelijke positie hebben.

[timberleek]

Hem gewoon proberen is geen gek idee denk ik. Ik zal ook even kijken hoe het staat met de smart data van de schijven. Er zit wel leuk verschil tussen de schijven. de 500GB is bufferschijf voor torrents en doet dus aardig wat random io. De andere 2 zijn gewoon permanente opslag van films en series. Waar de data lang niet aangeraakt wordt.

Overigens denk ik wel dat ik een aparte bootschijf neem. Dat is nu ook een usb stick, de schijven gaan na verloop van tijd in slaapstand. Ik weet dat temperatuursverschillen slechter zijn voor schijven als lang draaien, maar aangezien de server soms dagen niet wordt aangesproken leek slaapstand me toch beter verdedigbaar.


Dat de software raid (of zfs) wel blijft bestaan bij een uitgeworpen schijf weet ik, maar het is ook vervelend om telkens de server opnieuw te moeten starten en alles weer op orde te brengen zodra hij een slechte sector vind. Helemaal omdat zfs zelf dat prima af kan handelen.

Mijn LSI heeft overigens ook geen battery backup unit. De server zit wel achter een usp die een shutdown commando geeft voordat hij leeg raakt. Dan is een battery backup toch niet nodig? De controller schrijft dan alle buffers leeg voordat hij afsluit. Of is de battery backup voor meer als alleen de bufferperiode overbruggen?