Windows RAID 5, SATA-controller vervangen

[JDTeunis]

Beste tweakers,

Ik ben bezig een homeserver te bouwen waar ik RAID 5 op wil gaan draaien. Mijn idee is om dit gewoon met de Windows diskmanager te doen, de schijven wil ik gaan aansluiten op een DeLOCK 4-poorts sata controller. De reden dat ik deze controller wil gaan gebruiken is omdat ik 'm al heb liggen. Deze controller kan zelf geen RAID 5 dus dat wil ik softwarematig laten doen door Windows. In eerste instantie wil ik hier 3 harde schijven van 2TB aanhangen, later wil ik er eventueel meer aan toevoegen of schijven vervangen.

Nu vroeg ik me af wat er gebeurd als de controller defect raakt, of wanneer ik besluit dat ik toch 6 schijven wil aansluiten, en dus een andere controller ga aansluiten. Kan Windows de schijven gewoon herkennen als zijnde een RAID 5-array wanneer deze op een andere controller worden aangesloten?

Daarnaast vroeg ik me af of het met de Windows diskmanager mogelijk is om extra schijven aan een bestaande RAID 5-array toe te voegen?

De server zal puur worden gebruikt voor de opslag van foto's en documenten, de performance is dus niet erg van belang. De redundantie is juist erg belangrijk. Vandaar dat mijn voorkeur op dit moment uitgaat naar een softwarematige RAID 5 oplossing.

Alvast bedankt voor alle reacties, uiteraard sta ik ook open voor overige tips of suggesties mbt RAID of homeservers.

Groeten!
Jim

[Verwijderd]

Ik hoor hier zo weinig over dat ik twijfel of het een handige mogelijk is van Windows. Als je veiligheid en flexibiliteit wil kan je toch het beste uitwijken naar een deticated RAID kaart. Een goedde RAID controller hoeft 2e hands niet veel te kosten en zijn vele malen sneller ook nog is.
Voor wat ik weet moet je altijd volumes initialiseren voor dat je ze kan gebruiken of dit ook voor JBOD geld weet ik niet.

[Witte]

Als je nu al weet dat je in de (nabije) toekomst een andere controller gaat gebruiken, zou ik dat meteen doen. Dan kan je ook als je wil, booten vanaf een Raid-array.
Wat denk je van 2 kleinere schijven in een Raid-1 voor je OS+software en 3 grote schijven in Raid-5 voor opslag. De meeste controllers kunnen 2 arrays aan.
Bij de meeste hardware-arrays kan je gewoon schijven toevoegen en je array groter maken. Bij software-arrays zal je third-party software nodig hebben.
Een ander voordeel is, dat je ooit besluit een ander OS te installeren, je de Raid-5 array gewoon kan blijven gebruiken. (een linux live-cd zal je array gewoon zien, en je data is beschikbaar!)

Voor € 160 heb je deze: http://tweakers.net/price...t-rocketraid-2720sgl.html
Op marktplaats koop je voor € 75 al een 8 poort SATA-300 Raid-controller.

[ Voor 31% gewijzigd door Witte op 09-01-2013 00:01 ]

[Verwijderd]

@Witte, de controller waar je naar linkt is niet een echte hardware RAID controller; veel van de functionaliteit wordt namelijk op de host uitgevoerd middels een binary blob. Een dergelijke controller is iets tussen hardware RAID en software RAID in, maar zou ik zeker geen hardware RAID noemen.

Je bovenburen, larsiano, heeft een HighPoint RocketRAID 3520. Dat is wel een 'echte' hardware RAID controller met Intel IOP processor en eigen onboard geheugen. De Highpoint 2000 series wordt soms hybrid RAID of hardware assisted genoemd, maar is eigenlijk maar een vreemde eend met zijn binary blob driver.

Bij de meeste hardware-arrays kan je gewoon schijven toevoegen en je array groter maken. Bij software-arrays zal je third-party software nodig hebben.

Dat klopt voor Windows platforms, maar op het Windows platform heb je zeer karige software RAID ondersteuning. De meesten gebruiken RAID functionaliteit middels third-party drivers, zoals Intel of AMD onboard RAID. In elk geval Intel kan ook RAID level migration zoals van een enkele disk een RAID0 of mirror array maken of schijven toevoegen aan een bestaande RAID5 array.

Een ander voordeel is, dat je ooit besluit een ander OS te installeren, je de Raid-5 array gewoon kan blijven gebruiken. (een linux live-cd zal je array gewoon zien, en je data is beschikbaar!)

Dat geldt ook voor onboard RAID. Een array gemaakt met diverse proprietary metadata formaten worden gewoon ondersteund door Linux en ook BSD. Dit kan omdat het formaat metadata wordt ondersteund en hierdoor de RAID configuratie kan worden uitgelezen. Vervolgens wordt de eigen software RAID functionaliteit van het besturingssysteem ingezet om de array toegankelijk te maken. Dit kan zonder verdere tussenkomst van de gebruiker volledig automatisch gebeuren.

Zolang je bij onboard RAID / FakeRAID blijft, kun je dus altijd onder andere operating systems bij je gegevens, ook al sluit je de hardeschijven aan op een andere controller.

[victorb]

Je kan beter een goedkope 2e hands Areca of iets vergelijksbaars kopen dan blind vertrouwen op windows raid5. Ik heb ook windows raid5 gedraait in 2007 en dat is toen keihard gecrasht. En mijn backup hd die netjes in de kast lag had een doorgebrande print plaat toen ik hem pakte. Tja.......

[Witte]

Verwijderd schreef op woensdag 09 januari 2013 @ 03:01:
[...]

Dat geldt ook voor onboard RAID. Een array gemaakt met diverse proprietary metadata formaten worden gewoon ondersteund door Linux en ook BSD. Dit kan omdat het formaat metadata wordt ondersteund en hierdoor de RAID configuratie kan worden uitgelezen. Vervolgens wordt de eigen software RAID functionaliteit van het besturingssysteem ingezet om de array toegankelijk te maken. Dit kan zonder verdere tussenkomst van de gebruiker volledig automatisch gebeuren.

Zolang je bij onboard RAID / FakeRAID blijft, kun je dus altijd onder andere operating systems bij je gegevens, ook al sluit je de hardeschijven aan op een andere controller.

OK, dat wist ik niet! Dus als je een Windows-software-RAID 5 hebt, en je Windows crasht compleet, dan kan een Linux Live CD'tje of een verse Windows-installatie gewoon de Raid-Array uitlezen en eventueel data veilig stellen? Ik zou het niet willen uitproberen met m'n familiefoto's, maar goed.

[DukeBox]

Houd er hoe dan ook rekening mee dat je niet kan booten van raid5 bij windows software raid.
Opzich is de windows software raid niet slecht, je kan gemakkelijk de HDD's aan een ander systeem hangen, dynamic disk's enablen en als de array compleet is (of minstens genoeg hdd's om de array handmatig online te brengen) komt deze automatisch online.
Performance technisch is windows software raid5 een stuk sneller dan goedkope software raid5 kaartjes. Als je er een UPS aan hebt hangen kan je ook alle caching aanzetten waarna de performance echt 'leuk' wordt.

[Tsurany]

Windows Software RAID werkt prima, snelheid is matig maar als dat geen issue is dan is het een prima systeem, zelf ook voor langere tijd gebruikt en dat werkte prima. Herinstallatie is geen issue, zodra hij een van de schijven ziet herkend hij de array, dus het is slechts een kwestie van alle schijven in het systeem houden of in een nieuw systeem stoppen en voila.
Je kan echter geen schijven toevoegen of verwijderen nadat de array gemaakt is, dat is wel een groot nadeel.

Zelf ben ik nu dan overgestapt naar FlexRAID waarbij je allerlei verschillende losse schijven kan combineren op allerlei wijze. Ook kan je hier de array eenvoudig uitbreiden mocht dat nodig zijn.

[JDTeunis]

Heel erg bedankt voor alle reacties!
We hebben besloten om toch maar voor een hardwarematige controller te gaan, vooral omdat we dan gemakkelijk extra schijven kunnen toevoegen.
Nou zag ik deze advernentie hier op tweakers staan, het gaat om een Highpoint Rocketraid 2320, zou dat een goede keuze zijn? Zo nee, wat voor controller zouden jullie mij dan aanraden? (van maximaal €100) En hoe herken ik een 'echte' hardwarematige controller?

[Witte]

Een echte hardware Raid-controller heeft, buiten een eigen Bios en controller-logica ook een rekeneenheid voor de pariteitsberekeningen. Meestal ook nog voorzien van een hoeveelheid ram-geheugen (cache) en soms een eigen backupvoeding.

[DukeBox]

^ precies, en <= €100 is niet echt het segment waar je dat in zal vinden. Mogelijk wel gebruikt/parts op v&a of e-bay e.d. De HP2320 is ook een zogenaamde 'Hardware Assisted' controller.
Zonder (BBU) cache zal zo'n controller ook geen geweldige prestaties neerzetten. Cache kan je soms wel forceren maar zoals eerder genoemd, wanneer je geen UPS hebt is er kans op data loss/curruptie bij uitval.

[ Voor 19% gewijzigd door DukeBox op 09-01-2013 14:34 ]

[Verwijderd]

Witte schreef op woensdag 09 januari 2013 @ 09:50:
OK, dat wist ik niet! Dus als je een Windows-software-RAID 5 hebt, en je Windows crasht compleet, dan kan een Linux Live CD'tje of een verse Windows-installatie gewoon de Raid-Array uitlezen en eventueel data veilig stellen?

Dat durf ik niet zo te stellen. Ik ken Windows' eigen software RAID namelijk niet goed genoeg. Maar in elk geval voor onboard RAID - wat de meeste RAID-gebruikers onder Windows platform draaien - gaat dat wel op.

Zelf ben ik huiverig voor de eigen RAID functionaliteit van Windows, die je via Disk Management aanstuurt. In het verleden was het namelijk niet moeilijk om de metadata te wissen en toegang te verliezen tot je data. Ik zou een dergelijke oplossing alleen aanraden als iemand er duidelijk baat bij heeft en zijn gegevens heeft beveiligd met een goede backup oid. Want RAID5 is een complex RAID level waar veel mis mee kan gaan; Windows software RAID5 was in elk geval vroeger een heel simpele implementatie zonder write buffering. Nu is daar wel write buffering aan toegevoegd zodat je sneller dan 10-15MB/s kunt schrijven, maar dat brengt ook weer risico met zich mee.

Mijn grootste bezwaar is dat je eigenlijk helemaal geen management interface hebt of iets van informatievoorziening. Of het werkt, of niet en in dat laatste geval is er weinig wat je kan doen behalve RAID-recovery op basis van Linux/BSD.

DukeBox schreef op woensdag 09 januari 2013 @ 09:59:
Performance technisch is windows software raid5 een stuk sneller dan goedkope software raid5 kaartjes.

Merk op dat het hier niet zozeer om hardwareverschillen gaat, maar vooral om softwareverschillen. De RAID wordt namelijk uitgevoerd op de host, de 'controller' is niets meer dan een SATA controller die zelf geen RAID accelereert of zich hiervan bewust is. Om die reden wordt onboard RAID vaak FakeRAID genoemd. Maar dat zegt nog niets over de kwaliteit van de softwarematige drivers die de RAID functionaliteit geheel verzorgen. De kwaliteit van Intel onboard RAID valt voor Windows begrippen zelfs deftig te noemen.

De snelheid van met name RAID5 hangt voor een groot deel af van de architectuur van de RAID engine, die vrijwel altijd softwarematig is uitgevoerd. Ofwel in Windows-only drivers, ofwel in firmware van Hardware RAID controllers.

De HighPoint 2xxx series is een betaalbare controller met veel features die hardware RAID ook heeft. Maar het heeft geen eigen XOR parity processor maar gebruikt je host resources (CPU+RAM) middels een binary blob driver. Ook een soort 'FakeRAID' dus, maar toch zou ik deze controller niet direct afraden.

Om nog even een misverstand weg te werken: XOR ofwel het berekenen van pariteit is zo'n beetje het makkelijkste wat je een processor kunt laten doen. De langzaamste processoren kunnen dit met meerdere gigabytes per seconde, in feite beperkt door de geheugenbandbreedte. De meeste cpu cycles ben je niet kwijt aan het berekenen van parity, maar aan het knippen en samenvoegen van I/O requests, zogenaamde write combining. Het is dus een mythe dat je een dedicated XOR processor nodig hebt voor snelle RAID5. Je host hardware is tig keer sneller.

Het draait dus allemaal om de implementatie van de RAID, om de RAID engine die dus in drivers of firmware kan worden uitgevoerd. Analoog hieraan is dat de prestaties van SSDs vooral afhangen van de controller, en niet zozeer van de NAND zelf. Het zijn namelijk de trucjes van de controller die een SSD zijn snelheid geven, of beter gezegd de performancebeperkingen van NAND te verhullen.

Dus HighPoint valt te overwegen voor een beperkt budget. Ik blijf persoonlijk van mening dat RAID5 te gevaarlijk is om op deze manier te draaien. De fout die mensen namelijk maken is denken dat ze met RAID5 goed beschermd zijn, en dus ook geen backup draaien. RAID5 is echter een complex en foutgevoelig RAID level waar de kans dat je je gegevens verliest zonder schijfuitval zeker aanwezig is. De schijnveiligheid kan dus juist gevaar opleveren, omdat je als gebruiker geen of minder aandacht besteed aan een backup.

[Tsurany]

Verwijderd schreef op woensdag 09 januari 2013 @ 18:19:
Mijn grootste bezwaar is dat je eigenlijk helemaal geen management interface hebt of iets van informatievoorziening. Of het werkt, of niet en in dat laatste geval is er weinig wat je kan doen behalve RAID-recovery op basis van Linux/BSD.

Wat zoek je dan precies? Want in disk management zie je toch genoeg aan satusinformatie? Ik heb het zelf een flinke tijd gedraaid, nooit problemen mee gehad.

[Verwijderd]

Nou als je opeens een dynamische disk hebt zonder drive letter, wat doe je dan? Het is opeens geen RAID-volume meer volgens Windows. Een klant had dit geval; uiteindelijk pijnlijke handmatige recovery onder Linux moeten uitvoeren.

Wat ik zoek is in elk geval iets van informatie of management. Je kunt met Windows via Disk Management eigenlijk niets behalve de RAID aanmaken of afbreken. Als een volume niet als RAID wordt aangemerkt, kun je niets zien hoe dat zou kunnen komen of dat de metadata nog aanwezig is.

Verder kun je niets instellen qua stripesize. Alleen write-back caching kun je nog regelen via volume properties. Al met al erg karig mag ik toch wel zeggen. Kijk eens wat je met Intel onboard RAID allemaal kan via de Rapid Storage Technology control panel. Laat staan Linux/BSD wat die voor mogelijkheden en informatie geven. Ik beschouw Windows eigen software RAID toch wel als 'poor mans RAID'. Dat wil niet zeggen dat de functionaliteit niet nuttig kan zijn voor diverse gebruikers. Maar al zoveel mensen hebben data verloren door slechte RAID implementaties dat 'men' wel wat wantrouwender zou mogen zijn.

[Tsurany]

Ik kon wel elke keer zien dat de array degraded was omdat een schijf miste. Nog niet meegemaakt dat ik niks meer kon zien.

[JDTeunis]

Sorry dat ik pas zo laat weer reageer, ik heb het even erg druk gehad met tentamens en dergelijke.

Naar aanleiding van dit topic heb ik besloten om toch maar voor een software RAID te gaan, maar dan niet in Windows, maar in Ubuntu Server. Alles lijkt al netjes te werken, maar na het een en ander gelezen te hebben over 'bit rot' denk ik erover om toch maar over te stappen op ZFS. Ik ga sowieso regelmatige back-ups maken op een externe harde schijf, maar als er (heel) af en toe ook corrupte data wordt geback-upped, heb ik daar alsnog niks aan. Vandaar dat ik naar ZFS zit te kijken.

Erg bedankt voor alle hulp in ieder geval, ik denk dat ik er wel uit kom vanaf hier. Eventuele tips of opmerkingen zijn natuurlijk altijd welkom.

[Tsurany]

ZFS is ook een prima optie maar heeft wel veel krachtigere hardware nodig, denk daar niet te licht over.

[Verwijderd]

Met ZFS heb je de juiste hardware nodig en over het algemeen andere hardware dan een op Windows-gebaseerde NAS. Maar het is niet zo dat je met ZFS heel krachtige hardware nodig hebt. Een goedkope AMD Brazos is al krachtig genoeg voor een instap ZFS NAS. Dat is toch wel erg low-end. Maar je moet er wel een redelijke hoeveelheid RAM in stoppen; minimaal 1x 8GiB en eigenlijk 2x 8GiB.

Maar tegen de tijd dat hij zich in ZFS wilt verdiepen is hij van harte welkom in de ZFS topics op dit forum. Voor nu lijkt Linux software RAID + backups mij een prima alternatief.

[JDTeunis]

Het is me vanmiddag gelukt om ZFS te installeren op Ubuntu en een RAID-Z array aan te maken. Ik heb het nog niet uitgebreid getest maar ik heb er wat data opgegooid en het lijkt te werken. Ook de snelheid is wel in orde. De server beschikt over een C2D E6600 en 4 x 1 GB ram. Ik begrijp dat dit niet veel is voor ZFS, maar lezen gaat met zo'n 16 à 17MB/s, en dat is voor mij genoeg op dit moment.

Nogmaals bedankt voor alle hulp, waarschijnlijk zullen jullie mij binnenkort wel in het ZFS topic verschijnen.