ST30000DM001 Raidcontroller HDD compatibility

[Anoniem: 464321]

Hey,

Heb enkele dagen geleden 4*ST30000DM001 gekocht voor 99Euro elk.
Vond dat geweldige prijs voor 3Tb schijven.
Dacht nu eindelijk is een Raid 5 in men fileserver te steken maar merk nu dat die HDs dus niet op de support lijst van HDDs voorkomen bij geen van beide raidcontrollers die ik hiervoor overweeg te kopen.
De Areca ARC 1222
of de LSI Megaraid 9240-8i.
Nu is men vraag, hoe groot is de kans dat ik problemen heb hiermee?

En over die controllers ook de vraag als iemand slimmer dan mij dat kan vinden of die heeft:
Welke Fysieke grootte van harde schijven kunnen die aan? Want ze vermelden wel "Greater than 2TB per volume set (64-bit LBA support)" en ">2TB logical drive support" maar daar leest mijn ITkameraad dus helemaal niet welke fysieke grootte ze aankunnen. Er staan nu wel andere 3Tbs in HDD support list, mag ik er dan van uitgaan dat ze minstens 3Tb herkennen?

[LightStar]

Das idd een mooie prijs heb je die via V&A gekocht of via een webshop ? in dat laatste geval welke webshop ?

Je zou ook nog de IBM M1015 controller kunnen overwegen deze kan overweg met >2TB schijven en is tevens geschikt voor ZFS (na flashen controller)

[Voor 43% gewijzigd door LightStar op 26-06-2012 11:24]

[rookie no. 1]

Of softraid van je OS. Scheelt weer een controller en vaak wat flexibeler in geval van een crash om te gebruiken in andere hardware.

[CiPHER]

64-bit LBA = 18446744073709551616 sectoren van 512-bytes dus 8589934592 tibibyte.
Zonder 64-bit LBA support is er 48-bit LBA support, maar in de praktijk is deze vaak tot 32-bit LBA beperkt. Dat is het probleem, want op 32-bit LBA ligt de 2 tibibyte grens (2048 gibibyte). Kortom, 3TB en hoger zou geen probleem mogen zijn met échte 64-bit danwel 48-bit LBA ondersteuning. Als 48-bit LBA wordt gezegd, wordt helaas vaak 32-bit bedoeld.

Maar je gaat wel consumentenschijven zonder TLER combineren met RAID controllers die alleen met enterprise schijven overweg kunnen. Areca is een goed voorbeeld van een controller die erg strict is met timeouts. Gevolg is dat je schijven uit de RAID set zullen worden gegooid zodra je een onleesbare sector hebt, een bad sector. Dit maakt dat je nauwelijks een betrouwbaar opslagmedium kunt creëren ook al gebruik je RAID6. Het is niet moeilijk om de helft van de schijven uit de RAID set te krijgen. Dat gebeurt vanzelf zodra ze een keer een wear sector tegenkomen. De is gewoon superstreng voor de schijven: óf ze doen precies wat de controller willen óf als ze niet op tijd luisteren flikkert de controller de schijven er gewoon vanaf, alsin het vernietigen van de metasector en ze resetten naar non-RAID disk / non-member disk. Niet meer onderdeel van de RAID array dus.

Ik weet totaal niet wat je wilt bereiken, enkel dat je RAID5 in gedachte had. Ik zou eens goed overwegen wat je precies wilt en hoe je dat gaat doen. Want je huidige plan is eigenlijk een doodlopende weg. Wil je goede betrouwbaarheid en ga je die fileserver helemaal 'dedicated' maken voor het serveren van bestanden, dan kun je inderdaad ZFS overwegen. Maar er zijn veel meer oplossingen afhankelijk van je wensen. Heb je je hier al in verdiept?

[Anoniem: 464321]

@lightstar: gekocht op Dreamhack LAN.

@cipher: Is voornamelijk fileserver maar wil hem nog voor andere dingen kunnen gebruiken(ooit).
ZFS klinkt geweldig maar ik ben geen linuxfan in zin van ik kan het absoluut niet deftig gebruiken. En ik wil nog dingen met men server willen kunnen doen na het opzetten van de fileserver, ben zeker dat ik dat opzetten wel zou kunnen met internet maar om daarna voor elk ding te moeten googlen zint me niet echt. En ZFS is momenteel nog enkel solaris of niet?
Simpel gezien wat ik wil bereiken is eigenlijk meer aansluitpunten voor HDDs op men MOBO en liefst als 1 logische drive(op een windows server platform). En een Raid 5 met hardwarecontroller zou dat voor mij doen.
Betrouwbaarheid, als in nooit iets verliezen, is van minder belang want 60% kan ik toch zo terugvinden.
Betrouwbaarheid als in goede schijven er niet uitsmijten is dan wel belangrijk natuurlijk, daarom dat ik hier vragen zit te stellen
Want ik las zo tussen de regels door wat je mij hiernet antwoorde
Zijn er Raidcontrollers die met consumentenschijven overweg kunnen? De reden dat mijn keus tussen deze 2 ligt is enkel omdat ze in men lokale pcshop te krijgen zijn.
Of welke alternatieven zijn er nog buiten ZFS?

[Voor 4% gewijzigd door Anoniem: 464321 op 26-06-2012 13:17]

[CiPHER]

Om consumentenschijven te gebruiken moet je geen hardware RAID en geen Windows RAID gebruiken. Wat overblijft is dus non-Windows software RAID. Dat is bijna altijd goed. Mits de schijven op een normale HBA controller zijn aangesloten, waarbij het OS bepaalt hoe het met HDD timeouts omgaat, en niet de controller zelf.

Alternatief voor ZFS? Software RAID in combinatie met een legacy filesystem (Ext4, XFS, UFS), dat werkt vrijwel overal. Nadeel is dat je veel minder bescherming hebt tegen corruptie en bad sectors. Dat is nou juist het gemak en voordeel van ZFS.

ZFS draait op meer platforms dan Solaris. FreeBSD is de grootste, terwijl Linux ook nog wat aanmoddert met een module die je zelf moet compileren. Mijn advies, wil je ZFS eens proberen begin dan simpel. Iets wat 'gewoon werkt'. Dus pak FreeNAS of ZFSguru, installeert het en binnen een kwartier draai je een ZFS opslagserver die je vanuit je Windows-omgeving kunt aanspreken als één groot volume.

[Anoniem: 464321]

Ik kan eigenlijk wel wat experimenteren, komt in nieuwe case met ander MOBO dan men huidige server dus zal misschien eens ZFSguru proberen. Maar mijn probleem blijft dan nog hoe krijg ik gemakkelijk 20 schijven op 1 MOBO als ik tevreden ben over ZFS? Enige hardware aanraders daarvoor? Of een link naar een threadje hier op tweakers? Zal hier anders eens wat dieper op zoeken later vandaag.

[CiPHER]

Check het grote ZFS topic eens, en het grote DIY RAID NAS topic.

Maar een hint: de meest aanbevolen controller is nu de IBM M1015. Dat is de moderne 6Gbps SAS controller die 8 SATA/600 devices kan aansturen middels twee mini-SAS kabels (elke mini-SAS kabels splitst zichzelf in 4 SATA kabels). Het neemt een PCI-express x8 (of x16) slot in beslag. Niet alle moederborden ondersteunen dit soort controllers, maar de meeste normale moederborden werken prima.

Met een simpel Micro-ATX bord met 2x PCI-express x16 (werkend op x8) en 2x PCIe 2.0 x1 slots heb je een goede configuratie om uit te breiden. Twee controllers = 16 disks + 6 op je moederbord = 22.

Wat voor schijven wil je allemaal aansturen, want met zoveel schijven wordt vrijwel altijd RAID-Z2 aanbevolen, zeg maar RAID6. Bijvoorbeeld twee RAID-Z2 vdevs van elk 10 disks = 20 disks totaal = 16 disks netto beschikbaar voor opslag, de rest parity. Twee extra onboard poorten hou je dan over voor boot / SSD versnelling.

Maar lees je eerst in over ZFS of dat wat voor je is, en probeer het gewoon eens uit met wat je nu al hebt. Dan krijg je een idee of dat de juiste weg is voor je en kan doen wat jij wilt.

[rookie no. 1]

@Cipher: waarom geen Windows RAID? Dat is toch ook softraid die prima zonder TLER-schijven kan? Of is er iets anders waarom je dat niet aanraadt?

[CiPHER]

Windows onboard RAID aka FakeRAID aka DriverRAID kan net zo slecht tegen bad sectors als de meeste hardware RAID controllers. Hieronder vallen Intel, AMD, Marvell, Promise, Silicon Image, JMicron en nog andere chipjes die drivers gebruiken voor de RAID-functionaliteit.

Deze drivers maken onderscheid tussen een 100% werkende disk of een defecte disk; niets wat daartussen ligt. Zodra een disk niet binnen 12-20 seconden reageert, zal deze uit de RAID set worden geknikkerd en de metadata van andere schijven worden geupdate om dit effect permanent te maken, zodat je met een ontoegankelijke RAID-array kunt komen te zitten.

Zo'n situatie is eenvoudig op te lossen als je precies weet wat je doet, maar voor doorsnee gebruikers vind ik dat vrij riskant. Gebruik je dus Windows onboard RAID of Hardware RAID in combinatie met consumentenschijven die geen TLER ondersteunen, dan loop je een verhoogd risico en kun je helemaal niet meer uitgaan van 'RAID5 beschermt tegen één verloren schijf'. Je array kan ontoegankelijk raken terwijl alle schijven nog prima functioneren, alleen een paar schijven bad sectors hebben. Die worden dan onvergefelijk uit de array getrapt.

Denk dus niet dat een ouderwetse RAID array veilig genoeg is om zonder backup af te kunnen. Of je zet hevig in op backups, of je gebruikt iets wat inherent véél veiliger is, zoals ZFS met RAID-Z2. Bij dat laatste kun je snapshots gebruiken die deels de beschermende werking van backups overneemt, namelijk het bieden van historie. Als een virus al je bestanden verwijdert of mutileert, kun je eenvoudig met een herstellen van een snapshot van een datum vóór de infectie al je bestanden terugkrijgen. Dat is iets wat RAID alleen nooit kan, die biedt alleen maar op een 'domme' manier redundantie.

Ik raad meestal aan om de écht belangrijke bestanden (documenten, foto's, administratie) op USB stick te backuppen, zelfs al kies je voor de ZFS optie. Kies je voor traditioneel RAID dan dien je een 1:1 backup te hebben van je bestanden, dus dan heb je in feite twee fileservers nodig voor een degelijke bescherming. Ook in dat geval raad ik sterk aan je allerbelangrijkste bestanden dus óók op USB-stick nog eens te bewaren; dus je normale bestanden 2x en je allerbelangrijkste bestanden 3x.

[Voor 4% gewijzigd door CiPHER op 26-06-2012 16:36]

[rookie no. 1]

Ja, die snap ik. Wat ik bedoel, naast de softraid bv. via Linux die jij aangeeft als ook een optie, ben ik van mening dat gewoon je schijven benaderen via de mainboard chipset (niet in RAID, maar bv. IDE/AHCI) en dan via Windows disk management een RAID-5 / RAID-1 array aanmaken. Als ik het goed heb maakt de afwezigheid van TLER-ondersteuning dan net zo weinig uit als in een bv. Linux softraid en is dat dus ook een optie voor de TS.

Correct me if I'm wrong, jij zit dieper in deze hele materie als ik je zo volg

[CiPHER]

Als je je controller in RAID modus zet in je BIOS, verandert dat in principe niets aan de hardware zelf. Het registreert zich alleen als SCSI controller ipv ATA controller, waardoor in Windows een specifieke RAID-driver wordt ge-attached die alle RAID functionaliteit voor zijn rekening neemt. Het in RAID schakelen van de controller zorgt ook voor registratie van de RAID BIOS setup, waarmee je RAID arrays kan aanmaken. Dat is gewoon een miniprogramma wat 512-bytes aan configuratiegegevens opslaat op de schijven; niets meer.

Met de controller in RAID modus heb je dus een driver nodig om Windows te kunnen booten (in Win7 zit al wel de Intel RAID driver en misschien ook andere). Voor Linux en BSD geldt hetzelfde, alleen die driver zit standaard al in het OS/kernel dus je hoeft niets te installeren. Linux en BSD hebben pseudoRAID drivers die je schijven aftasten voor RAID-configuraties van veel vendors waaronder Intel en AMD RAID. Als ze die tegenkomen, gebruiken ze de eigen Linux/BSD software RAID functionaliteit om de RAID-configuratie te realiseren, gebaseerd op de RAID configuratie die op elke schijf in de laatste sector opgeslagen is.

Kortom, wat ik probeer te zeggen is dat het simpelweg in RAID schakelen in feite niets verandert aan de hardware zelf, het verandert alleen hoe het besturingssysteem ermee omgaat. Met name Windows die in RAID-modus een vendor-specifieke driver zal draaien in plaats van algemene Microsoft IDE/AHCI drivers.

Of Windows' eigen software RAID functionaliteit ook gevoelig is voor timeouts, durf ik niet te zeggen. Maar ik heb niet veel reden om aan te nemen dat deze heel anders zal reageren op timeouts dan vendor-specifieke RAID-drivers. Ik denk dus dat je tegen dezelfde problemen aan zult lopen, maar daar kan ik net zo goed naast zitten. In dat geval is het wel vreemd dat deze functionaliteit niet populairder is, aangezien dit een belangrijke tekortkoming van Onboard en Hardware RAID zou omzeilen.

Mocht je zelf op zoek gaan en antwoorden vinden, hoop ik dat natuurlijk ook van je te horen.

[rookie no. 1]

Ik heb er tot nu toe weinig over gevonden, maar mijn logica (niet dé logica natuurlijk) zegt mij dat een Windows soft-raid net zo hard als Linux prima zonder TLER-disks kan. Maar ja, dat zegt nog steeds niets of dat de waarheid is, integendeel

[CiPHER]

Mijn logica zegt dat dit voornamelijk te maken heeft met de manier waarop er met timeouts wordt omgegaan, en dat is OS afhankelijk. Zo kon de oude FreeBSD ata driver ook niet omgaan met timeouts, totdat er soft timeouts werden gebruikt waarbij de timeouts steeds langer worden. Dat lijkt een goede manier om met bad sectors om te gaan, en niet gelijk de hele device te detachen omdat hij een aantal seconden niet meer reageert.

Maar als ik wordt tegengesproken door een goede bron, sta ik daar voor open. Het is niet onmogelijk dat Windows dit beter heeft geïmplementeerd dan ik verwacht. Maar zoals gezegd, had ik dan verwacht dat een hoop meer mensen gebruik hadden gemaakt van de Windows eigen software feature, evenals dat schrijvers van RAID-drivers dezelfde lijn als Microsoft hadden gevolgd. Daarnaast krijg ik ook soms de indruk dat sommige marktspelers het wel prima vinden zo. Zo kunnen ze consumentenschijven en enterpriseschijven duidelijk van elkaar scheiden, omdat je je als bedrijf niet kunt branden aan het gebrek van TLER-support.

Kortom, ik blijf sceptisch.