Hulp nodig met aanschaf opslagsysteem

[Panzy]

Hallo,

Ik gebruik nu enkele jaren voor de opslag van mijn belangrijke data een zelfgebouwde server met een SI MegaRAID controller en daar aan vier 1Tb WD Green drives in RAID5 (= 3Tb aan opslagruimte). De server draait Fedora en 400gb van de raid array staat nog in software raid 1 met 400gb van de systeemschijf (voor de echt belangrijke data). Op zich een leuke config zou je denken, en ik heb tot nu toe ook nog geen dataloss meegemaakt.

Het probleem waar ik echter al die jaren tegenaan loop is dat de raid array op de een of andere manier niet stabiel is. Het kan zomaar gebeuren dat ik de server op een goeie dag aan zet (inderdaad, hij draait niet 24/7 maar alleen wanneer ik hem nodig heb, een aantal keer per maand om backups te maken of data eraf te halen) of soms ook terwijl hij draait, dat de raid array faalt. Wat er gebeurt is dat 1 of meerdere schijven 'failed' aangeven, en het systeem dus niet meer functioneert. Als ik de schijven dan weer gewoon online gooi werkt alles weer een tijd gewoon perfect, maar het blijft terug komen. Het is al eens gebeurt dat 1 van de schijven dus een tijd niet meer meedraaide en opnieuw moest 'rebuilden', dit is natuurlijk niet wenselijk omdat het systeem op dat moment dus zeer kwetsbaar is. Ik probeer al jaren uit te vinden hoe dit komt maar ik heb me er bij neergelegt dat ik het niet weet en ook niet te weten kan komen.

Waar ik naar op zoek ben is een systeem waar ik mijn vier 1Tb WD Green schijven in kan hangen en dat zodanig dat als 1 schijf stuk gaat er nog geen dataloss is (dus raid 5 of iets dergelijks). Het liefst heb ik een systeem wat ook nog automatisch (een deel van) de data naar een tweede locatie kan backuppen. Betrouwbaarheid staat hierbij absoluut op eenzame hoogte bovenaan de lijst, ik wil absoluut geen falende array meer hebben of iets dergelijks. Je moet het gewoon aan kunnen zetten en het moet jaren probleemloos werken (zolang er geen hdd stuk gaat natuurlijk) en dat alles zonder er naar om te hoeven kijken. Ik wil ook geen cloud dingen, het moet lokaal zijn, backup naar cloud mischien wel.

Is dit nog mogelijk tegenwoordig of is dit teveel gevraagd? Ik ben er helaas behoorlijk 'uit' wat computers e.d. betreft dus weet eigenlijk niet waar ik moet beginnen met zoeken, vandaar dit topic. Ik heb wel goede dingen gehoord over de Synology NAS systemen, is dat wat ik zoek of mischien zelfs overkill?
Na betrouwbaarheid zijn prijs en energieverbruik de belangrijkste factoren, prestaties doen er niet veel toe. Ik ben alleen absoluut allergisch voor bugged software en apparatuur die niet werkt zoals ze hoort te werken, dus bespaar me de moeite van het kopen en vervolgens weer terug naar de winkel brengen.

Bij voorbaat dank.

[jan99999]

Zelf zou ik een pc zonder hardware controller kopen.
Dan nas4free erop zetten met ZFS, dus een nas maken.
ZFS kan beter tegen slechte sectoren.
Dan raid 6 maken(nooit raid 5 gebruiken), in ZFS heet dit anders, dus dan mogen er 2 hd's uitvallen, dan kun je deze nog vervangen.
Daarna dus nog zo een systeem opzetten, om een backup te maken.
Hardware moet voldoen aan freebsd hardware, dus dit goed uitzoeken.

Je kan natuurlijk ook een raid 6 opzetten, met linux of windows, hoewel ZFS beter is.

Harde schijven heel goed uitzoeken naargelang je hardware, en geen groene schijven kopen, zeker bij hardware raid.

[Q]

Koop ofwel een Synology/Qnap, of koop server-grade hardware voor je NAS. Dus een goed moederbord met ECC geheugen. Kies voor een non-raid controller, waarbij je gewoon losse disks gaat gebruiken in combinatie met software RAID, Liefst ZFS. Dan heb je waarschijnlijk een heel stabiel platform. Afhankelijk van geld kun je voor RAIDZ2/ RAID6 gaan (2 disks voor parity). Kun je weer jaren vooruit.

[Panzy]

Bedankt voor de reacties. Ik heb een tijd geleden zitten denken aan goede server spullen (Supermicro moederbord, etc) maar ik denk dat het op die manier veel duurder wordt en ook meer gedoe dan een Synology of iets dergelijks. Hoe betrouwbaar is een Synology in vergelijking met een fatsoenlijke server build?

Ik heb al 4 WDGreen schijven dus ik wil deze graag ook gebruiken in de nieuwe opstelling, ik weet dat ik beter black ofzo had kunnen kopen maar volgens de site van Synology zou het moeten werken na de WDIDLE fix (die ik overigens al lang uitgevoerd heb maar nog steeds failed de boel met mijn eigen RAIDcontroller)

Waarom geen RAID5 trouwens? Ik begrijp dat RAID6 veiliger is maar het scheelt wel een hoop in data verbruik (met 4 schijven in elk geval). Met RAID6 heb je eigenlijk 6 schijven nodig anders is het niet efficient. Ik blijf bij een max 4-bay systeem want ik heb al lang gezien dat 6 bay erg prijzig is.

[Verwijderd]

Panzy schreef op donderdag 17 oktober 2013 @ 19:05:
Ik gebruik nu enkele jaren voor de opslag van mijn belangrijke data een zelfgebouwde server met een SI MegaRAID controller en daar aan vier 1Tb WD Green drives in RAID5

Deze combinatie zou alle alarmbellen moeten doen rinkelen. Je gebruikt non-TLER schijven op een RAID controller die waarschijnlijk niet goed tegen timeouts kan, dus gaan zaken als bad sectors problemen geven met je array.

ik heb tot nu toe ook nog geen dataloss meegemaakt.

Als je op deze manier doorgaat, is de kans vrij reëel dat je binnen een redelijke termijn (5 jaar) een grote kans hebt op dataverlies.

Eén zwakte is bijvoorbeeld dat als tijdens het rebuilden bijvoorbeeld opeens één of meer schijven offline gaan door bad sectors. Je kunt dan een serieus probleem hebben afhankelijk van de firmware van de controller die de RAID engine aanstuurt. Als je dan opeens een 'oudere' disk als ONLINE zet en daarna pas de andere disk, dan gaat het rebuilden corruptie opleveren omdat je de data op nieuwe/goede disks deels vervangt door oudere data van de oudere stale disk.

RAID1 is wel veiliger dan RAID5 door de afwezigheid van veel data consistency vulnerabilities die traditioneel RAID5 plagen. Oftewel, er kan met RAID1 minder misgaan.

Het probleem waar ik echter al die jaren tegenaan loop is dat de raid array op de een of andere manier niet stabiel is. Het kan zomaar gebeuren dat [..] de raid array faalt. Wat er gebeurt is dat 1 of meerdere schijven 'failed' aangeven, en het systeem dus niet meer functioneert. Als ik de schijven dan weer gewoon online gooi werkt alles weer een tijd gewoon perfect, maar het blijft terug komen.

Dat zijn dus disks die door hoge timeouts als FAILED worden gekenmerkt, terwijl ze gewoon prima functioneren. Ze hebben mogelijk één of meerdere bad sectors, of een kabelprobleem. Maar het is de RAID controller die zo slecht omgaat met disk timeouts; dat is de kern van het probleem.

Om deze reden behoor je schijven met TLER-feature te gebruiken met dergelijke RAID controllers. Zoals WD Red, RAID Edition (RE) series of echte (SAS) serverschijven. WD Green/Blue/Black is allemaal niet geschikt voor deze controller, door het gebrek aan TLER.

Voor softwarematige RAID zoals onder Linux, BSD of ook Synology bijvoorbeeld, heb je geen speciale schijven nodig en zijn WD Green schijven prima. Hetzelfde geldt voor voor ZFS.

Ik probeer al jaren uit te vinden hoe dit komt maar ik heb me er bij neergelegt dat ik het niet weet en ook niet te weten kan komen.

Ik vraag me af hoe je dat niet hebt kunnen weten, als je zoveel onderzoek gedaan zou hebben? Het forum staat hier redelijk bol van. En in het ZFS topic kun je de 2e post (vlak onder de startpost) ook lezen hoe bad sectors, TLER en hardware RAID met elkaar te maken hebben.

Waar ik naar op zoek ben is een systeem waar ik mijn vier 1Tb WD Green schijven in kan hangen en dat zodanig dat als 1 schijf stuk gaat er nog geen dataloss is (dus raid 5 of iets dergelijks).

Overweeg 4 disks in ZFS RAID-Z op een non-RAID controller aangesloten (dus niet jouw MegaRAID). Zoals gewoon je chipset SATA poorten op het moederbord. Die zijn de beste. Liefst in AHCI ingesteld in het systeem BIOS.

Betrouwbaarheid staat hierbij absoluut op eenzame hoogte bovenaan de lijst, ik wil absoluut geen falende array meer hebben of iets dergelijks.

Dan is er maar één keuze: ZFS.

Synology, software RAID(5) en andere implementaties zijn eigenlijk van een andere generatie als je deze vergelijkt met ZFS. Zeker traditioneel RAID5 heeft best wat zwakke punten die voor dataverlies in specifieke situaties kunnen zorgen. ZFS RAID-Z is zeer betrouwbaar, mits ZFS maar directe toegang heeft tot je schijven. Dus geen disks op een hardware RAID controller bijvoorbeeld.

Check even het DIY RAID NAS topic en het ZFS topic voor meer informatie. In dit forum draaien velen ZFS om hun persoonlijke data te beschermen door een zelfgebouwde NAS. Dat kan allemaal redelijk makkelijk en redelijk goedkoop tegenwoordig.

Succes!

[Panzy]

CiPHER,

Bedankt voor de uitgebreide reply, ik heb hier een hoop van geleerd.

In de tijd dat ik mijn systeem begon samen te stellen (ongeveer 10 jaar geleden) was een SATA RAID controller het 'nieuwe' dat eindelijk veilige dataopslag mogelijk maakte voor consumenten. Het ding koste wel flink wat knaken, paar honderd euro geloof ik. In die tijd was er nog niks bekend over TLER en dat soort zaken, ik heb de term wel voorbij zien komen het afgelopen halfjaar maar het leek me dus sterk dat dit problemen kon opleveren, want waarom zouden mijn schijven bad sectors hebben, als dat vroeger het geval was dan was ie eigenlijk toch al niet 100% meer.

De schijven die ik nu draai op de RAID waren de eerste WD Green schijven, toen ik die kocht was er ook nog niet veel te lezen over TLER, mensen op forums riepen wel dingen als 'man for raid u need WD RE drive' dan 'Why?', 'Cuz its better' maar niemand wist mij te vertellen waarom, dus toch tegen beter weten in de Greens gekocht met het idee van, een harde schijf is een harde schijf, boeie dat er minder garantie op zit etc., en dat bleek geen goed idee. De schijven hebben een tijd trouwens probleemloos gewerkt, het begon allemaal later toen de head-parking threshold al extreme waarden aan had genomen (WDIDLE probleem, belachelijk dit) waardoor ie, bedenk ik me nu net, de zooi gesloopt heeft waarschijnlijk waardoor veel meer bad sectors ontstaan. Toch heb ik het hele zaakje van het begin af aan nooit helemaal vertrouwd, vandaar dat ik dus nog een losse schijf in software RAID1 had staan met een deel van de RAID array, voor de aller belangrijkste data.

Ik had inderdaad de term ZFS wel eens voorbij zien komen maar nooit aandacht aan besteed, nu weet ik pas wat het is. Meende altijd dat het gewoon een filesysteem was ofzo en verder niet boeiend. Ik ben al jaren niet actief bezig met computers dus ik ben gewoon niet op de hoogte, meende dat RAID nog steeds het beste was.

Het enige wat me niet zint aan ZFS is dat het relatief nieuw lijkt te zijn, ik ben altijd erg sceptisch tegenover nieuwe dingen, meestal veel toeters en bellen maar dan blijkt het gewoon in de basis niet goed te werken. Wordt het al toegepast in de enterprise wereld?

Als het allemaal zo mooi is als het klinkt dan denk ik wel dat ik over wil gaan op ZFS, alleen dan moet ik dus een nieuw systeem bouwen, de hardware die ik nu heb is te oud (maar 2 onboard sata, te weinig geheugencapaciteit, etc). Bovendien moet alles geconfigureerd worden etc. Hoe gaat dit zich verhouden tegenover bv. het aanschaffen van een plug&play pakket zoals QNAP/Synology? Duurder of goedkoper? En qua stroomverbruik? Deze producten zijn toch ook gewoon bewezen en betrouwbaar? Voor mijn echt belangrijke data gebruik ik dan alsnog wel een extra backup op een externe schijf o.i.d.

[Q]

QNAP/Synology past geen ZFS toe. Dan mis je de belangrijkste feature van ZFS: bescherming van de integriteit van je data. Of het risico' echt zo groot is, met jouw data set misschien niet.

Dan kun je een hoop geld en gedoe besparen met een kant-en-klaar doosje. We konden vroeger zonder ZFS en hele mission-critical systemen draaien op platformen die geen real-time data integriteitschecks. Die vertrouwen op de drives en de controllers (en periodieke scrubs).

Het grote probleem anno 2013 zijn de high-density disk drives, die gewoon gevoeliger zijn voor bitrot, de data sets worden groter, dus voor veel partijen is een oplossing als ZFS echt van belang.

Als je wilt profiteren van ZFS (is echt robuust, ook op Linux) dan moet je helaas zelf wat bouwen en onderhouden. Wil je investeren in een bepaald risico.

Ik kan mijn data niet niet tijdelijk kwijt, ik doe het niet. Misschien pas als ik mijn huidige NAS vervang, dan wordt het ofwel ZFS, of BTRFS.

[Panzy]

Ik ga meer lezen over ZFS en als blijkt dat het op enterprise niveau wordt gebruikt en als iedereen hetzelfde zecht over de stabiliteit en veiligheid dan ga ik er waarschijnlijk toch voor kiezen. Als ik nu een Synology koop ben ik 250,- kwijt minimaal, en dan heb ik de WD Green drives met een behoorlijk extreme load cycle count, mischien zijn ze al bijna aan hun einde dus moet ik die ook binnenkort vervangen. Hierom denk ik nu toch wel aan ZFS omdat het daar dus naar wat ik gelezen heb geen probleem is dat de disks meer errors beginnen te geven, als ze stuk zijn vervang ik ze gewoon en is het geregeld.

Het wordt wel even geld uitgeven, ik houd niet van budget spullen, ik wil een high-end moederbord en goede kwaliteit geheugen, ook goede kabels voor de HDD's. Case heb ik al, een dikke chieftec stalen bak waar zeker 20 schijven in passen. Goede voeding wil ik er ook bij. Denk dat het dus wel 500,- wordt minimaal maar dan heb ik ook wat.

Ik begrijp dus dat ik mijn hardware RAID controller beter weg kan gooien?

[Q]

Of vervangen, als je de extra SATA poorten nodig hebt, door een ander type (IBM/LSI (zoek hier even)).

[Verwijderd]

Panzy schreef op zaterdag 19 oktober 2013 @ 14:11:
In de tijd dat ik mijn systeem begon samen te stellen (ongeveer 10 jaar geleden)

Ah ja oke. Den goede oude tijd. De tijd dat bad sectors ook fysiek bad waren en het uBER-probleem nog heel theoretisch was. Hedendaags produceren schijven met hoge datadichtheid veel meer bad sectors die fysiek in orde zijn. Dat wordt met 'uBER' bedoeld heel simpel gezegd, dat je bad sectors kunt hebben die prima zijn nadat je ze weer overschrijft. Het is een soort amnesia voor hardeschijven, die een klein deel van hun opgeslagen gegevens niet altijd meer kan uitlezen. Voor ZFS is dat geen enkel probleem in een redundante configuratie zoals RAID-Z; de schade wordt automatisch gerepareerd. Op legacy RAID kan je array hierdoor over de zeik gaan, of zelfs permanente dataverlies tot gevolg hebben.

Ik had inderdaad de term ZFS wel eens voorbij zien komen maar nooit aandacht aan besteed, nu weet ik pas wat het is. Meende altijd dat het gewoon een filesysteem was ofzo en verder niet boeiend.

Snap ik. Ik ben dus een groot voorstander van ZFS. Je zou ZFS kunnen zien als opvolger van RAID, al is dat een vreemde vergelijking. ZFS is filesystem, disk multiplexer ('RAID') en volume manager in één. De unieke versmelting gekoppeld met unieke features zoals checksumming, zorgt ervoor dat ZFS een reboost filesystem is, terwijl vrijwel alle andere filesystems (behalve ReFS, Btrfs) inherent onbetrouwbaar zijn omdat ze geen enkele bescherming bieden tegen corruptie. Ext4 niet, XFS niet, JFS niet, UFS niet, NTFS niet, HFS niet. Allemaal ongeschikt dus voor moderne hardeschijven in principe.

ZFS is hedendaags de enige betrouwbare manier van gegevensopslag met name voor véél gegevens zoals thuisgebruikers met meerdere terabytes aan gegevens. Het wordt zeker ook door commerciële spelers gebruikt, maar dan meestal de implementatie van Oracle.

Het beste kun je ZFS draaien op een BSD operating system; daar is ZFS het beste geïntegreerd en al geruime tijd in FreeBSD aanwezig. Sinds FreeBSD 7.0 officiëel; ik draai het al eerder; 6.2 geloof ik; jaar of 5-6 geleden gok ik.

Het enige wat me niet zint aan ZFS is dat het relatief nieuw lijkt te zijn, ik ben altijd erg sceptisch tegenover nieuwe dingen, meestal veel toeters en bellen maar dan blijkt het gewoon in de basis niet goed te werken.

In dit geval is het dus andersom. Omdat simpele ouderwetse filesystems en legacy RAID engines geen bescherming bieden, krijg je onbetrouwbare opslag. ZFS is juist hetgene wat altijd werkt. Ga je ZFS onder Linux draaien, is de kans wel iets hoger dat je tegen problemen aanloopt omdat ZFS op dat OS nog relatief jong is en nog lang niet zo goed geïmplementeerd als in BSD.

Als het allemaal zo mooi is als het klinkt dan denk ik wel dat ik over wil gaan op ZFS, alleen dan moet ik dus een nieuw systeem bouwen [..] Bovendien moet alles geconfigureerd worden etc. Hoe gaat dit zich verhouden tegenover bv. het aanschaffen van een plug&play pakket zoals QNAP/Synology? Duurder of goedkoper? En qua stroomverbruik?

Zelfbouw NAS is over het algemeen goedkoper, sneller én zuiniger dan kant-en-klaar zoals Synology. Het kost je wel meer tijd om de hardware te monteren (aantal uren) en om het systeem te configureren.

Je kunt echter NAS operating systems gebruiken zoals FreeNAS/NAS4Free/ZFSguru die een goede BSD ZFS implementatie draaien en redelijk gemakkelijk in het gebruik zijn. Je configureert je server dan ongeveer zoals Synology via een web-interface. Bovendien kun je je ZFS pool verhuizen naar andere ZFS platformen, dus je hebt inter-operabiliteit.

Synology is gewoon legacy Linux software RAID + legacy filesystem (ext4 dacht ik) met SHR proprietary laag erbovenop. Onbeschermd dus tegen corruptie en bad sectors. Maar wel beter bestand daartegen dan jouw setup. Jouw setup is daar gewoon hypergevoelig voor daarom ervaar je ook problemen.

[skipe]

zou ook goed kunnen zijn dat je schijven te lang doen over opboaten (spinnen eb zichzelf laten herkennen) waardoor ze niet herkend worden in je raid bios. een simpele oplossing hiervoor is dat je je pc aanzet en wacht tot het piepje en dan even de reset knop indrukt.

zelf heb ik dit probleem ook maar dan zonder raid (geen hotswap sata poorten) wanneer linux gebood is word 1 schijf niet herkend, bovenstaande gedaan en worden allemaal wel gewoon herkend.

ik heb echter geen idee of het resetten van een systeem invloed heeft op de levensduur van een hdd.

[Panzy]

Als ik het goed begrijp zijn moderne HDD's dus niet meer dan rommel.Je koopt dus een schijf die, tegen ouderwetse begrippen, al stuk is af fabriek. Dus je kan zo'n ding in je PC stoppen, ermee werken, en op een slechte dag een read error krijgen en dus een kapot bestand hebben wat je nooit meer terug krijgt, en vervolgens als je de schijf terugstuurt naar de fabrikant dan zeggen ze dat hij in orde is?
Of begrijp ik je nu verkeerd?

Ik vind dit wel heel absurd maar eigenlijk verbaast het me niet veel, het lijkt wel of het met alles zo gaat tegenwoordig, en mensen nemen er nog genoegen mee ook.

Ik ga echt geen geld uitgeven aan dit soort vuilnis, bestaan er ook nog moderne HDD's die gewoon wel 100% goed werken (tot ze oud worden en gewoon stuk beginnen te gaan maar dan heb je uiteraard een backup)?


@Skipe
Resetten maakt volgens mij niet uit voor je schijven, wat wel uitmaakt is als je zomaar de stroom eraf gooit tijdens het lezen/schrijven. Bij mij heeft het geen zin aangezien de RAID controller lang genoeg bezig is om zelf te booten, en meestal falen de hdd's tijdens operatie i.p.v. tijdens boot.

[Pietjebelll]

Panzy schreef op zondag 20 oktober 2013 @ 10:50:
Als ik het goed begrijp zijn moderne HDD's dus niet meer dan rommel.Je koopt dus een schijf die, tegen ouderwetse begrippen, al stuk is af fabriek. Dus je kan zo'n ding in je PC stoppen, ermee werken, en op een slechte dag een read error krijgen en dus een kapot bestand hebben wat je nooit meer terug krijgt, en vervolgens als je de schijf terugstuurt naar de fabrikant dan zeggen ze dat hij in orde is?
Of begrijp ik je nu verkeerd?

Je begrijpt het inderdaad verkeerd. Het is zeker niet zo dat de harde schijven vanuit de fabriek al kapot zijn. Deze horen gewoon fatsoenlijk en zonder bad sectors te functioneren. Waar het over gaat is dat de snelheid waarmee er zich bad sectors onstaan (die uBER-specificatie). Die "snelheid" waarop deze onstaan is niet verandert, ook al zijn de harde schijven heel erg in grote toegenomen. Dus (theoretisch gezien) heeft een schijf met een 10x zoveel opslaggeheugen ook een 10x zo grote kans dat ie ergens een bad sector krijgt.

CiPHER correct me if I'm wrong

[Panzy]

Ok, dus je wil zeggen dat het puur te wijten valt aan dat per megabyte de kans op een bad sector hetzelfde is gebleven, maar omdat de capaciteit groter is de totale kans op een bad sector per schijf groter is.

Ik vind dit toch vreemd, ik heb naar ik mij kan herrinneren nog nooit een corrupted file meegemaakt op een van mijn PC's (gewoon zonder RAID). Alleen wanneer dus een drive aan het falen was begon de corruptie, en meestal was de drive dan helemaal kapot binnen een paar dagen.

[ Voor 18% gewijzigd door Panzy op 20-10-2013 16:19 ]

[Verwijderd]

Opzich zit je in de goede richting Panzy.

Er zijn namelijk twee filosofieën om tot betrouwbare opslag te creëren:
- peperdure hardware die 'nooit' fouten maakt, in combinatie met software die ook niet tegen fouten kan
- goedkoper hardware die fouten maakt, in combinatie met software die wél tegen die fouten kan

De eerste route bestaat niet letterlijk, maar is waar 99% van alle thuisopslag op gebaseerd is. Dat ging goed toen de hardeschijven 40 gigabyte waren enzo. Lagere datadichtheid betekende minder ruis (RRER) en minder benodigde foutcorrectie (ECC).

Toendertijd hadden hardeschijven enkel last van bad sectors bij fysieke schade. Vrijwel elke 'pending sector' was een 'reallocated sector' wanneer overschreven. Dus dan kun je zeggen: een schijf met bad sectors is defect, want hij kan een deel niet lezen. Klinkt logisch omdat het gaat om fysiek beschadigde sectoren. Die kan je dus omruilen ter garantie, ook al werkt het apparaat in principe prima op een paar kilobytes aan sectoren na.

Hedendaags is de datadichtheid enorm gestegen terwijl de errorcorrectie maar marginaal is toegenomen (van 40-byte op 512-byte naar 100 byte op 4096 byte). Hierdoor gebeurt het vaker dan vroeger dat je een 'soft bad sector' krijgt. Oftewel een bad sector die niet fysiek beschadigd is, maar gewoon teveel ruis heeft en te weinig errorcorrectie om foutloos uit te lezen. Dit wordt dan een pending sector (een sector waarvan de schijf weet dat deze onleesbaar is). Pas als je die sector overschrijft (met nullen, lange format) zal de hardeschijf deze overschrijven. In tegenstelling tot de klassieke 'bad sector' worden dit soort 'soft sectors' niet vervangen met reservesectoren. De reden is simpel: na het overschrijven met nieuwe data, werkt deze sector weer net zoals de overige sectoren zonder problemen.

Kortom, naarmate de disks groter worden in capaciteit door toegenomen datadichtheid, krijg je te maken met een ander soort bad sector zonder fysieke schade, maar die wel kan zorgen voor onleesbare sectoren.

Zijn deze schijven defect? Dat is een leuk discussiepunt. Ik zou zeggen van niet, omdat ze binnen hun specificaties opereren. De uBER=10^-14 specificatie staat het schijven toe binnen een bepaalde bandbreedte onleesbare sectoren te ontwikkelen. De manier hoe dit getest wordt is overigens verhullend en misleidend, maar dat is een ander punt.

Maar het punt is wel, zodra je schijven een realistische kans hebben op het ontwikkelen van onleesbare sectoren, ga je daarmee te maken krijgen. Omdat bijna iedereen nog ouderwetse opslagsoftware gebruikt (NTFS, FAT, Ext4, UFS, HFS, XFS, JFS, ReiserFS) betekent dit dat een enkele onleesbare sector al grote gevolgen kan hebben. Dergelijke 1e en 2e generatie filesystems zijn eigenlijk ontworpen om met een perfect opslagapparaat te werken dat nooit fouten maakt.

En daar zit hem het punt: de nieuwe 3e generatie filesystems zijn wél ontworpen om om te gaan met opslagapparaten die niet 'perfect' zijn, maar juist af en toe een sector niet kunnen lezen. ZFS is daar in een redundante configuratie immuun voor, en zelfs in een 'onbeschermde' single-disk setup kan het beperkte bescherming bieden tegen bad sectors.

Dus al hebben al je schijven duizenden bad sectors, ZFS trekt zich daar weinig van aan. Zodra je data leest waar bad sectors in voorkomen, repareert ZFS die automatisch.

Zo heb je dus:
- ouderwetse opslag die een perfect opslagapparaat nodig heeft
- moderne opslag die aansluit bij de praktijk van hedendaagse opslagtechnologie (hardeschijven die bad sectors ontwikkelen).

De laatste is natuurlijk superieur.

Wat je zegt over corruptie in je laatste reply/alinea is overigens niet hetzelfde. Een hardeschijf stuurt geen informatie door waarvan het weet dat die corrupt is. Dan blijft de hardeschijf proberen de gegevens te lezen net zolang deze foutloos uitgelezen kunnen worden. Dat zorgt in de praktijk voor 'hangende' appliaties, niet startende Windows boots, blauwe schermen, heel lange boots, lang duren voordat het BIOS de schijf vindt, en dat soort issues. Er is geen sprake van corruptie omdat de schijf geen corrupte gegevens levert aan de host; hij levert gewoon géén gegevens die het niet foutloos kan uitlezen. Maar ook dat is niet zaligmakend.

Silent corruption is een ander probleem wat ouderwetse opslagtechnologie kent, en ook door ZFS is aangepakt. Maar dat staat los van het verhaal over bad sectors.

[Panzy]

Ok dan, weer bedankt voor de reply. Ik denk dat ik het nu wel allemaal begrijp. Kwestie van het vooruit gaan van de tijd, de druk staat op storage fabrikanten om meer opslagcapaciteit te leveren voor een betaalbare prijs, dat gaat dan helaas dus een beetje ten koste van de betrouwbaarheid. Geen issue als je het dus opvangt met ZFS.

Aangezien ik inderdaad wel op zoek ben naar het meest betrouwbaar mogelijke opslagsysteem heb ik besloten om ook voor ZFS te gaan, in het begin wel met een extra backup (gewoon losse schijf ofzo)

Als ik een nieuw systeem ga bouwen wil ik het meteen goed doen, dure hardware, ECC geheugen etc. Voordat ik daar dus honderden euro's aan uit ga geven wil ik eerst ZFS wel eens testen. Ik heb nu een Barton 3200+ op een Abit NF7-S V2.0 moederbord, 1gb kingston HyperX, dikke Chieftec kast, oud spul dus maar een bewezen systeem waarvan ik weet dat het werkt. Is het te doen om hier ZFS op aan de praat te krijgen door middel van een extra SATA controller of is dit, met name het geheugen, gewoon totaal niet werkbaar? Configuratie wordt RAIDZ2 met vier 1TB HDD's, dus effectief 2TB, OS komt op een 500GB RE2 schijf. Ik heb geen hele hoge snelheden nodig dus ik hoop dat het kan, dan hoef ik voorlopig alleen een SATA controller te kopen.

[Verwijderd]

Weet wel dat ZFS je juist in staat stelt goedkope hardware te gebruiken:
- goedkope hardeschijven, dus geen dure RAID schijven maar normale consumentenschijven zoals WD Green
- goedkope SATA controllers; normale chipset SATA of non-RAID HBA controllers zijn prima, die zijn het goedkoopste en de beste
- geen battery backup unit (BBU) voor je RAID controller

ECC geheugen heb je ook niet strict nodig; ZFS kan zelf tegen beperkte geheugenfouten. Ondanks dat daarover andere onderzoeken bestaan, is het voor thuisgebruik ook prima om non-ECC te gebruiken.

Maar als je het wél echt goed wilt doen, kun je overwegen:
ASRock Avoton C2550D4I

• 12 onboard SATA (6+4+2; drie controllers) met AHCI
• Dual gigabit NIC
• Tot 64GiB ECC UDIMM geheugen (of 4x8=32GiB)
• PCIe 3.0 x8 expansion slot
• Mini ITX
• Passief gekoeld
• Laag TDP met Atom (4 core of 8 core modellen beschikbaar)

Al met al een leuk bordje voor een medium ZFS build.

Bijvoorbeeld kun je met dit bord een ZFS config maken zoals:
10 disks in RAID-Z2
+ 2 SSDs voor boot, cache (L2ARC) en write buffer (SLOG)

Met 4TB disks komt dat neer op 40TB ruw waarvan 32TB (~28TiB) bruikbare opslag. Je kunt natuurlijk ook kleiner beginnen, maar voor een dergelijke build zou dit bordje best heel goed geschikt zijn. Disclaimer: bordje is nog niet leverbaar dacht ik en niemand heeft hem nog in de praktijk uitgetest met BSD operating systems (of alle hardware wel wordt ondersteund).

Wat betreft je huidige server. Als die processor 64-bit capable is, kun je die gebruiken, als het een Athlon XP is, is die in principe niet geschikt voor ZFS. ZFS kan wel op 32-bit hardware werken maar dat is een slechte combinatie met tragere performance en mindere stabiliteit. ZFS heeft in principe nodig een 64-bit processor en operating system.

Extra controller kopen zou ik denk ik niet doen. Dan beter investeren in meer hardware. Eventueel kun je wel een externe behuizing kopen die kun je altijd nog voor wat anders gebruiken. Misschien gelijk een USB3 externe behuizing dan ofzo. Kun je redelijk goedkoop krijgen en zolang gebruiken voor je tijdelijke ZFS server.

Wat je denk ik vooral wilt testen zijn de ZFS operating systems: FreeNAS, NAS4Free en ZFSguru. Die zou je alle drie eens moeten uitproberen om een redelijk beeld te krijgen hoe het in zijn werk gaat.

Succes!

[Panzy]

Ok bedankt, dat moederbord ziet er wel gelikt uit, die houd ik in de gaten.

Ondertussen zou ik ZFS inderdaad wel eens aan de tand willen voelen, een tijdelijke setup bouwen, ook om te kijken inderdaad welk systeem mij het meeste ligt. Wel jammer dat het niet goed werkt op 32bit, het betreft inderdaad een Athlon XP die nu in mijn server zit. Ik heb ook nog een Athlon 64X2 liggen met 2GB ram, dat moederbord heeft echter ook maar 2 sata poorten. Nu zat ik te denken om een extra PCI SATA controller te kopen, die heb je al vanaf 5 euro voor 2 poorts, is dat slim of is dat echt rotzooi waardoor ik alles kwijt ga raken?

[ Voor 5% gewijzigd door Panzy op 21-10-2013 11:04 ]

[Panzy]

Ik heb nog drie extra (heb er al 1) WD RE4 500GB schijven besteld, deze komen aan de RAID controller voor hardware RAID. Met deze schijven moet het wel goed werken. Dit is een tijdelijke oplossing totdat ik tijd heb om een ZFS setup te bouwen. Hiervoor ga ik de Green schijven gebruiken, als ik ze niet verkoop voor die tijd want ik houd niet zo van groene dingen, eco rommel, blue motion bagger, of hoe je het ook wil noemen. Doe mij maar gewoon spul dat werkt.

[Verwijderd]

Het is niet de schuld van de Green schijf dat ouderwetse RAID-engines zo slecht ontworpen zijn dat ze niet kunnen omgaan met disk timeouts. Dus Green de schuld geven daarvan is misschien niet helemaal terecht.

Maar dat je nu voor een tijdelijke (Werkende) oplossing hebt gekozen met RE4 schijven lijkt me prima. Hoop dat je over een tijd terug komt om over je ZFS build te praten. Maak dan nog een nieuw topic aan en refereer aan dit topic.

Succes!

[Panzy]

Bedankt, ik geef overigens niet de schuld aan de Green schijven, ik zeg alleen dat ik het bagger schijven vindt, dat is vanwege het head parking probleem van de schijven (WDIDLE, om stroom te besparen ) waardoor ze niet geschikt zijn voor Linux omdat daar de Load Cycle Count heel snel omhoog schiet en dus de schijven hierdoor overmatig slijten. Zo heb ik het begrepen tenminste. Dit kan ook mede zorgen voor problemen met een RAID controller maar natuurlijk is het ook mijn eigen schuld dat ik dacht dat het wel zou werken.

Ik kom zeker terug wanneer de tijd gekomen is dat ik met de ZFS build begin, dan ga ik het wel groots aanpakken waarschijnlijk. Bedankt voor alle hulp tot zover iedereen!