Hardeschijven (WD Red) - Levensduur? Preventief vervangen?

[Saturnus]

Een 3-tal WD Red WD20EFRX draait bijna non-stop voor zes jaar. Temperaturen de laatste jaren lekker stabiel hoog in de 30 graden Celsius en daarvoor zowel geen extreem lage als hoge waarden. 3-maal per week de korte SMART check. Eenmaal per jaar de lange SMART check (deze ga ik elke 3 maanden doen). Eenmaal per maand een check op de integriteit van de RAID5 array. Notificaties zijn ingesteld voor RAID/SMART falen, en werken.

Er is genoeg ruimte vrij om vele jaren verder te draaien.

Back-ups worden gemaakt.

Klinkt allemaal prima. Toch gaat er een moment komen dat die WD20EFRX's stranden. Maar je draait RAID5 én hebt back-ups, dus dat zit goed toch?

Nee.
1. Als de arrayschijven ongeveer dezelfde leeftijd hebben (mijn geval) is de kans zeer reëel dat alle 3 kort na elkaar kapot gaan. Als je dan probeert de data over te kopiëren nadat de eerste kapot is gegaan kan dat de trigger voor de rest zijn. (Lichtelijk paradox, want je draait RAID5 tegen hardwarefalen.)
2. Als de back-upschijf opeens een TB aan data moet afleveren terwijl er normaal incrementeel ~10GB per maand bijkomt en je grote pech hebt met een zeer matig exemplaar, dan kan ook die het zomaar begeven.

1 en 2 tegelijk = game over.

Hoewel adviezen als: "Back-up naar de Cloud", "Koop een extra back-up schijf", "Stuur het naar de NAS van je maat" begrijpelijk zijn is de focus van de discussie meer:

Vervang je preventief hardeschijven? Ja/nee, waarom?

[Hahn]

Nee, want duur en de kans dat meerdere schijven letterlijk uren na elkaar kapot gaan lijkt mij dusdanig klein dat ik daar geen rekening mee zou gaan houden.

[.Maarten]

Nee de meeste hdd’s gaan in het eerste half jaar kapot.

Ik zou eerder naar iets anders gaan dan raid 5. Met de grote hdds van tegenwoordig zijn de rebuilds riskant en duren lang.

[Aikon]

Nee, want backup (belangrijkste data wel op 4-5 plekken). Kan m'n geld wel beter besteden M'n schijf in m'n pc is al 9 jaar oud en heeft enorm veel spinups gemaakt, maar als die defect is koop ik pas een nieuwe.

[downtime]

Hoeveel risico wil je nemen? Dit artikel zegt er wel wat over. Er zou meer recente data moeten zijn want dat artikel is al 6 jaar oud maar ik had geen zin om verder te zoeken.

In het kort: Het bestaan van de gemiddelde (desktop) drive kent 3 fases. In de eerste 18 maanden continu gebruik is uitval ongeveer 5% per jaar. In de volgende 18 maanden daalt het naar 1,5%. En in de laatste fase stijgt het naar 12%. Na een jaar of 6 is 50% van de drives uitgevallen.
Na 5-6 jaar wordt het speculeren want in het onderzoek in kwestie waren de oudste drives nog maar 5 jaar oud. Het is dus mogelijk dat uitval daarna nog verder stijgt.

Op zich is er wel een case te maken om drives preventief te vervangen. Ook in de eerste 18 maanden zijn de drives twee keer zo betrouwbaar dan na 5-6 jaar. Aan de andere kant kunnen de acties om de drives te upgraden ook risico opleveren want er moet een boel data overgepompt worden, ongeacht of je de bestaande RAID 5 drive voor drive upgrade en rebuilt of dat je gewoon een nieuwe array bouwt en alle data in één keer overpompt.

[Renault]

M.i. is je vraagstelling verkeerd en daarom is een antwoord moeilijk te geven.
Let wel: RAID en NAS hebben niets te maken met datazekerheid, maar alles met data-beschikbaarheid.
Ik zal de vraag daarom opsplitsen:

1. Is het vervangen van harddisks uit preventief oogpunt raadzaam uit het oogpunt van online beschikbaarheid van data ("Online" = "op elk moment beschikbaar/opvraagbaar")?
Dit hangt maar van één belang af: hoe lang wil/kan je zonder de data op die harddisk(s)?
Als je een actuele 1 op 1 backup hebt van de data (bijvoorbeeld via RAIDxx), bepaalt de tijdsduur van het verwisselen van de schijven en het weer online beschikbaar krijgen van de data of dit aan je eisen voldoet.
Hierbij zorgt een backupregime voor het veilig zijn van je data.
Vanuit dit oogpunt bezien, zou het preventief vervangen van harddisks de kans dat je downtime van je data hebt verkleinen, tenzij je een shadowvoorziening hebt die naadloos overneemt bij offline raken van je primaire systeem.
Het preventief vervangen van harddisks verkleint dus de KANS op onbeschikbaarheid, niet de TIJDSDUUR van de onbeschikbaarheid van je data.

2. Is het vervangen van harddisks uit preventief oogpunt raadzaam uit het oogpunt van data-zekerheid?
Datazekerheid (= de zekerheid dat je nooit data kwijt kunt raken door welke oorzaak dan ook), is meer afhankelijk van een goed (uitgevoerd) backupregime (m.b.t. tot alle aspecten, dus ook verschillende media) dan van de kwaliteit van individuele harddisks.
Vanuit dit oogpunt is er geen enkele noodzaak om harddisks preventief te vervangen, zolang de nadelen daarvan volledig worden afgedekt door het (correct uitgevoerde) backupregime.

[Saturnus]

Hahn schreef op zaterdag 13 april 2019 @ 14:28:
Nee, want duur en de kans dat meerdere schijven letterlijk uren na elkaar kapot gaan lijkt mij dusdanig klein dat ik daar geen rekening mee zou gaan houden.

En toch is het mij overkomen jaren terug dat 2 Seagate's op hetzelfde moment extreem hard achteruit gingen. Waarschijnlijk een eerst, en daarna 'de overlevende' onder belasting ook. Vergelijkbare verhalen van gelezen.

Dat is dan ook echt jammerlijk in welke vorm van RAID dan ook. Er zijn wel strategien te bedenken om het te voorkomen, zoals expliciet zorgen voor 'variatie,' door bijvoorbeeld disks te pakken van verschillende fabrikanten en/of voor verschillende levensduur per disk in de array te zorgen.

.Maarten schreef op zaterdag 13 april 2019 @ 14:29:
Nee de meeste hdd’s gaan in het eerste half jaar kapot.

Ik zou eerder naar iets anders gaan dan raid 5. Met de grote hdds van tegenwoordig zijn de rebuilds riskant en duren lang.

Gelukkig heb ik nog een relatief kleine hoeveelheid kerndata van ~1TB, maar akkoord. Ideeën voor op linux? ZFS? Btrfs waarschijnlijk niet. Ondanks dat het er al jaren is, wordt het nog steeds door velen als experimenteel beschouwd.

Aikon schreef op zaterdag 13 april 2019 @ 14:30:
Nee, want backup (belangrijkste data wel op 4-5 plekken). Kan m'n geld wel beter besteden M'n schijf in m'n pc is al 9 jaar oud en heeft enorm veel spinups gemaakt, maar als die defect is koop ik pas een nieuwe.

Dan zou ik het ook zeker niet doen.

downtime schreef op zondag 14 april 2019 @ 12:07:
Hoeveel risico wil je nemen? Dit artikel zegt er wel wat over. Er zou meer recente data moeten zijn want dat artikel is al 6 jaar oud maar ik had geen zin om verder te zoeken.

In het kort: Het bestaan van de gemiddelde (desktop) drive kent 3 fases. In de eerste 18 maanden continu gebruik is uitval ongeveer 5% per jaar. In de volgende 18 maanden daalt het naar 1,5%. En in de laatste fase stijgt het naar 12%. Na een jaar of 6 is 50% van de drives uitgevallen.
Na 5-6 jaar wordt het speculeren want in het onderzoek in kwestie waren de oudste drives nog maar 5 jaar oud. Het is dus mogelijk dat uitval daarna nog verder stijgt.

Op zich is er wel een case te maken om drives preventief te vervangen. Ook in de eerste 18 maanden zijn de drives twee keer zo betrouwbaar dan na 5-6 jaar. Aan de andere kant kunnen de acties om de drives te upgraden ook risico opleveren want er moet een boel data overgepompt worden, ongeacht of je de bestaande RAID 5 drive voor drive upgrade en rebuilt of dat je gewoon een nieuwe array bouwt en alle data in één keer overpompt.

Ik heb ook gezocht naar data/informatie, maar moet zeggen dat het tegenvalt. Je zou verwachten dat met de NAS-ontwikkelingen van de laatste jaren dat anders is... Of wellicht geeft de zoekmachine niet de gewilde resultaten. Er zou een site moeten zijn waar mensen levensduur van hardeschijven rapporteren, net zoals die er is voor de shutter count van camera's.

Ja dat laatste is ook zo iets...je zou dan zo laat mogelijk moeten vervangen, maar niet in het tijdsgebied vanaf waar de drives gaan falen door het overzetten van data naar een nieuwe opslag. Aangezien je dat moment niet kan zien aankomen is het puur gokken. Gebruikersdata over de bereikte levensduren zouden een hulp kunnen zijn, net als best practices, maar verre van een garantie.

Renault schreef op zondag 14 april 2019 @ 15:36:
M.i. is je vraagstelling verkeerd en daarom is een antwoord moeilijk te geven.
Let wel: RAID en NAS hebben niets te maken met datazekerheid, maar alles met data-beschikbaarheid.
Ik zal de vraag daarom opsplitsen:

1. Is het vervangen van harddisks uit preventief oogpunt raadzaam uit het oogpunt van online beschikbaarheid van data ("Online" = "op elk moment beschikbaar/opvraagbaar")?
Dit hangt maar van één belang af: hoe lang wil/kan je zonder de data op die harddisk(s)?
Als je een actuele 1 op 1 backup hebt van de data (bijvoorbeeld via RAIDxx), bepaalt de tijdsduur van het verwisselen van de schijven en het weer online beschikbaar krijgen van de data of dit aan je eisen voldoet.
Hierbij zorgt een backupregime voor het veilig zijn van je data.
Vanuit dit oogpunt bezien, zou het preventief vervangen van harddisks de kans dat je downtime van je data hebt verkleinen, tenzij je een shadowvoorziening hebt die naadloos overneemt bij offline raken van je primaire systeem.
Het preventief vervangen van harddisks verkleint dus de KANS op onbeschikbaarheid, niet de TIJDSDUUR van de onbeschikbaarheid van je data.

2. Is het vervangen van harddisks uit preventief oogpunt raadzaam uit het oogpunt van data-zekerheid?
Datazekerheid (= de zekerheid dat je nooit data kwijt kunt raken door welke oorzaak dan ook), is meer afhankelijk van een goed (uitgevoerd) backupregime (m.b.t. tot alle aspecten, dus ook verschillende media) dan van de kwaliteit van individuele harddisks.
Vanuit dit oogpunt is er geen enkele noodzaak om harddisks preventief te vervangen, zolang de nadelen daarvan volledig worden afgedekt door het (correct uitgevoerde) backupregime.

Goede punten die de kijk op de zaak verhelderen en bijstellen.

Ook aangezien het heel lastig lijkt iets zinnigs te zeggen over de levensduur van die disks lijkt het er op dat je gelijk hebt. Verminderde databeschikbaarheid is vervelend maar stelt qua prioriteiten niets voor bij de datazekerheid. Jouw suggestie is dus dat ik toch echt nog een manier moet zoeken om een 2e back-up van de data ergens te hebben?

[Aikon]

Ja idd, in feite twijfel je aan je backup. Als je je nas(-schijven) vervangt, blijft je backup twijfelachtig en zit je met grofweg dezelfde situatie.

Overweeg anders Backblaze. Goedkoop en betrouwbaar alles in de cloud. Dat is trouwens ook de bron van dat artikel.

[peter-rm]

ik heb in een nas(2x) ook de wd-red schijven. de ene nas draait al ca 8 jaar 65000 draai uren van de schijven.
de andere nas zit op ca 32000 uren per schijf, omdat ik halverwege (4 jaar) na de failure van een 1T schijf alles naar 3T ge-upgrade heb. Beide Nas zijn qnap 4-bay in raid5 en vormen (deels) een mirror.
ik neem het risico van een dag opbouwen van de raid 5 in het geval van een hd crash.

[Wim-Bart]

Ik heb hier een array van omgebouwde greens naar red (WDIdle3). Drives 7 jaar oud, SMART nog perfect en zaten eerst in mijn custom NAS, later in mijn Hyper-V en nu in mijn Synology. Ik zat eigenlijk met het zelfde issue, vervangen of houden. Nu heb ik een losse disk op schap liggen en mijn data staat ook nog in de cloud (love synology).

Maar wanneer ik mijn ervaring zo zie met die WD20EARS neem ik het risico gewoon. Al moet ik zeggen, dit is mijn keuze en een ander moet eigen overwegingen maken.

1 opmerking is wel op zijn plaats, mijn disks zijn Refurbished dus over het algemeen wat betrouwbaarder dan nieuwe disks is mijn ervaring.

[TomsDiner]

Saturnus schreef op zaterdag 13 april 2019 @ 14:25:
Als de arrayschijven ongeveer dezelfde leeftijd hebben (mijn geval) is de kans zeer reëel dat alle 3 kort na elkaar kapot gaan.

Is dit een aanname? Dit lijkt mij namelijk onzin.

De schijven die ik ken die niet door één of ander falen geëlimineerd worden, sterven vaak langzaam. (Daarvoor doe jij ook je SMART checks...)

[Ernemmer]

Je moet gewoon afwegen hoe belangrijk het is dat de data direct beschikbaar is. Als alles best een paar dagen plat mag liggen (als jij een backup terug moet zetten op nieuwe hardware) of dat het meteen beschikbaar moet zijn. In het laatste geval zou ik preventief schijven vervangen, 1 voor 1.

[Renault]

Saturnus schreef op zondag 14 april 2019 @ 18:25:
[...]

Ook aangezien het heel lastig lijkt iets zinnigs te zeggen over de levensduur van die disks lijkt het er op dat je gelijk hebt. Verminderde databeschikbaarheid is vervelend maar stelt qua prioriteiten niets voor bij de datazekerheid. Jouw suggestie is dus dat ik toch echt nog een manier moet zoeken om een 2e back-up van de data ergens te hebben?

Ja.
E.e.a. conform jouw eisen aan het backupregime

[ Voor 4% gewijzigd door Renault op 15-04-2019 11:39 ]

[ThinkPad]

Was er niet zo'n cloudpartij die bakken (maar ook echt bakken vol) met HDD's gebruikte voor storage, ook consumentenschijven, en daar allerlei interessante data over verzamelde? Zaten wel wat interessante conclusies tussen, kan zo alleen even niet op de naam/link komen.

[mkleinman]

ThinkPadd schreef op maandag 15 april 2019 @ 11:38:
Was er niet zo'n cloudpartij die bakken (maar ook echt bakken vol) met HDD's gebruikte voor storage, ook consumentenschijven, en daar allerlei interessante data over verzamelde? Zaten wel wat interessante conclusies tussen, kan zo alleen even niet op de naam/link komen.

Backblaze

[Giesber]

ThinkPadd schreef op maandag 15 april 2019 @ 11:38:
Was er niet zo'n cloudpartij die bakken (maar ook echt bakken vol) met HDD's gebruikte voor storage, ook consumentenschijven, en daar allerlei interessante data over verzamelde? Zaten wel wat interessante conclusies tussen, kan zo alleen even niet op de naam/link komen.

Alleen zijn die conclusies vooral interessant voor Backblaze zelf: in hun omgeving (met huin eigen custom behuizingen en hun datacenters) hebben ze veel cijfers om een poging te kunnen doen om problemen te voorspellen. Die omgeving verschilt wel van een harde schijf in een normale tower behuizing die niet in een gekoeld datacenter staat, dus is het nog maar de vraag hoeveel je met die cijfers kan aanvangen als je niet Backblaze bent. Misschien heel veel, misschien niks: niemand die het 100¨% zeker weet gok ik.

Nee, ik vervang niet preventief harde schijven, tenminste niet als SMART zegt dat alles prima in orde is. Tegen de gelijktijdige uitval heb ik 2 schijven redundantie; en 3 WD's en 3 Seagates ipv 6 van hetzelfde merk. Ik heb dan nog het "geluk" gehad dat 1 Seagate DOA was en inmiddels 1 WD overleden is, waardoor ik er maximaal 2 van dezelfde batch zou moeten hebben.

[RoJan]

Een oplossing zoals die van UNRAID, met een array van schijven lijkt me een vrij goede oplossing. Zeker bij gebruik van schijven van verschillende fabrikanten.