ZFS - één disk kapot

[HollowGamer]

Vanochtend is helaas één van mijn WD 8TB disks overleden. Gelukkig heb ik nog een recente backup, maar waren op die schijf waarschijnlijk wel series of ander stuff opgeslagen.

Het was één groot volume (zonder RAID):
- 2x 4TB
- 2x 8TB
= 16TB totaal

Natuurlijk niet goed, maar destijds heb ik nu eenmaal voor die inrichting gekozen.

Morgen komt er een nieuwe 6TB HDD binnen en wordt de 8TB opgestuurd voor garantie.
Omdat de pool nu waarschijnlijk kapot is, moet ik hem opnieuw gaan aanmaken en mijn data vanaf de backups restoren?

Als ik naar Synology kijk, is het mogelijk om met SHR 14TB over te laten incl. data protection. Wat zou precies dezelfde setup zijn, maar dan met ZFS? Het is uiteindelijk de bedoeling één van 4TB te vervangen door het 8TB exemplaar dat terugkomt.

Alvast bedankt!

PS. Als jullie nog tips hebben om een tikkende 8TB WD toch te kunnen starten, dan hoor ik het graag.

[Thralas]

HollowGamer schreef op zaterdag 24 juli 2021 @ 11:23:
Het is uiteindelijk de bedoeling één van 4TB te vervangen door het 8TB exemplaar dat terugkomt.

Eerder zeg je 6. Wat is het nu, 6 of 8?

Wat zou precies dezelfde setup zijn, maar dan met ZFS?

Niet. Je disks zijn daar te verschillend voor. Als het echt moet kun je 4 disks in RAIDZ zetten en van het restant op twee disks een mirror maken.

Als je in de toekomst zfs wilt gebruiken dan zou ik daar rekening mee houden met vervangen zodat je disks dezelfde grootte hebben.

PS. Als jullie nog tips hebben om een tikkende 8TB WD toch te kunnen starten, dan hoor ik het graag.

Heb je de SMART-data bekeken? Wat gaf dat aan?

Een schijf blijft ook tikken als je een paar bad sectors hebt maar je wel continu dezelfde sector probeert te lezen. Met een tool als ddrescue kun je dan vaak alsnog het niet-beschadigde gedeelte van de disk redden.

[HollowGamer]

Thralas schreef op zaterdag 24 juli 2021 @ 12:04:
[...]


Eerder zeg je 6. Wat is het nu, 6 of 8?


[...]


Niet. Je disks zijn daar te verschillend voor. Als het echt moet kun je 4 disks in RAIDZ zetten en van het restant op twee disks een mirror maken.

Als je in de toekomst zfs wilt gebruiken dan zou ik daar rekening mee houden met vervangen zodat je disks dezelfde grootte hebben.


[...]


Heb je de SMART-data bekeken? Wat gaf dat aan?

Een schijf blijft ook tikken als je een paar bad sectors hebt maar je wel continu dezelfde sector probeert te lezen. Met een tool als ddrescue kun je dan vaak alsnog het niet-beschadigde gedeelte van de disk redden.

Sorry, voor de verwarring:
- Er is één schijf (8TB) die kapot is gegaan, deze maakt een tikkend geluid.
- Er is één schijf (6TB) besteld, deze komt morgen binnen en gaat de 8TB vervangen.

Zodra de 8TB terug is van RMA, gaat deze weer één 4TB vervangen (of alle twee, maar daar moet ik nog over nadenken).

---

Hmm, wat als ik 3x 8TB's heb? In welke modes kan ik deze draaien en bijvoorbeeld +/- 12-16TB overhouden?

Momenteel zijn 8TB HDD's erg duur, vandaar ook de aankoop van 6TB (externe closure - shucking).

---

Helaas komt hij niet verder dan 0TB in de BIOS (moet normaal 8TB aangeven) en failed reading disk errors als ik Linux zit.

[ Voor 8% gewijzigd door HollowGamer op 24-07-2021 12:20 ]

[elan]

Misschien een idee om met jouw verschillende disk capaciteiten naar Unraid te kijken.

Daar kan je dat wel doen.
Heb je 1 parity disk nodig (de grootste die je hebt) en kan je daar onder allemaal verschillende disks hangen.
Nadeel is wel dat het betaalde software is, en niet super snel omdat de parity berekend wordt als er wat geschreven wordt op een disk.

[Dacuuu]

elan schreef op zaterdag 24 juli 2021 @ 12:20:
Misschien een idee om met jouw verschillende disk capaciteiten naar Unraid te kijken.

Daar kan je dat wel doen.
Heb je 1 parity disk nodig (de grootste die je hebt) en kan je daar onder allemaal verschillende disks hangen.
Nadeel is wel dat het betaalde software is, en niet super snel omdat de parity berekend wordt als er wat geschreven wordt op een disk.

Unraid! Daar ben ik echt fan van. De schrijf en lees snelheid is gewoon de snelheid van de betreffende schijf. Wil je blazing speed boven alles? Kies niet voor unraid. Wil je een OS met zeer fijne gui (cli kan ook ) en heb je hardeschijven van wisselende grootte, is unraid echt ideaal.


Ik draai unraid met 2x14tb schijven, waarvan 1 schijf de parity schijf is. Ik wil nooit meer iets anders.

[Thralas]

HollowGamer schreef op zaterdag 24 juli 2021 @ 12:17:
Hmm, wat als ik 3x 8TB's heb? In welke modes kan ik deze draaien en bijvoorbeeld +/- 12-16TB overhouden?

Dat is 16 TB in RAIDZ.

Je zou ook de 2x 4TB in een vdev kunnen gooien, en die gebruiken in een RAIDZ met 2x 8 TB. Dan heb je ook 16 TB. Maakt de kans op array failure wel groter - ik zou er terughoudend mee zijn.

Momenteel zijn 8TB HDD's erg duur, vandaar ook de aankoop van 6TB (externe closure - shucking).

Tenzij ik me vergis is zijn disks onder de 8 TB vaak SMR. Ook iets om rekening mee te houden.

Helaas komt hij niet verder dan 0TB in de BIOS (moet normaal 8TB aangeven) en failed reading disk errors als ik Linux zit.

Ai, klinkt alsof er inderdaad niet zoveel meer te redden is dan.

[HollowGamer]

Thralas schreef op zaterdag 24 juli 2021 @ 13:01:
[...]


Dat is 16 TB in RAIDZ.

Je zou ook de 2x 4TB in een vdev kunnen gooien, en die gebruiken in een RAIDZ met 2x 8 TB. Dan heb je ook 16 TB. Maakt de kans op array failure wel groter - ik zou er terughoudend mee zijn.


[...]


Tenzij ik me vergis is zijn disks onder de 8 TB vaak SMR. Ook iets om rekening mee te houden.


[...]


Ai, klinkt alsof er inderdaad niet zoveel meer te redden is dan.

Ik kan ook een hardware RAID gebruiken denk ik. Zou dat niet beter zijn als er toch één single point of failure is?

Of zijn VDEV's flexibele en snel?

[elan]

@HollowGamer Waarom zou je een hardware raid willen gebruiken? Los van het feit dat je voor een raid setup allemaal dezelfde capaciteit disken moet gebruiken bouw je een extra afhankelijkheid in. Want stel dat je raid controller stuk gaat kan dat problemen opleveren.

Zelf ben ik overgestapt van Freenas naar Synology en heb nu enkele maanden al unraid draaien.
Ik wil nooit meer anders. Je krijgt de vrijheid met disk grote. Enigste is je hebt 1 disk voor parity draaien en dat moet de grootste zijn die je hebt. Mocht zowel je parity disk als een member disk stuk gaan mis je alleen data van die kapotte disk. De rest is er nog.

Kijk er eens naar, denk dat het voor jouw situatie een goede oplossing zou kunnen zijn.

[Thralas]

HollowGamer schreef op zaterdag 24 juli 2021 @ 13:32:
Ik kan ook een hardware RAID gebruiken denk ik. Zou dat niet beter zijn als er toch één single point of failure is?

Of zijn VDEV's flexibele en snel?

Sorry, ik begrijp hier tweemaal niet wat je bedoelt.

Hardware RAID gaat niet helpen, hoe je het ook precies bedoelt. De opmerking over vdevs snap ik ook niet, maar het is denk ik handig als je je inleest over wat een vdev is binnen ZFS.

[nelizmastr]

ZFS is geen magisch lapmiddel om een array te bouwen van verschillende schijven. De filosofie van RAID blijft overeind, namelijk het bouwen van een redundante set van schijven, in de basis van dezelfde capaciteit en anders met als uitgangspunt de schijf met de laagste capaciteit.

In feite zal je naar een oplossing moeten met een set identieke schijven (iig qua capaciteit) om de beste resultaten te halen. Anders idd naar een non-RAID oplossing zoals unraid.

[HollowGamer]

Sorry voor deze bump, maar toch wil ik zelf even een update geven.

Op basis van jullie suggesties ben ik toch maar eens gaan kijken naar non-raid oplossen zoals unraid.

Omdat unraid betaalde software is en ik ook iets zocht dat werkte op mijn huidige setup, ben ik uiteindelijk uitgekomen op mergerfs. Ik had dit uiteindelijk nog kunnen uitbreiden met SnapRAID, maar omdat ik toch geen gebruik ervan ging maken heb ik deze (nog) niet toegevoegd.

Een aantal voordelen t.o.v. ZFS/unraid:
- Het vult per schijf en niet alle disks spinnen tegelijk (energie/warmte voordelen?).
- Je kunt één of meerdere schijven flexibel toevoegen zoals een JBOD.
- Het geheugen gebruik van ZFS is echt een bottleneck voor mijn kleine MCE/server.
- Als één of meerdere schijven kapot gaan, heb je nog deels je data. *Ik maak backups, voor series is dat minder belangrijk - rest van belangrijke data gaat via Syncthing.
- Het wordt acties ontwikkeld en de source is beschikbaar. Je kunt het ook weer eenvoudig* omzetten.

Een aantal nadelen t.o.v. ZFS/unraid:
- ZFS is erg goed in het 'bewaren' van data, mijn backups blijven dus wel op dit FS.
- Het is nog niet erg bewezen en de performance improvements moeten nog blijken.
- ZFS heeft caching, maar ook daar zitten haken en ogen aan.

Heeft één van jullie toevallig ervaring met mergerfs?

Bedankt nogmaals voor het meedenken.

[ELD]

Ik zie hier een aantal misverstanden betreffende hardware RAID. Voornamelijk worden de negatieve kanten belicht en de positieve achtergelaten. Daarnaast kloppen veel negatieve punten hier niet. Die zijn gebaseerd op oude imitaties.

• Je kunt prima disks gebruiken van verschillende grote, de ruimte die overblijft op de grotere disk kan ook in een tweede array worden gebruikt bij o.a. Adaptec(Micro Semi) en LSI
• hardware RAID heeft prima power management functies en kan de hele array plaatsen in gereduceerde RPM of volledig idle, dit kan ook per array
• hardware RAID is minder gevoelig voor corrupties in de (array header) data door virussen, verkeerde shutdown, stroom verlies, OS vastlopers etc. Hiervoor is wel een flash backed write cache batterij nodig.
• Transparante en snelle automatic rebuild met een hot spare of een drive die je hot toevoegt is geen enkel probleem en vergt geen enkele input anders dan het aansluiten van de disk
• Bij een niet werkend OS kun je de rebuild laten plaatsvinden in de BIOS
• Vele hogere snelheden, zeker met de extra RAM op de kaart en met SSD caching zoals Maxcache
• Je kunt een array makkelijk verhuizen naar een andere PC met een compatibele kaart. Voor o.a. Adaptec/Micro Semi beslaat dat ongeveer een periode van 11 Jaar

Nu is het niet zo dat je meteen voor hardware RAID moet kiezen, maar het heeft dus niet alleen nadelen. Voor 200 euro heb je twee 16 poort SAS/SATA RAID controllers met 1GB cache en een batterij backup van Adaptec.

Voor goede software RAID zou je ook kunnen kijken naar btrfs wat voor mij nu de voorkeur heeft boven ZFS. Ik heb ZFS vervangen voor btrfs i.v.m. de ontwikkelingen en kernel support.

[HollowGamer]

ELD schreef op dinsdag 19 oktober 2021 @ 00:05:
Ik zie hier een aantal misverstanden betreffende hardware RAID. Voornamelijk worden de negatieve kanten belicht en de positieve achtergelaten. Daarnaast kloppen veel negatieve punten hier niet. Die zijn gebaseerd op oude imitaties.

• [..]
• Bij een niet werkend OS kun je de rebuild laten plaatsvinden in de BIOS

[..]

Voor goede software RAID zou je ook kunnen kijken naar btrfs wat voor mij nu de voorkeur heeft boven ZFS. Ik heb ZFS vervangen voor btrfs i.v.m. de ontwikkelingen en kernel support.

Hoe gaat dit precies? Bedoel je met een UEFI loader?

Btrfs werkt opzicht prima, enkel niet (goed) met bepaalde RAID-levels. Mijn persoonlijke ervaringen zijn niet al te best, zo heb ik tot wel 3x een data corruptie gehad dat niet te herstellen viel. Het is altijd moeilijk te zeggen of dit een FS issue is, maar helaas ben ik niet alleen en komt (kwam hopelijk) het vaker tegen.

Ook is Btrfs erg langzaam (ook als enkel FS), het valt wel te tweaken, maar ZFS is daarin tegen toch wat completer met o.a. cache mogelijkheden out-of-the-box en het is stukken stabieler (persoonlijke mening).

Misschien moet ik mijn mening over Btrfs wel bijstellen, maar erg onder de indruk ben ik nooit echt geweest.

[Aragnut]

HollowGamer schreef op dinsdag 19 oktober 2021 @ 11:19:
[...]

Hoe gaat dit precies? Bedoel je met een UEFI loader?

Tijdens het opstarten (mogelijk moet dit in bios mode) kan je (vaak met ctrl+q oid) de bios van de kaart aanroepen (dit staat dan kort op het scherm tijdens boot). Deze heeft z'n eigen stukje software/interface waar je alles van die kaart mee kan instellen. Eenzelfde principe is er voor bijvoorbeeld netwerk kaarten en fiber kaarten (voor als je van een SAN wilt booten).

[ Voor 4% gewijzigd door Aragnut op 19-10-2021 11:25 ]

[ELD]

HollowGamer schreef op dinsdag 19 oktober 2021 @ 11:19:
[...]

Hoe gaat dit precies? Bedoel je met een UEFI loader?

Kaarten van o.a. Adaptec en LSI hebben een eigen boot rom die laad tijdens de boot. Deze initialiseert de array(s), doet een initiële health check van de schijven en heeft daarnaast een configuratie menu voor het opzetten van arrays, disk management en recovery opties. Bij Dell en HP servers zit het vaak verwerkt in UEFI.

Ik weet niet precies wanneer je ervaringen met Btrfs stoppen. Ik gebruik het nu standaard vanaf 2019 en heb geen issues met performance. De enige issues met RAID bij Btrfs zijn de levels 5 en 6, maar deze levels beschouw ik als ouderwets en niet bruikbaar in 2021.

Btrfs recovery is een moeilijk verhaal door het verleden, maar nu zijn er makkelijke opties. Het kan best zijn dat de data die je kwijt bent geraakt door corruptie gewoon met een simpele mount -o ro usebackuproot /dev/sdX /mnt/* had kunnen worden opgelost.

[ Voor 14% gewijzigd door ELD op 19-10-2021 11:58 ]