Data redundatie op een debian thuisserver

[woutur]

Onlangs is een HDD (WD60EFRX) in mijn thuisserver overleden. Vervelend, niet onoverkomelijk. Ik draai geen RAID of dergelijken. Mijn systeem draait al een jaar of 10 op Debian. Nu op de meest recente stable (11, Bullseye). De server is vooral een data opslag maar serveert ook http, ftp en en draaien wat leukigheden op. Snelheid is niet echt van belang.

Mijn doel: redundantie. Ik wil eigenlijk op mijn data disks de data dubbel hebben zodat wanneer er een disk uitvalt, ik er een nieuwe in kan steken zonder dataverlies. De SSD waar het OS op draait valt hier buiten.

Backups draai ik op een externe USB-schijf en ik denk erover een cloud dienst te nemen. Deze vallen buiten de scope van deze topic.

Huidige setup en situatie:
In mijn kast is plek voor 6 HD's, mijn moederbord heeft 4 sata aansluitingen. Uitbreiding naar meer sloten zal dus via een PCI-e uitbreidingskaart kunnen en SATA power-splitters. Mijn voeding is een Seasonic G 360watt. Op dit moment zijn er 3 HDD slots bezet:

code:

Disk /dev/sdc: 5.46 TiB, 6001175126016 bytes, 11721045168 sectors
Disk model: WDC WD60EFZX-68B
Device     Start         End     Sectors  Size Type
/dev/sdc1   2048 11721043967 11721041920  5.5T Linux filesystem

Disk /dev/sda: 232.89 GiB, 250059350016 bytes, 488397168 sectors
Disk model: Samsung SSD 840 
Device     Boot     Start       End   Sectors   Size Id Type
/dev/sda1            2048  16001023  15998976   7.6G 82 Linux swap / Solaris
/dev/sda2  *     16001024 172251135 156250112  74.5G 83 Linux
/dev/sda3       172251136 250376191  78125056  37.3G 83 Linux
/dev/sda4       250378238 488396799 238018562 113.5G  5 Extended
/dev/sda5       250378240 289437695  39059456  18.6G 83 Linux
/dev/sda6       289439744 488396799 198957056  94.9G 83 Linux

Disk /dev/sdb: 2.73 TiB, 3000592982016 bytes, 5860533168 sectors
Disk model: WDC WD30EFRX-68A
Device     Start        End    Sectors  Size Type
/dev/sdb1   2048 5860532223 5860530176  2.7T Microsoft basic data

Mijn vraag en opzet voor een plan:
Ik wil 2 harde schijven bijplaatsen en daarmee WD30EFRX preventief vervangen. Volgens SMART heeft deze meer dan 80000 uur erop zitten. Ik zie eigenlijk 0 errors op deze schijf, het gaat meer om de leeftijd. De SSD heeft er 119000 uur opzitten maar slechts een wear leveling count van 79. Er is 69TB naar geschreven over 11 jaar. De WDC WD60EFZX-68B zit er nog geen 2 jaar in. Die blijft nog even.

Met een nieuwe setup van bijvoorbeeld 3 maal 6TB en een ssd weet ik eigenlijk niet zo goed wat mijn opties zijn voor redundantie. Ik kom van 15 TB af en wil dat ongeveer weer. Moet ik een pool opbouwen en daarbinnen RAID gaan draaien? Ik weet nog niet zo goed hoe dit in linux aan te pakken.

Als ik het een beetje begrijp kan ik een RAID-5 draaien, waarbij de totale capaciteit dan 12GB zal worden. Is acceptabel. Waar ik bang van wordt zijn rebuild horrorstories waar alle data verloren gaat. Minder bang ben ik voor rebuild tijd. Dat interesseert me niet zo echt. Als het maar kan en niet te moeilijk is.

RAID-1 is ook een optie waarbij ik dan wellicht grotere nieuwe schijven koop die de overgebleven 6 TB (of wat mapjes daarop) overnemen en voor de rest hun eigen data bevatten.

RAID-6 wordt wel een duur grapje.

Wellicht niet heel ter zake doend: de nieuwe schijven zullen waarschijnlijk WD Red Plus worden (alle CMR schijven).

Ik heb een zetje in de goede richting nodig.

[nelizmastr]

De 3TB en 6TB Reds hebben niet de beste naam in de historie, de 4 en 8TB versies daarentegen wel.
Dat inachtnemend zou ik gaan kijken naar 8T schijven of groter ter vervanging.

Met groter wordende schijven is rebuilden langzamerhand zoals je zelf al vreest een hot item geworden. Wat je daarom meer ziet gebeuren bij de thuisknutselaar is een RAID1 set van grote schijven om dezelfde capaciteit te bereiken.

Voorbeeld:

Een 18TB schijf (bijv. Seagate Exos) kost rond de €300, maal 2 is €600 voor 18TB netto. Een Red Plus 6TB is €150,
daar moet je er 4 voor hebben in RAID5 om ook rond die 18TB netto uit te komen, dat kost ook €600 voor een nieuwe set.

Dat staat nog los van het extra stroomverbruik

[Ben(V)]

Een raidset bestaat uit gelijke disken dus je oude disken en de nieuwe kun je niet mixen in een raidset, dus die 3TB disk is daarin niet bruikbaar.
Als je dat wel doet krijg je een raidset bestaande uit 3TB disken en dus een hoop ruimte ongebruikt laat.

Met drie stuks 6TB disken kom je dus maximaal op 12TB uit, dus als je minimaal 15TB nodig hebt zul je dus 3 stuks 6TB moeten bijkopen die dan samen met de bestaande 6TB een raid 5 set kunt maken die netto 18TB oplevert.

Persoonlijk zou ik 3 Stuks 8 TB disks kopen en daar een raid 5 set mee maken en netto 16TB overhouden
Alternatief kun je 3 stuks 6Tb disken kopen en samenvoegen tot een raid 5 set met de bestaande 6TB disk en netto 18TB overhouden.

Het beste kun je een raidset bouwen met mdadm.

[eheijnen]

Zeker ook eens naar kijken en zie dat dit nog niet aangekaart is hier.

Voor Software RAID is ZFS een goede mogelijkheid.
Volledig ondersteund via de repo van OpenZFS op Debian.

In deze draad kun je flink wat info inwinnen en ook gericht vragen stellen.
Het grote ZFS topic

[ZatarraNL]

Ik zou ook voor ZFS gaan. Oh wacht, ik ben al voor ZFS gegaan. Maar ik ben voor Zraid 10 gegaan. 4x 8Tb voor 16Tb totaal. Ook al eens moeten resilveren. Duurt even, maar werkt prima.

[idef1x]

Wat je ook kunt doen is met btrfs...hoef je niet eerst je hele pool in 1 keer op te bouwen..Je kunt dan je huidige fs converteren naar btrfs en je kunt mixed grootte in je pool hebben. Heb je meer ruimte nodig? Kwestie van een hdd bijplaatsen, even rebalancen en klaar. Ik zou wel van raid5/6 nog wegblijven....schijnt nog steeds een dingetje te zijn..

[woutur]

Black Friday is geweest, en ik heb me er eindelijk toe kunnen zetten nieuwe harde schijven te kopen. Ik ben voor een aanbieding gegaan voor twee 16TB WD Red Pro's.

Ik vond het nog lastig om voor ZFS te gaan. Ik zie (nu) niet zo heel goed waar dit mij gaat helpen met een RAID-1 opstelling. Wel heb ik al met mdadm de schijven geplaatst. Die staan nu rustig te syncen. Ik moest even nazoeken waarom lege schijven syncen maar dat heeft te maken met het feit dat deze RAID niet op filesystem level werkt maar daaronder en dat alle sectoren precies hetzelfde gemaakt moeten worden (ook al zijn ze leeg). Ah wel, ik zie het als een test of de schijven wel OK werken.

[Compizfox]

woutur schreef op dinsdag 28 november 2023 @ 15:00:
Ik moest even nazoeken waarom lege schijven syncen maar dat heeft te maken met het feit dat deze RAID niet op filesystem level werkt maar daaronder en dat alle sectoren precies hetzelfde gemaakt moeten worden (ook al zijn ze leeg).

Hier heb je meteen een voordeel van ZFS te pakken; dat is wel op filesystemniveau, dus je volume manager heeft kennis van je bestanden.

[ Voor 6% gewijzigd door Compizfox op 28-11-2023 15:02 ]

[pennywiser]

Ik zit zelf ook (nog) op LVM op MD, heeft ZFS ook nadelen ten opzichte hiervan?

[Soldaatje]

woutur schreef op dinsdag 28 november 2023 @ 15:00:
Black Friday is geweest, en ik heb me er eindelijk toe kunnen zetten nieuwe harde schijven te kopen. Ik ben voor een aanbieding gegaan voor twee 16TB WD Red Pro's.

Ik vond het nog lastig om voor ZFS te gaan. Ik zie (nu) niet zo heel goed waar dit mij gaat helpen met een RAID-1 opstelling. Wel heb ik al met mdadm de schijven geplaatst. Die staan nu rustig te syncen. Ik moest even nazoeken waarom lege schijven syncen maar dat heeft te maken met het feit dat deze RAID niet op filesystem level werkt maar daaronder en dat alle sectoren precies hetzelfde gemaakt moeten worden (ook al zijn ze leeg). Ah wel, ik zie het als een test of de schijven wel OK werken.

Het syncen kan wel even duren inderdaad, maar je kan de schijven al wel gebruiken ondertussen, dus je kan al een filesystem aanmaken, mounten en bestanden schrijven.