Advies ZFS

[border]

Beste tweakers

Ik heb laatst een HPE Microserver aangeschaft en heb dat draaien met Proxmox op een usb-stick met 1 harde schijf van 1TB. Daarop draait momenteel Pi-hole en een Nextcloud server, die ik via een backup overgezet heb van een Raspberry Pi. Maar ik zou dit nog willen uitbreiden met door data te delen via DLNA en NFS en eventueel een eigen mailserver op te zetten.

De nextcloudserver is (natuurlijk) veel sneller dan op de Pi, maar toch is deze af en toe niet responsief. Daarvoor heb ik de mail-app al uitgeschakeld in Nextcloud. Dan gaat het wat beter, maar toch komt het nog voor. Ik ga nu dus proberen om deze opnieuw te installeren en heb wat andere hardware aangeschaft om het een en ander sneller te maken, beter backups te beheren en wat meer plaats te hebben.

Mijn concrete vraag is hoe ik het best aanpak om met een ZFS-pool te werken, met de volgende harde schijven die ik bezit:

• 3x Seagate Ironwolf 4TB
• 1x Samsung QVO 870 8TB
• 1x Kingston A2000 SSD 1TB
• 2x Seagate Usb 2,5 inch disks van 5TB (heb ik nog liggen)

De hardware is een combinatie van wat ik nog liggen had, en een aantal zaken die ik nieuw en tweedehands voor een prijsje op de kop heb kunnen tikken. Ik snap dat de verschillende groottes niet ideaal zijn voor wat ik wil bereiken.

Ik dacht de Proxmox installatie en de VM's/containers op de Kingston te zetten, al is dat kwa plaats waarschijnlijk wel wat overkill.

Dan zou ik voor de data (Nextcloud, DLNA server, NFS data) een ZFS-pool maken van

• 2x 4TB partities van de Samsung SSD
• 3x 4TB Seagate Ironwolfs
• 1 x 4TB partitie van een Seagate Usb disk

Kan dat werken op die manier in RAIDZ1/2? Of wordt dat moeilijk met de verschillende soorten disks en gaat dat hier en daar wat performance issues opleveren? Is dat een optimaal gebruik van de SSD disks die ik heb, of kan ik dat beter anders aanpakken?

Ik veronderstel dat ik beter maar 1 partitie gebruik van de Samsung SSD, aangezien je niet wil voorhebben dat de parities en data op dezelfde disk terecht komen. Misschien gebruik ik dan beter 1 partitie voor media, daarbij is backup iets minder cruciaal.

Bedankt voor de tips! Ik ben nog maar net in dit wereldje terecht gekomen, dus ik heb nog veel te leren.

border

[Thralas]

border schreef op donderdag 1 juli 2021 @ 22:25:
Dan zou ik voor de data (Nextcloud, DLNA server, NFS data) een ZFS-pool maken van

• 2x 4TB partities van de Samsung SSD
• 3x 4TB Seagate Ironwolfs
• 1 x 4TB partitie van een Seagate Usb disk

Dat gaat zo niet lekker werken (understatement) en is vooral doodzonde van je relatief snelle en dure (€700) SSD.

Ik zou eens nagaan hoeveel storage je nu werkelijk nodig hebt, en dan overwegen of je niet kunt tieren met snapshots. Bijvoorbeeld al je 'live' data op de twee SSDs (1+8 TB) en dit voor je backups frequent snapshotten naar 3x4T in RAIDZ1 (8 TB) + 2x5T in mirror (5 TB). Ruimte die overblijft kun je gebruiken voor een trage en/of minder belangrijke datastore. En dan kun je zelfs misschien de 3x4T pool vooral in spindown houden als je er toch enkel naar backupt.

Houd er sowieso rekening mee dat die 2.5" disks SMR zijn en sowieso niet ideaal zijn voor ZFS.

Heel veel mooier kan ik het in ieder geval niet maken, daar is het een te grote grabbelton voor.

[Voor 5% gewijzigd door Thralas op 01-07-2021 23:11]

[nelizmastr]

Je kunt geen RAID maken van partities. RAID werkt op device niveau.

Eigenlijk heb je alleen wat aan de Ironwolfs. Die kun je in een RAIDZ1 draaien.
De A2000 is dan een prima cache disk.

[border]

Bedankt @Thralas en @nelizmastr voor jullie reacties.

Dat maakt het verhaal in ieder geval duidelijker. Ik snap wel dat ik beter of 3 x 8TB Ironwolfs of 1 x 4TB SSD had. Echter was dat niet wat ik vast kon krijgen, dus de grabbelton klopt wel redelijk, toch gezien het relatief beperkte budget. Die SSD had ik voor 300 euro, in nieuwstaat, dus dat was toch geen slechte deal denk ik. Maar het maakt het werken ermee inderdaad niet de evidentie zelve.

Ik kan daarmee verder!

[Thralas]

border schreef op zaterdag 3 juli 2021 @ 00:30:
Die SSD had ik voor 300 euro, in nieuwstaat, dus dat was toch geen slechte deal denk ik.

Ah, dat is inderdaad een offer you can't refuse.

nelizmastr schreef op vrijdag 2 juli 2021 @ 06:44:
Je kunt geen RAID maken van partities. RAID werkt op device niveau.

Dat kan wel. Ook met ZFS. Als het maar een block device is.

Natuurlijk moet je wel rekening houden met het verdere gebruik van die disk (+/- hoeveel je je zorgen maakt om performance).

[CurlyMo]

Thralas schreef op zaterdag 3 juli 2021 @ 11:19:
[...]
Dat kan wel. Ook met ZFS. Als het maar een block device is.

Ook dat hoeft niet perse. Je kan ook een ZFS pool maken op basis van bestanden.

[border]

Thralas schreef op zaterdag 3 juli 2021 @ 11:19:

Natuurlijk moet je wel rekening houden met het verdere gebruik van die disk (+/- hoeveel je je zorgen maakt om performance).

Heeft dat bij een SSD dan niet al meer zin dan bij een HDD?

[Thralas]

border schreef op maandag 12 juli 2021 @ 22:54:
Heeft dat bij een SSD dan niet al meer zin dan bij een HDD?

Ik snap die zin niet..

Ik doelde op het feit dat als je een array (bijvoorbeeld raidz) van meerdere partities maakt en de overige ruimte op een andere manier gebruikt, je het theoretische risico loopt dat de performance van je hele array er in meer of mindere mate onder lijdt als één van de disks het niet kan 'bijbenen' omdat hij ook andere I/O ziet.

Dat is al snel vooral theoretisch een probleem, in de praktijk is het voor thuisgebruik niet zo snel relevant. Bij een SSD al helemaal niet.

[sdk1985]

Kijk anders eens naar alternatieven zoals https://www.snapraid.it/ en Unraid. Dan ben je wat flexibelen met het mixen en matchen. In geval van snapraid werkt het met bestaande data.

[border]

Thralas schreef op maandag 12 juli 2021 @ 23:19:
[...]
Dat is al snel vooral theoretisch een probleem, in de praktijk is het voor thuisgebruik niet zo snel relevant. Bij een SSD al helemaal niet.

Bedankt voor de toelichting!
Dat is eigenlijk net wat ik bedoelde (zeker de laatste zin), maar alleen wat ongelukkig geformuleerd, excuus!

[Paul]

nelizmastr schreef op vrijdag 2 juli 2021 @ 06:44:
De A2000 is dan een prima cache disk.

Let wel dat cache bij ZFS niet werkt zoals een traditionele cache.

ZFS heeft als write-cache alleen de transaction group in RAM, met daarnaast een ZIL voor synchrone writes. Die A2000 is beter dan een spinning disk om de ZIL (in dit geval dus als SLOG) op te zetten, maar daar heb je geen 1 TB voor nodig.

Ook voor read cache wordt RAM gebruikt (ARC). Je kunt wel een L2ARC toevoegen, maar daar wordt pas data op gezet als het RAM vol zit. Tevens kosten entries in je L2ARC ook RAM, dus een L2ARC vermindert de hoeveelheid data die in je ARC past.

SLOG: Verkoop de A2000 (of zet die ergens anders in) en koop een Intel Optane M10 -> 16 GB is meer dan genoeg en de latency is een stuk lager. Voor SLOG is latency king. Op V&A staat iemand die ze voor een tientje verkoopt (disclaimer: ik ken die persoon niet; doe je eigen onderzoek).

L2ARC: Als je ARC vol loopt en je meer read cache wil, kijk dan eerst of je meer RAM toe kunt voegen. Pas als dat niet meer gaat zou ik L2ARC overwegen.

Bottom line: Ik zou die A2000 niet als cache-disk inzetten De toegevoegde waarde van een SLOG of L2ARC acht ik bij jouw gebruik minimaal, maar meten is weten En zoiets achteraf toevoegen kan ook gewoon (zolang je devices vrij kunt spelen, door bijvoorbeeld de A2000 in een aparte pool te zetten).

---

Daarover gesproken, let op dat je geen vdevs uit een pool kunt halen! Als je alles in één pool stopt (bijvoorbeeld RAIDZ1 van de IronWolves, single device Samsung, single device Kingston, mirror van de USB- disks) dan beschouwd ZFS dat allemaal als fair game, en is je data zo veilig als de mist veilige vdev. En aangezien dat je single device SSD's zijn, is je pool dus effectief een RAID 0 geworden: 1 device stuk -> heel veel data verloren.

Dus om het voorstel van @Thralas wat verder te specificeren:
- 1 pool met één vdev: de Samsung SSD
- 1 pool met één vdev: de 3 Ironwolf disks in RAIDZ1
De pool met de Samsung SSD als 'live' data, deze ieder uur met ZFS snapshotten naar de pool met Ironwolves

Over de A2000 zit ik in dubio (kunt deze altijd als extra single vdev pool toevoegen ergens voor), en de USB-disks zijn misschien beter / veiliger in gebruik voor off-site backup -> Sluit aan, schrijf er een backup naartoe en leg ze aan de andere kant van je huis, of zelfs heel ergens anders. Rouleer regelmatig welke je gebruikt. Vergt wel enige discipline, dus mogelijk is een NAS bij je ouders / familie / vrienden en dan over het internet backuppen een meer 'fire-and-forget'-oplossing

[vandijk]

Bericht verwijderd.

[Voor 97% gewijzigd door vandijk op 27-07-2021 19:13]