ZFS met partities

[Good_Lord]

Ik wou deze post eerst posten in het DIY NAS of ZFS topic, maar daar wordt zoveel door elkaar gepost dat het mij toch beter leek om een nieuw topic te starten.

Ik heb mij geprobeerd in te lezen in ZFS, maar vooral omtrent de systeemeisen heerst veel onduidelijkheid. De ene spreekt over een 1GB RAM per TB HDD, de andere spreekt over minimaal 8 tot 16 GB RAM in het algemeen. Nergens wordt met een woord gerept over de kleinere thuis-NASjes.


Mijn situatie:
Ik heb een kleine mITX zelfbouw NAS draaien met NAS4Free. Daarin draait momenteel 1 Western Digital RED 3TB. Nu zijn mijn vriendin en ik beide actief geworden binnen een zelfstandige onderneming, waardoor de noodzaak voor een veilige dataopslag van groter belang is geworden dan voorheen, buiten de "normale" backup naar USB-HDD.

Ik kan het helaas niet verantwoorden om nu te gaan investeren in nieuwe hardware, de vrouwelijke redenatie is "het werkt nu toch!?!", en vandaar dus dit topic.


Het systeem:
OS: Nas4Free 9.1.0.1 (kan geupdate worden naar 9.2.0.1) - Embedded install op USB-stick
Moederbord: Intel D945GCLF2
CPU: Intel Atom 330 @ 1.60GHz
Memory: 1x 2GB (1809MiB volgend WebGUI)
In de kast ligt nog een: Samsung Spinpoint 1TB (HD103UJ)


Mijn eerste vraag:
Is het mogelijk een ZFS-mirror te maken van de 1TB-schijf en een 1TB-partitie op de 3TB schijf (en de overige 2TB dan dus als een enkele UFS-partitie te benaderen)?

De vervolgvraag:
Wat is aan te raden, gezien het werkgeheugen?
-> 1TB ZFS mirror + 2TB UFS
of
-> 1TB RAID1 + 2TB UFS

Ik hoop dat iemand wat duidelijkheid kan scheppen.

bedankt!

[u_nix_we_all]

Ik draai zelf een ZFS met 4x3TB raidz1 op een systeempje met maar 4GB geheugen (HP N40L), en dat werkt op zich niet slecht. Ik draai zelf OpenIndiana, een open solaris variant. Performance daarvan is voldoende voor mijn gigabit netwerkje. Ook toen ik er nog maar 2GB in had zitten werkte het beter dan ik gedacht had, maar toen had ik maar 2x2TB opslag erin zitten.

V.w.b. je diskindeling: Ja, theoretisch zeker mogelijk, ik weet alleen niet of je dat bij NAS4FREE vanuit een GUI kunt instellen, maar via de CLI moet dat wel kunnen. Ik zou dan wel op de 1TB disk ook een partitie maken, niet het hele diskdevice gebruiken. En zelf zou ik ook van die 2TB een ZFS maken, dat biedt je zonder RAID dan wel geen reparatie van omgevallen bitjes, maar je hebt dan in ieder geval de mogelijkheid het te detecteren. (Dus 1TB ZFS mirror en 2TB ZFS)
En als je dan besluit die 2TB ook in een mirror te zetten kun je dat gewoon met ZFS doen zonder data te hoeven migreren.

Edit: Is wat extra geheugen toevoegen geen optie btw ?

[syl765]

Wat wil je met die resterende 2 TB doen? Ik zou even investeren in een tweede 3TB disk.
Je bespaart jezelf een hoop gedoe, en je weet zeker dat al je data veilig is. Zeker met een gui distro als freenas, nas4free enz ben je niet altijd even flexibel als een bare metal FreeBSD install waar je dus heel makkelijk partities enz kan maken en deze gebruiken voor ZFS. Extra geheugen kan geen kwaad, maar het hoeft niet als je wat documenten deelt op de nas.
Vergeet niet dat ZFS geen backup is!!! Je zal dus een goede backup strategie moeten inrichten voor je ondernemings data. Al dan niet een offline backup oplossing of met een externe USB disk.

[ Voor 5% gewijzigd door syl765 op 07-03-2014 19:34 ]

[Q]

Audio-Lover schreef op vrijdag 07 maart 2014 @ 18:27:
Ik wou deze post eerst posten in het DIY NAS of ZFS topic, maar daar wordt zoveel door elkaar gepost dat het mij toch beter leek om een nieuw topic te starten.

Ik heb mij geprobeerd in te lezen in ZFS, maar vooral omtrent de systeemeisen heerst veel onduidelijkheid. De ene spreekt over een 1GB RAM per TB HDD, de andere spreekt over minimaal 8 tot 16 GB RAM in het algemeen. Nergens wordt met een woord gerept over de kleinere thuis-NASjes.

Lees eens het artikel in mijn signature, sluit aan bij je wensen.

Mijn situatie:
Ik heb een kleine mITX zelfbouw NAS draaien met NAS4Free. Daarin draait momenteel 1 Western Digital RED 3TB. Nu zijn mijn vriendin en ik beide actief geworden binnen een zelfstandige onderneming, waardoor de noodzaak voor een veilige dataopslag van groter belang is geworden dan voorheen, buiten de "normale" backup naar USB-HDD.

Ik kan het helaas niet verantwoorden om nu te gaan investeren in nieuwe hardware, de vrouwelijke redenatie is "het werkt nu toch!?!", en vandaar dus dit topic.

Nee je loopt risico dat je wat data kwijt raakt en een paar dagen bezig bent om je opslag weer op te bouwen. Zoals het advies wordt gegeven: koop een 2e 3 TB disk en zet die in een mirror. Zonder de hardware heeft ZFS je weinig meer te bieden.

[Good_Lord]

Dank voor jullie berichten!

Ik zal proberen duidelijk ieders input te beantwoorden:

u_nix_we_all schreef op vrijdag 07 maart 2014 @ 18:41:
Ook toen ik er nog maar 2GB in had zitten werkte het beter dan ik gedacht had, maar toen had ik maar 2x2TB opslag erin zitten.

Kijk das goed nieuws!

u_nix_we_all schreef op vrijdag 07 maart 2014 @ 18:41:
V.w.b. je diskindeling: Ja, theoretisch zeker mogelijk, ik weet alleen niet of je dat bij NAS4FREE vanuit een GUI kunt instellen, maar via de CLI moet dat wel kunnen. Ik zou dan wel op de 1TB disk ook een partitie maken, niet het hele diskdevice gebruiken. En zelf zou ik ook van die 2TB een ZFS maken, dat biedt je zonder RAID dan wel geen reparatie van omgevallen bitjes, maar je hebt dan in ieder geval de mogelijkheid het te detecteren. (Dus 1TB ZFS mirror en 2TB ZFS)
En als je dan besluit die 2TB ook in een mirror te zetten kun je dat gewoon met ZFS doen zonder data te hoeven migreren.

Hmm das idd een goede optie, die 2TB ZFS.

Ik moet even kijken wat mogelijke is met de GUI. Anders moet ik een monitor eraan hangen en mag ik mn *BSD kennis weer uitbreiden (Het blijft toch speelgoed voor mij ) Ik heb nog geen tijd gehad zelf te zoeken, maar heb je toevallig enig idee waar ik het beste kan kijken voor een uitleg van de te gebruiken commando's? (Mijn BSD-kennis is nog zéér beperkt)

syl765 schreef op vrijdag 07 maart 2014 @ 19:32:
Wat wil je met die resterende 2 TB doen?

De 2TB zal in eerste instantie leeg blijven, aangezien ik de 3TB 'op de groei' gekocht had. Daarnaast had ik een Conceptronic NAS welke dood ging en daarbij een bijna volle 1TB schijf daarbij t graf mee in nam, dat ruimt best goed op kan ik wel zeggen

Wat mij betreft kan ik op de resterende 2TB niet-kritieke data als muziek en films plaatsen, mocht ik die ruimte op de 1TB nodig hebben voor de kritiekere zaken.

Wat ik ermee wil doen. Ik zat in eerste instantie te denken aan UFS, maar zoals u_nix_we_all aangaf kan ik er ook een single ZFS-drive van maken, wat later weer van pas kan komen.

u_nix_we_all schreef op vrijdag 07 maart 2014 @ 18:41:
Edit: Is wat extra geheugen toevoegen geen optie btw ?

syl765 schreef op vrijdag 07 maart 2014 @ 19:32:
Ik zou even investeren in een tweede 3TB disk.

Voor nu kan ik geen investeringen verantwoorden richting vrouwlief. Om het kort te zeggen, we komen reeds elke maand tekort. Het uitstellen is hopelijk maar voor een paar maanden, maar ik vindt dat dit nu gewoon geregeld moet worden. Als mn 3TB-schijf besluit langzaam dood te gaat is er kans dat de backups ook corrupt raken voordat ik doorheb dat de schijf stervende is.....

Een nieuwe 3TB-schijf staat op nr. 1 van mijn lijstje te maken investeringen.

Qua geheugen: Dit bordje bevat een Atom processor, 1 geheugen-slot en 2 SATA-sloten. Errug beperkt voor een NAS. Daarnaast: het huidige geheugen is de max. ondersteunde hoeveelheid.

Dit is een tijdelijke oplossing om relatief goedkoop kritieke opslag neer te zetten. Hopelijk kan ik snel investeren in een deftigere oplossing. Tegenwoordig zijn er processoren te krijgen die idle veel zuiniger, en onder full load véél krachtiger zijn dan deze Atom Meer RAM staat dan ook op het lijstje.

syl765 schreef op vrijdag 07 maart 2014 @ 19:32:
Vergeet niet dat ZFS geen backup is!!! Je zal dus een goede backup strategie moeten inrichten voor je ondernemings data. Al dan niet een offline backup oplossing of met een externe USB disk.

Noted Daarvoor gebruik ik USB-hdd's

Q schreef op vrijdag 07 maart 2014 @ 23:45:
[...]

Lees eens het artikel in mijn signature, sluit aan bij je wensen.

[...]

Nee je loopt risico dat je wat data kwijt raakt en een paar dagen bezig bent om je opslag weer op te bouwen. Zoals het advies wordt gegeven: koop een 2e 3 TB disk en zet die in een mirror. Zonder de hardware heeft ZFS je weinig meer te bieden.

Interessant artikel.

Ik begrijp je denk ik niet zo goed. Wanneer loop ik het risico wat data kwijt te raken?

Als ik nu 1TB ZFS mirror aanmaak, en een 2TB ZFS single partition, is alles op die 1TB mirror toch beschermd tegen hardwarematig falen van één van de drives? (En de 2TB is idd onbeschermd)

Daarnaast maak ik backups naar een USB-hdd, in het geval van het falen van andere componenten c.q. stroomuitval.

Alle data wordt eerst gebackupped naar een USB-hdd voordat ik uberhaupt een wijziging doorvoer op de server.

[ Voor 0% gewijzigd door Good_Lord op 08-03-2014 14:38 . Reden: dankwoord toegevoegd :9 ]

[Q]

Ik las niet goed, die 1 TB kun je idd gebruiken voor een raid 1 en dat heb je wat je wilt. 1 TB is beschermd tegen disk faillure.

[Good_Lord]

Q schreef op zaterdag 08 maart 2014 @ 14:49:
Ik las niet goed, die 1 TB kun je idd gebruiken voor een raid 1 en dat heb je wat je wilt. 1 TB is beschermd tegen disk faillure.

Top! Bedankt voor je antwoord! Ik ga zsm ermee aan de slag, wordt waarschijnlijk pas maandag.....

[Ultraman]

Nog een tip: ga niet ZFS en UFS combineren op dezelfde machine. Beiden hebben een ander caching mechanisme en zullen elkaar beconcurreren voor geheugenruimte voor die cache. In jouw geval zou ik voor ZFS gaan, dan heb je alle mooie features daarvan ter beschikking.
De 1TB in RAID1 pool en een single 2TB pool is te doen als het echt geen geld mag kosten. Investeren in een 3TB disk zodat je 3TB in mirror kunt doen is eigenlijk mooier. Maar dat kun je ook op een later moment nog doen.

command line is wel handig in deze.
Een partitie maken met gpart is gelukkig niet moeilijk. Goede plek om daar iets over te vinden lijkt mij een ZFS FreeBSD install howto er bij zoeken, daar staat partities maken vaak wel in.

[u_nix_we_all]

Audio-Lover schreef op zaterdag 08 maart 2014 @ 14:35:


Ik moet even kijken wat mogelijke is met de GUI. Anders moet ik een monitor eraan hangen en mag ik mn *BSD kennis weer uitbreiden (Het blijft toch speelgoed voor mij ) Ik heb nog geen tijd gehad zelf te zoeken, maar heb je toevallig enig idee waar ik het beste kan kijken voor een uitleg van de te gebruiken commando's? (Mijn BSD-kennis is nog zéér beperkt)

Je kunt ook ssh gebruiken om een command line sessie op je NAS te krijgen natuurlijk, bijv met Putty.

Met een slim stappenplan zou je kunnen proberen om het zo te doen dat je je kopie van op je USB-disk alleen in noodgevallen nodig hebt, bijv:

- zorg dat de data die je wilt bewaren op de 1TB disk staat
- partitioneer de 3TB disk met 1 TB partitie en een 2 TB partitie (gparted)
- Maak daar een 1TB zpool en 2TB zpool op aan (zpool create <poolnaam> <1tb-partitie-devicenaam> )
- Maak een zfs filesystem in de 1TB zpool en kopieer daar je data van de 1TB disk naar toe (zfs create <poolnaam/filesystemnaam> )
- partitioneer de 1TB disk met een 1TB partitie (gparted)
- attach die aan de 1TB zpool zodat dat een mirror wordt ( zpool attach <poolnaam> <device> )

Uitdaging zit denk ik in het uitzoeken van de juiste grootte van die 1TB partitie. Misschien kun je kijken hoe groot die nu precies is in blokken, en de 1TB partitie op de 3TB net zo groot (of voor de zekerheid iets kleiner) maken. Als je de 1TB partitie op de 3TB disk te groot maakt kun je hem niet meer mirroren met de 1TB disk.
(een 1TB disk is veel kleiner dan een 1TiB partitie )

@syl765 hieronder:

Ja, goed punt. Mooie daarvan is dat je dat per zfs op kan geven, dus je kunt ook meerdere zfs's in die 2TB pool zetten en dat nog verdelen. Alleen als de hele disk uitvalt helpt copies=2 ook niet meer.

[ Voor 6% gewijzigd door u_nix_we_all op 09-03-2014 10:23 ]

[syl765]

Als je de resterende 2 TB ook wilt gebruiken, en je wilt toch redundantie van je data, dan kun je ervoor kiezen om copies=2 op te geven.
Elk bestand word dan twee keer weggeschreven.
Mocht er een bestand corrupt raken, dan kan zfs deze toch nog herstellen van de tweede kopie.

Je houd we maar 1 TB over natuurlijk.

[Verwijderd]

Waarom moeilijk gaan doen met partities?
Ik zou gewoon Rsync gebruiken.

[Q]

Audio-Lover schreef op zaterdag 08 maart 2014 @ 23:50:
[...]


Top! Bedankt voor je antwoord! Ik ga zsm ermee aan de slag, wordt waarschijnlijk pas maandag.....

Toch zou ik persoonlijk het jezelf makkelijk maken en die 100 euro uitgeven aan een 2e 3 TB schijf, maakt je leven een stuk makkelijker.

[Good_Lord]

Wel zo netjes om nog even te reageren met een slot:

Het partitioneren en formatteren met ZFS is mij via de command-line niet gelukt. Via de GUI weigert NAS4Free botweg om een ZFS-partitie aan te maken.

Ik heb mij overgegeven en besloten een 2de 3TB schijf aan te schaffen.

"We kunnen het niet leuker maken, wel makkelijker"

Nogmaals dank voor al het advies

[Q]

Super, succes!