Het grote ZFS topic

[Verwijderd]

Oke, dan heb ik het verkeerd begrepen.

[FireDrunk]

Ondanks dat ik mijn hele FC avontuur wilde cancellen omdat het allemaal instabiel was, heb ik toch maar eens de moed bij elkaar geraapt om er weer eens mee te spelen...

FC kaartjes uit mijn server gehaald, en in een ander bakje gestopt, om zo geen afhankelijkheden meer te hebben met mijn gewone iSCSI verkeer

FC Host:
i5-3570, 32GB RAM, 1 * QLogic QLE2462, Sandisk 32GB SSD

FC Client:
Celeron G1820, 8GB RAM, 1* Emulex LPE11000, Sandisk 32GB SSD.

Beide machines zijn voorzien van Fedora 23 Minimal.

Na wat testen hier en daar met een Ext4 filesystem op de LUN:

[root@fcclient ramdisk]# echo 3 > /proc/sys/vm/drop_caches
[root@fcclient ramdisk]# dd if=test.10G of=/dev/null bs=1M
9912+1 records in
9912+1 records out
10394337280 bytes (10 GB) copied, 22.6911 s, 458 MB/s

Niet onaardig, maar ja, het ding heeft 2 FC poortjes, en ik haal 'maar' krap meer dan de snelheid van 1.

Toch maar even proberen er naar te schrijven:

[root@fcclient ramdisk]# dd if=/dev/zero of=test.10G bs=1M count=10240
dd: error writing ‘test.10G’: No space left on device
9913+0 records in
9912+0 records out
10394337280 bytes (10 GB) copied, 12.1132 s, 858 MB/s

Uh, ok... Dat is f*cking snel (let niet op de out of space melding, lun is precies 10GB groot).

Het moge duidelijk zijn dat het andere kaartje (had er voorheen 2 in de machine steken) kapot is. Ik had beide kaartjes eerst ook in deze machine, maar zag weer rare meldingen in dmesg rondom task aborts.

Dit is toch wel "speel" waardig

[ Voor 8% gewijzigd door FireDrunk op 06-03-2016 15:35 ]

[RobboNL]

Ik zou graag een harddisk uit mijn QNAP RAID1 array willen mounten. Met het een reguliere mount kom ik niet verder dan de enkele systeembestanden zichtbaar te krijgen.

Ik begrijp dat dit op linux kan met 'mdadm -a'
Is daar een Freebsd alternatief voor?

[ Voor 47% gewijzigd door RobboNL op 06-03-2016 16:20 ]

[Compizfox]

Als de originele array een mirror was, dan zou je één van de twee schijven 'gewoon' moeten kunnen mounten (zonder RAID-toestanden) toch?

[Bigs]

RobboNL schreef op zondag 06 maart 2016 @ 16:14:
Ik zou graag een harddisk uit mijn QNAP RAID1 array willen mounten. Met het een reguliere mount kom ik niet verder dan de enkele systeembestanden zichtbaar te krijgen.

Ik begrijp dat dit op linux kan met 'mdadm -a'
Is daar een Freebsd alternatief voor?

Dit heeft niets met ZFS te maken, wel?

[Compizfox]

Bigs schreef op zondag 06 maart 2016 @ 17:29:
[...]


Dit heeft niets met ZFS te maken, wel?

Nee, maar omdat er geen "Algemeen FreeBSD-topic" is, wordt dit topic in praktijk veel gebruikt om FreeBSD-gerelateerde dingen te bespreken

[martijndierckx]

Hi Guys

Mijn tank geeft aan dat er geen vrije ruimte meer is, maar die is er nog wel (files verwijderen helpt niet)

df -h

dataTank/Public              15T      15T     0 100% /mnt/dataTank/Public

sudo zpool list -o name,size,allocated,free,freeing

NAME       SIZE  ALLOC   FREE  FREEING
dataTank  21,8T  21,1T   624G        0

sudo zfs list -t all

NAME              USED  AVAIL  REFER  MOUNTPOINT
dataTank         14,1T      0   304K  /mnt/dataTank
dataTank/Public  14,1T      0  14,1T  /mnt/dataTank/Public

sudo zfs get -o value -Hp available /mnt/dataTank/Public

0

Any ideas?

[Verwijderd]

Gaat dit om ZFS-on-Linux? Want die heeft een bug op dit gebied. De oplossing zou zijn om een BSD distributie te booten en daar ruimte vrij te maken, dan weer naar Linux gaan.

[martijndierckx]

gaat inderdaad om ZoL op Ubuntu.
Dus gewoon FreeBSD installeren? Pool importeren en daar 1 file aanmaken en terug verwijderen?
Dat zou het moeten doen? En dan blijft de issue opgelost?

[ Voor 9% gewijzigd door martijndierckx op 06-03-2016 20:31 ]

[Q]

FireDrunk schreef op zondag 06 maart 2016 @ 15:34:

Dit is toch wel "speel" waardig

Dat is zeker leuk spul. Waarom ben je eigenlijk de FC route gegaan en niet de Infiniband? Niet goed of fout maar ik weet de motivatie niet zo goed, native support van ESXi?

[ Voor 15% gewijzigd door Q op 06-03-2016 21:00 ]

[FireDrunk]

Kon heel goedkoop aan deze kaartjes komen, lees: gratis

[Pantagruel]

FireDrunk schreef op zondag 06 maart 2016 @ 21:04:
Kon heel goedkoop aan deze kaartjes komen, lees: gratis

Dan is t altijd de moeite waard om te testen ook al geeft t wat hoofdpijn problemen.

[narotic]

Martinoswebdsgn schreef op zondag 06 maart 2016 @ 20:23:
gaat inderdaad om ZoL op Ubuntu.
Dus gewoon FreeBSD installeren? Pool importeren en daar 1 file aanmaken en terug verwijderen?
Dat zou het moeten doen? En dan blijft de issue opgelost?

Dit is zogenaamde "reserved space", welke sinds ZFS 0.6.5 omhoog gegaan is naar ongeveer 3.2%:

Default reserved space was increased from 1.6% to 3.2% of total pool capacity. This default percentage can be controlled through the new spa_slop_shift module option, setting it to 6 will restore the previous percentage.

Wellicht dat je dus ook even kunt proberen om de module parameter spa_slop_shift tijdelijk op 6 te zetten om wat ruimte vrij te maken. Als files deleten op het moment niet gaat omdat er geen ruimte vrij is, dan wil het trouwens ook wel eens helpen om een paar grote files te overschrijven met lege input in plaats van ze te verwijderen:

echo '' > /some/big/file

[martijndierckx]

spa_slop_shift aangepast van 5 naar 6, maar nog steeds het zelfde probleem:
sudo zfs get -o value -Hp available /mnt/dataTank/Public -> geeft nog steeds 0 terug

edit: is met deze aanpassing wel in orde gekomen

[ Voor 13% gewijzigd door martijndierckx op 06-03-2016 23:39 ]

[narotic]

Je zpool geeft 21.8TB aan, terwijl je datasets maar 14.1TB zijn. Zie ik nu iets over het hoofd of mist er nu ruim 7TB in je pool? Zo ja, dan is dit waarschijnlijk een ander probleem.

[martijndierckx]

Dat lijkt me te komen van de de 2 parity disks ... Ik heb 6 disks in raidz2, dus
6 x 3,6 = 21.8 bruto
4 x 3,6 = 14,4 netto

[narotic]

Vreemd, voor mirrors krijg ik met zpool list wel gewoon de netto capaciteit terug, vandaar de verwarring.

Heb je na het zetten van de parameter gereboot of in ieder geval de zfs module opnieuw geladen?

[martijndierckx]

reboot ... maar ik had de parameter op de verkeerde plaats aangepast.
Nu mooi zoals het hoort in /etc/modprobe.d/zfs.conf, en dat doet het werken

thx!

[ Voor 87% gewijzigd door martijndierckx op 06-03-2016 22:43 ]

[FireDrunk]

Pantagruel schreef op zondag 06 maart 2016 @ 21:16:
[...]


Dan is t altijd de moeite waard om te testen ook al geeft t wat hoofdpijn problemen.

Nu ik het een beetje getest heb, denk ik er wel over om het in te zetten voor mijn cluster. Kleine investering (100 euro ofzo) met veel lol.

[Pantagruel]

FireDrunk schreef op maandag 07 maart 2016 @ 06:51:
[...]

Nu ik het een beetje getest heb, denk ik er wel over om het in te zetten voor mijn cluster. Kleine investering (100 euro ofzo) met veel lol.

Gezien de snelheid die je haalt is t best veel lol en erg leuk voor een cluster projectje.
Wat ben je van plan Gluster of cephs?

[FireDrunk]

Gewoon VMWare VMFS Mijn cluster draait gewoon ESXi 6.0.
Juist Gluster en Ceph doe je juist met lokale storage en niet met centrale storage

[ Voor 42% gewijzigd door FireDrunk op 07-03-2016 09:51 ]

[Pantagruel]

FireDrunk schreef op maandag 07 maart 2016 @ 09:50:
Gewoon VMWare VMFS Mijn cluster draait gewoon ESXi 6.0.
Juist Gluster en Ceph doe je juist met lokale storage en niet met centrale storage

Ik gokte dat je een storage cluster wilde beginnen maar je wit dus net andersom (Gluster is idd over cluster nodes verdeelde storage op basis van "off the shelf" hardware. Ceph zit grofweg in dezelfde hoek ( quote-je:" .. a Reliable Autonomic Distributed Object Store (RADOS), which provides your applications with object, block, and file system storage in a single unified storage cluster.." )

[Mattie112]

Goed en daar kom ik weer met een vraag

Ik heb een jail (de virtualbox jail) en hierin heb ik een datastore gemount zodat mijn VM hier gebruik van (zou moeten) kunnen maken.

De datastore zelf heeft:
- owner: root
- group: downloads
mode- 770 (rwx voor group&owner)

De folder is in de jail gemount als "/mnt/downloads"

$ ls -al
total 45
drwxr-xr-x 4 root wheel 4 Mar 7 20:27 .
drwxr-xr-x 17 root wheel 23 Mar 4 16:50 ..
drwxrwx--- 14 root downloads 14 Mar 7 20:45 downloads
drwxrwx--- 2 vboxusers vboxusers 7 Mar 7 20:30 virtual_machines
$ ls -aln
total 45
drwxr-xr-x 4 0 0 4 Mar 7 20:27 .
drwxr-xr-x 17 0 0 23 Mar 4 16:50 ..
drwxrwx--- 14 0 1002 14 Mar 7 20:45 downloads
drwxrwx--- 2 920 920 7 Mar 7 20:30 virtual_machines

Hier is te zien, owner 0 (root) en group 1002 (downloads). Die 1002 is het ID van de group downloads op freenas.

Ik heb in de jail óók een group downloads gemaakt met id 1002 en de 'vbox' user daaraan toegevoegd:

root@virtualbox:/ # id vbox
uid=1001(vbox) gid=1001(vbox) groups=1001(vbox),920(vboxusers),1002(downloads)

Maar, waarom heb ik nu geen toegang tot die folder?

$ cd downloads/
cd: downloads/: Permission denied

edit:
Hm strange, mijn sessie werdt gedropped (netwerk hikje ofzo), ik log weer en ét voila ik kan er bij..... Alleen mijn VM kan er nog niet bij

[ Voor 10% gewijzigd door Mattie112 op 07-03-2016 21:05 ]

[ComTech]

Ik heb sinds een maandje een freenas server draaien met 3 hardeschijven van 2 TB in raidz1 maar nu lees ik toch steeds vaker op verschillende fora dat raidz1 niet zo heel veilig is.
Is het verstandig om toch een schijf erbij te zetten en raidz2 te draaien?
En kan ik die er zo bijzetten of moet ik de hele pool opnieuw aanmaken (en de data opnieuw kopieeren?).

Nu heb ik nog een schijf liggen (precies dezelfde waarvan ik er nu 3 nieuw heb) maar deze is al 2 jaar oud en heeft al 18000+ uur erop zitten.
Deze gebruiken of toch een nieuwe kopen?
Moet ook nog gaan kijken naar een kaartje want heb maar 4 sata poorten op het moederbord...

[ Voor 0% gewijzigd door ComTech op 07-03-2016 21:15 . Reden: typos ]

[Verwijderd]

ComTech schreef op maandag 07 maart 2016 @ 21:08:
Ik heb sinds een maandje een freenas server draaien met 3 hardeschijven van 2 TB in raidz1 maar nu lees ik toch steeds vaker op verschillende fora dat raidz1 niet zo heel veilig is.

Ik denk dat je dat vooral op FreeNAS forum leest. Daar zijn ze wat fel qua meningen over hoe je dingen hoort te doen.

RAID-Z is zeker goed genoeg voor sommige gebruikstypen, zoals data die je opnieuw kunt genereren (downloaden). Voor data die je echt niet wilt verliezen (persoonlijke foto's, documenten, etc) heb je sowieso een echte backup nodig. Het feit dat je RAID-Z2 of RAID-Z3 zou kunnen gebruiken, verandert daar niets aan.

Kortom, het is een afweging om voor RAID-Z te kiezen en niet voor RAID-Z2. Qua beschikbare ruimte scheelt het fors - 50% in jouw geval. Want de keuze met 4 schijven is of 2 disks effectief te gebruiken (RAID-Z2) of 3 disks effectief te gebruiken (RAID-Z) en dat verschil is dus de helft extra ruimte indien je voor RAID-Z kiest ipv RAID-Z2. Dat vind ik best een overweging. Als je toch al een backup gaat gebruiken voor de echt belangrijke data, kun je prima overwegen toch bij RAID-Z te blijven.

Zou je echt veel disks hebben, zoals 10 disks, dan is RAID-Z echt te min. Je redundantie moet wel op peil blijven. Net zoals RAID-Z2 te min is voor meer dan 10 disks, zoals 19 disks wat wel eens wordt gedaan vanwege het feit dat 19 disks erg ruimte-efficient werkt voor RAID-Z3. RAID-Z zou ik niet aanbevelen voor méér dan 5 disks. Dus vanaf 6 disks altijd RAID-Z2 en vanaf 11 disks altijd RAID-Z3. Maar dat betekent niet dat bij 4 disks RAID-Z2 geen overweging zou kunnen zijn. Want dat is namelijk veel veiliger dan een mirror van 4 disks en met zo weinig disks heb je zeer goede redundancy voor data waarbij dit belangrijk is (availability, geen backup source).

En kan ik die er zo bijzetten of moet ik de hele pool opnieuw aanmaken (en de data opnieuw kopieeren?).

Je kunt niet van een RAID-Z naar RAID-Z2 upgraden en je kunt niet zomaar een disks toevoegen. Wat WEL kan is dat je bij het begin je pool als 4-disk RAID-Z2 aanmaakt ook al heb je maar 3 disks. Dan gebruik je één memory disk die weer verdwijnt na een reboot. Dan heb je single degraded RAID-Z2 wat effectief gelijk is aan RAID-Z. Het is miniem langzamer, maar in mijn ervaring scheelt dat in de praktijk vrijwel niets - alleen een iets hogere latency. Dat merk je totaal niet tenzij je echt een extreem langzame CPU hebt.

Het voordeel van bovenstaand trucje is dat je altijd nog een disk erbij kunt plaatsen en zodoende je 3-disk RAID-Z naar 4-disk RAID-Z2 kunt upgraden. Maar dan moet je dus wel in het begin je pool zo hebben aangemaakt. Je kunt overigens wel pools zonder redundancy disks aanmaken dus je kunt één disk afsnoepen van een RAID-Z pool die in gebruik is, daarop alle data plaatsen en dan vervolgens een nieuwe pool maken en de data overkopiëren. Dat is wel mogelijk zonder dataverlies.

[CyBeR]

Of RAID-Z überhaubt een goed idee is, is ook afhankelijk van je content en van je disks. Als je alleen maar grote files opslaat (media e.d.) dan is 't prima maar als je juist veel kleine files opslaat en je hebt disks met 4K sectors (en dat is bijna altijd het geval tegenwoordig) dan is 't een ander verhaal. ZFS ondersteunt dat prima maar RAID-Z degradeert dan al snel naar een X-way mirror omdat je file dan minimaal X-(Z level)*4K moet zijn ná compressie om over alle disks gesmeerd te worden. Dat gaat een stuk makkelijker als je sectors 512 bytes zijn.

[tweedebas]

Mattie112 schreef op maandag 07 maart 2016 @ 21:01:
Goed en daar kom ik weer met een vraag

Ik heb een jail (de virtualbox jail) en hierin heb ik een datastore gemount zodat mijn VM hier gebruik van (zou moeten) kunnen maken.

De datastore zelf heeft:
- owner: root
- group: downloads
mode- 770 (rwx voor group&owner)

De folder is in de jail gemount als "/mnt/downloads"


[...]


Hier is te zien, owner 0 (root) en group 1002 (downloads). Die 1002 is het ID van de group downloads op freenas.

Ik heb in de jail óók een group downloads gemaakt met id 1002 en de 'vbox' user daaraan toegevoegd:


[...]


Maar, waarom heb ik nu geen toegang tot die folder?


[...]


edit:
Hm strange, mijn sessie werdt gedropped (netwerk hikje ofzo), ik log weer en ét voila ik kan er bij..... Alleen mijn VM kan er nog niet bij

[afbeelding]

[afbeelding]

Je moet ook in je root Freenas structuur een gebruiker vbox toevoegen met identieke id( heb je misschien al), en die dan aan de downloads groep toevoegen.

Je moet zo bedenken dat vboxheadless via die jail als proces met als gebruiker vbox die map wil gaan lezen om hem door te kunnen geven. Dan moet hij er wel bij mogen

[Verwijderd]

CyBeR: bij je verhaal hoort ook dat de 'embedded_data' feature toestaat dat de (compressed) data van een bestand direct in de pointer wordt opgeslagen en daarmee het verhaal van RAID-Z efficiency niet meer bestaat. Voor een hele rits aan heel kleine bestanden die gecomprimeerd 112 bytes of minder beslaan, heeft dit veel invloed op de beschikbare ruimte.

[CyBeR]

Verwijderd schreef op dinsdag 08 maart 2016 @ 10:03:
CyBeR: bij je verhaal hoort ook dat de 'embedded_data' feature toestaat dat de (compressed) data van een bestand direct in de pointer wordt opgeslagen en daarmee het verhaal van RAID-Z efficiency niet meer bestaat. Voor een hele rits aan heel kleine bestanden die gecomprimeerd 112 bytes of minder beslaan, heeft dit veel invloed op de beschikbare ruimte.

En voor de range tussen 112 bytes en de grootte van een stripe? Een file die gecomprimeerd, zeg, 512b is?

[dcm360]

CyBeR schreef op dinsdag 08 maart 2016 @ 05:46:
Of RAID-Z überhaubt een goed idee is, is ook afhankelijk van je content en van je disks. Als je alleen maar grote files opslaat (media e.d.) dan is 't prima maar als je juist veel kleine files opslaat en je hebt disks met 4K sectors (en dat is bijna altijd het geval tegenwoordig) dan is 't een ander verhaal. ZFS ondersteunt dat prima maar RAID-Z degradeert dan al snel naar een X-way mirror omdat je file dan minimaal X-(Z level)*4K moet zijn ná compressie om over alle disks gesmeerd te worden. Dat gaat een stuk makkelijker als je sectors 512 bytes zijn.

Behalve dan dat ZFS de data niet per se over alle disks uit gaat smeren.

[CyBeR]

dcm360 schreef op dinsdag 08 maart 2016 @ 10:06:
[...]

Behalve dan dat ZFS de data niet per se over alle disks uit gaat smeren.

Jawel, want anders is je data kwijt als de disk waar 't op staat stuk is. ZFS zorgt er altijd voor dat je kunt recoveren bij failure van X disks (X afhankelijk van RAID-Z1/2/3). Als dat niet kan door de data te stripen over de disk met parity info erbij, dan maar door 't te mirroren. (Soort van; in werkelijkheid schrijft 't meerdere parity blocks.)

http://openindiana.org/pi...s/2013-August/013575.html

[ Voor 5% gewijzigd door CyBeR op 08-03-2016 10:13 ]

[dcm360]

Maar dat mirroren is niet hetzelfde als uitsmeren over alle disks, het is 'uitsmeren' over (z-level) + 1 disks. Zie ook YouTube: ZFS Internals Overview by Kirk McKusick, en dan met name het 4e block.

[CyBeR]

Dat is waar, ik had niet 'alle' moeten zeggen; ik ging daarbij uit van een minimum-size array.

[dcm360]

Bij een minimum-size array moet je (in het algemeen, niet jij specifiek) ook maar gaan mirroren in plaats van Raid-Z gebruiken. Een 2-disk Z1, 3 disk Z2 of 4 disk Z3-array is toch al een verkeerde keuze. En ik bedenk me net dat op een minimale array de hoeveelheid weggeschreven data niet uitmaakt voor de overhead: je hebt per stripe immers maar 1 data-block, dus de overhead is constant.

[ Voor 31% gewijzigd door dcm360 op 08-03-2016 10:27 ]

[CyBeR]

Dat zijn al degraded arrays. De minima zijn 3, 4 en 5 disks. Waarbij die laatste natuurlijk compleet onzin is.

[dcm360]

Ehm, nee? Je kan prima een Z1-array met 2 disks aanmaken:

linux-w8ij:~ # zpool create -f test raidz1 sdd sde
linux-w8ij:~ # zpool status
  pool: test
 state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        test        ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            sdd     ONLINE       0     0     0
            sde     ONLINE       0     0     0

errors: No known data errors

[CyBeR]

RAID-Z1 op 2 disks is feitelijk een mirror maar dan met parity op de 2e disk ipv je data. Je kunt over semantiek gaan naggelen maar feit is dat een échte RAID-Z1 minimaal 3 disks nodig heeft.

[Verwijderd]

Een RAID-Z of RAID5 heeft 2 disks nodig. Dat het pas superieur is boven een mirror vanaf 3 disks doet daar niets vanaf. Je hebt een data disk nodig en een parity disk. Dat is de vereiste. geom_raid5 kan ook met 2 disks werken en Linux md-raid vast ook.

[dcm360]

CyBeR schreef op dinsdag 08 maart 2016 @ 12:52:
RAID-Z1 op 2 disks is feitelijk een mirror maar dan met parity op de 2e disk ipv je data. Je kunt over semantiek gaan naggelen maar feit is dat een échte RAID-Z1 minimaal 3 disks nodig heeft.

Sorry, dit is inderdaad over semantiek naggelen, want wat ik letterlijk in jouw posts lees komt blijkbaar niet overeen met de intentie van wat je wil overbrengen. Wat nog overblijft is de vraag wat ik nu heb aangemaakt in mijn vorige post, want volgens jouw 'feit' is het geen echte raid-z array, terwijl de software het daar duidelijk niet mee eens is.

[CyBeR]

dcm360 schreef op dinsdag 08 maart 2016 @ 13:04:
[...]Wat nog overblijft is de vraag wat ik nu heb aangemaakt in mijn vorige post, want volgens jouw 'feit' is het geen echte raid-z array, terwijl de software het daar duidelijk niet mee eens is.

Het is een mirror die ipv blocks te mirroren op de 2e disk, daar parity blocks schrijft. M.a.w., je hebt nul voordeel in termen van storage efficiëntie, maar wel nadelen omdat je CPU opeens parity moet gaan berekenen.

Ik snap m.a.w. ook niet waarom zfs dat toestaat want ik kan er zo snel geen praktisch nut voor bedenken.

[dcm360]

Maar het is dus geen mirror*. Het praktisch nut kan ik me (in het geval van ZFS) inderdaad ook niet bedenken.

* Al heb ik daar ook nog twijfels over. RAID5-parity is een xor van de data-blokken, dus met 1 data-blok zou het parity-blok hetzelfde moeten blijven als het data-blok. Als de ZFS-implementatie dit ook doet, zou het performance-verschil met een mirror verwaarloosbaar moeten zijn.

[CyBeR]

Dat is een goede vraag inderdaad, wat er werkelijk naar de disk gaat. Als 't parity is met een niet-bestaand block (allemaal 0) kom je uit op de data, en dan hoop je dat ze dat shortcutten en 't gewoon mirroren. Ik kan er niet echt veel over vinden helaas.

Maar ik heb 't wel even geprobeerd en inderdaad, de data komt 2x identiek naar disk. Of de XOR er nog tussen zit kan ik daaraan niet zien.

Dat maakt 't wel nóg minder raidz-achtig.

[ Voor 26% gewijzigd door CyBeR op 08-03-2016 13:52 ]

[narotic]

In ieder geval in FreeBSD wordt een XOR van de data gebruikt met special case (=copy) voor de eerste drive:

code:

00588                 if (c == rm->rm_firstdatacol) {
00589                         ASSERT(ccount == pcount);
00590                         for (i = 0; i < ccount; i++, src++, p++) {
00591                                 *p = *src;
00592                         }
00593                 } else {
00594                         ASSERT(ccount <= pcount);
00595                         for (i = 0; i < ccount; i++, src++, p++) {
00596                                 *p ^= *src;
00597                         }

(bron)

Ook interessant is het algoritme voor 2 of 3 parity disks, wat een stuk ingewikkelder is dan ik had gedacht (bron).

[ Voor 56% gewijzigd door narotic op 08-03-2016 15:26 ]

[Mattie112]

tweedebas schreef op dinsdag 08 maart 2016 @ 09:31:
[...]


Je moet ook in je root Freenas structuur een gebruiker vbox toevoegen met identieke id( heb je misschien al), en die dan aan de downloads groep toevoegen.

Je moet zo bedenken dat vboxheadless via die jail als proces met als gebruiker vbox die map wil gaan lezen om hem door te kunnen geven. Dan moet hij er wel bij mogen

Yes, thx dat had ik al.

Maargoed ik heb niks veranderd en het werkt vandaag Allicht had ie gewoon zijn dag niet gister....

[CyBeR]

narotic schreef op dinsdag 08 maart 2016 @ 15:22:
In ieder geval in FreeBSD wordt een XOR van de data gebruikt met special case (=copy) voor de eerste drive:

code:

00588                 if (c == rm->rm_firstdatacol) {
00589                         ASSERT(ccount == pcount);
00590                         for (i = 0; i < ccount; i++, src++, p++) {
00591                                 *p = *src;
00592                         }
00593                 } else {
00594                         ASSERT(ccount <= pcount);
00595                         for (i = 0; i < ccount; i++, src++, p++) {
00596                                 *p ^= *src;
00597                         }

(bron)

Juist, dus inderdaad is een raidz1 op 2 disks helemaal geen raidz maar gewoon een mirror.

Ook interessant is het algoritme voor 2 of 3 parity disks, wat een stuk ingewikkelder is dan ik had gedacht (bron).

Idd gewoon nog een keer xor'en gaat niet werken.

[narotic]

CyBeR schreef op dinsdag 08 maart 2016 @ 15:40:
[...]
Juist, dus inderdaad is een raidz1 op 2 disks helemaal geen raidz maar gewoon een mirror.
[...]

Ach, een kwestie van semantiek. Hier wordt RAID-Z gedefinieerd als so that all disks XOR to zero. Als je strict die notatie aanhoudt dan is RAID-Z met 1 data en 1 parity disk geen speciaal geval meer (maar toevallig natuurlijk wel identiek aan een mirror).

[CyBeR]

Klopt, dat zei ik ook:

CyBeR schreef op dinsdag 08 maart 2016 @ 13:49:
Als 't parity is met een niet-bestaand block (allemaal 0) kom je uit op de data, en dan hoop je dat ze dat shortcutten en 't gewoon mirroren.

(Overigens wordt RAID-5 daar als zodanig gedefinieerd maar 't is idd ook van toepassing op Z1.)

[ Voor 15% gewijzigd door CyBeR op 08-03-2016 15:52 ]

[soulcrusher]

Ik heb een versie van ZFSGURU op mijn nas draaien en ik wil graag upgraden. Nu wil ik eerst even wat proberen in een VM (virtualbox). Dit is me eerder al een keer gelukt, maar nu krijg ik de livecd niet opgestart. Dit is wat hij doet:

• De VM boot en ik zie het FreeBSD logo
• Hij lijkt vervolgens te zoeken naar hardware
• Het laatste bericht wat ik zie is Validating Live CD en daarna komt het volgende in beeld

Het lijkt alsof hij alle bestanden afgaat op de livecd en daarna zegt hij:
ERROR: tar-extract-system-image command exited with error value 1
Aborting boot sequence - reboot manually

Iemand een idee wat ik hiermee kan doen?

[CurlyMo]

Al geprobeerd een nieuwe boot cd te maken om dat uit te sluiten?

[soulcrusher]

CurlyMo schreef op woensdag 09 maart 2016 @ 09:22:
Al geprobeerd een nieuwe boot cd te maken om dat uit te sluiten?

Ik heb nog een oudere livecd gedownload en die heeft hetzelfde probleem.
EDIT: Ik had de VM maar 512 mb geheugen gegeven, met 2 gb werkt het wel. Ik neem aan dat de livecd naar het geheugen gekopieerd wordt, opzich best logisch met een livecd...

[ Voor 26% gewijzigd door soulcrusher op 09-03-2016 10:05 ]

[Verwijderd]

1.5GB is het minimum voor ZFSguru LiveCD.

Er zou nog een keer een minimale distributie komen waarbij de CD gemount zou blijven. Maar dat plan wordt steeds minder relevant nu vrijwel alles wel 2GB+ heeft, helemaal voor 64-bit systemen. VMs is nog wel een issue maar nadat je ZFSguru hebt geinstalleerd heb je in feite maar 256MB RAM nodig ofzoiets. Alleen voor het booten van de LiveCD - die inderdaad naar RAM wordt gekopieerd - heb je meer nodig (1.3GiB ofzo).

In de toekomst kan dit minder worden als FreeBSD ondersteuning krijgt voor RAM compressie en deduplicatie. https://wiki.freebsd.org/...yCompressionDeduplication alhoewel die GSoC niet compleet was.

[ Voor 3% gewijzigd door Verwijderd op 09-03-2016 10:14 ]

[FireDrunk]

Daar wordt het ook niet echt sneller van natuurlijk

[Verwijderd]

Mwa als het betekent dat je het uit RAM kunt lezen ipv een SD kaartje of LiveCD of USB stick... dan zal het waarschijnlijk vele vele malen sneller zijn juist.

[FireDrunk]

Dat wel Gewoon 2GB+ RAM gebruiken

[soulcrusher]

Bedankt voor de info.

Nog even een korte vraag, ik zit nu met een 2 schijven zfs mirror maar wil graag met 4 extra schijven naar een 6 schijf RaidZ2. Ik neem aan dat het handigste is om één schijf uit die mirror te halen en een 5 schijven raidz2 pool te maken waar ik, na het overkopieren, de laatste mirror schijf bij die RaidZ2 toevoeg. Moet ik ergens op letten? Want ik neem aan dat als ik dit gewoon doe dat hij dan een 5 schijven RaidZ2 gaat maken.

[CyBeR]

Je kunt RAID-Z niet uitbreiden nadat je 'm aangemaakt hebt. Maar wat je wel kunt doen is een degraded raid-z2 maken met zes disks (waarvan er één kwijt is) en dan later die laatste disk toevoegen. Dat is niet echt ondersteund (itt bijvoorbeeld mdadm) maar je kunt zfs voor de gek houden door de zesde disk een file te laten zijn die je na het maken van de zpool onmiddelijk uit de vdev haalt.

[soulcrusher]

CyBeR schreef op woensdag 09 maart 2016 @ 13:27:
Je kunt RAID-Z niet uitbreiden nadat je 'm aangemaakt hebt. Maar wat je wel kunt doen is een degraded raid-z2 maken met zes disks (waarvan er één kwijt is) en dan later die laatste disk toevoegen. Dat is niet echt ondersteund (itt bijvoorbeeld mdadm) maar je kunt zfs voor de gek houden door de zesde disk een file te laten zijn die je na het maken van de zpool onmiddelijk uit de vdev haalt.

Dit bedoelde ik dus, bedankt

[Dutch2007]

CyBeR schreef op woensdag 09 maart 2016 @ 13:27:
Je kunt RAID-Z niet uitbreiden nadat je 'm aangemaakt hebt. Maar wat je wel kunt doen is een degraded raid-z2 maken met zes disks (waarvan er één kwijt is) en dan later die laatste disk toevoegen. Dat is niet echt ondersteund (itt bijvoorbeeld mdadm) maar je kunt zfs voor de gek houden door de zesde disk een file te laten zijn die je na het maken van de zpool onmiddelijk uit de vdev haalt.

Zou je zo theoretisch dan ook iets met behulp van quota en meerdere hdd's als file niet wel gewoon een uitbreidbare Zpool kunnen maken?

[FireDrunk]

Als je eenmaal naar RAIDZ over bent kan je niet nog een keer migreren.
Je hebt namelijk alle disks minus parity nodig om een nieuwe array te maken.

Dus als je RAIDZ met 4 schijven hebt, en naar 5 schijven wil, heb je er minimaal 4 nodig. Helaas kan je er maar 1 missen van een RAIDZ pool, dus migreren is niet te doen.

Van een mirror naar een RAIDZ gaat dan weer wel, omdat je genoeg disks kan missen van een mirror

[CyBeR]

Dutch2007 schreef op woensdag 09 maart 2016 @ 15:30:
[...]


Zou je zo theoretisch dan ook iets met behulp van quota en meerdere hdd's als file niet wel gewoon een uitbreidbare Zpool kunnen maken?

Nee. Die files moeten ergens op staan dus je kunt dit ook alleen doen als je al ergens anders een opslagplek hebt (hoewel dat best een ramdisk kan zijn). De truuk is dat je die files 'sparse' maakt (zodat je niet de werkelijke ruimte nodig hebt) en direct uit de vdev haalt waarna de vdev degraded is. Dat kan met 1 zo'n file voor een raidz1, 2 voor een raidz2 en 3 voor een raidz3. Maar de beschikbare hoeveelheid ruimte is altijd gelijk.

[ Voor 3% gewijzigd door CyBeR op 09-03-2016 18:14 ]

[MvL]

Ik heb nu 2 Synology's in mijn rack rondzwerven maar na de laatste DSM RC ben ik eigenlijk een beetje afgeknapt omdat er weer bepaalde features niet worden ondersteund door mijn model. Ik probeer voorzichtig een beetje de alternatieven in kaart te brengen. Ik heb jaren geleden al naar zfs gekeken wat mij toen tegen stond is dat je niet zomaar een drive kan toevoegen om zo je storage pool te vergroten. Er is hier geen enkele manier voor?

[CyBeR]

Dat kan prima, je kunt alleen een RAID-Z niet uitbreiden. Maar je kunt wel een extra vdev (dat is dan een losse drive of twee of meer in mirror of raidz) aan een pool toevoegen. Daarover wordt dan gestriped dus een losse drive op die manier toevoegen is niet aan te raden tenzij je data verloren mag gaan. Enige planning is daarbij wel benodigd want eenmaal toegevoegd kun je een vdev niet meer uit je pool halen.

[ Voor 15% gewijzigd door CyBeR op 09-03-2016 20:04 ]

[MvL]

Ik wil wel graag redundantie dus RAID-Z dus je moet altijd meerdere drives toevoegen in een vdev. In dezelfde vdev ben je dus weer een schijf kwijt aan redundantie?

[XAEROCOOL]

Hallo,

Ik heb eindelijk het volgende systeem hardwarematig werkend gekregen:

#	Product	Prijs	Subtotaal
1	Supermicro X10SDV-8C-TLN4F	€ 0,-	€ 0,-
6	WD Green HDD, 6TB	€ 234,95	€ 1.409,70
1	Fractal Design Node 304 Wit	€ 79,95	€ 79,95
1	Samsung M393A4K40BB0-CPB	€ 196,90	€ 196,90
1	be quiet! Straight Power 10 400W	€ 67,95	€ 67,95
1	Crucial MX200 M.2 80mm 500GB	€ 158,51	€ 158,51
Bekijk collectie Importeer producten		Totaal	€ 1.913,01

Ik heb zfsguru op een usb stick gezet en boot vanaf deze, maar tijdens installatie blijft het hangen bij "starting devd."

Het uitpakken van zip op usb naar volgens mij ram gaat goed, daarna worden een aantal porten gechecked om een dhcp adres te krijgen en uiteindelijk blijft het hangen bij starting devd.

Ik heb hier iets vergelijkbaars gevonden: https://forum.pfsense.org/index.php/topic,20405.15.html
Maar ik kan geen APM optie vinden in mijn bios.

Kan iemand mij hiermee verder helpen? Ik weet niet wat voor informatie ik nog meer kan geven.
Bedankt

[CyBeR]

MvL schreef op woensdag 09 maart 2016 @ 20:22:
Ik wil wel graag redundantie dus RAID-Z dus je moet altijd meerdere drives toevoegen in een vdev. In dezelfde vdev ben je dus weer een schijf kwijt aan redundantie?

Yes. Je zou een zpool bestaande uit twee vdevs elke bestaande uit twee mirrored drives kunnen zien als RAID-10. Of met RAID-Z dus als RAID-50.

Overigens: je kunt een raid-z vdev niet van meer disks voorzien maar wel de disks een voor een vervangen door grotere disks om de ruimte uit te breiden.

[ Voor 15% gewijzigd door CyBeR op 09-03-2016 20:30 ]

[MvL]

CyBeR bedankt voor je tijd!

Ik weet niet of dit is wat ik wil. Ik ga nog eens verder kijken.

[wopie]

Op voorhand, ik ben niet erg bekend met unix/linux, ik red me met de basics maar heb geen diepgaande kennis van filesystems oid.

Ik heb een all-in-one esxi/zfsguru machine draaien waarvan zfsguru 2 disken middels VT-D door krijgt, deze draaien als een mirror data -pool. Nu wil ik deze machine backuppen middels ZFS send/receive, dit doe ik naar een SmartOS machine (aparte zone met een delegated dataset eraan).

Ik heb op de zfsguru een "backup" -user aangemaakt "speciaal" voor het send/receiven hiervoor ook ssh-keys aangemaakt voor passwordless login, ssh login werkt.
Ik heb op de SmartOS-zone een "backup" -user aangemaakt "speciaal" voor het send/receiven
Vervolgens ben ik met onderstaande verder gegaan:

# foutmelding op "sending" server (zfsguru):

$ zfs send pool1/test@2016-03-09 | ssh backup@192.168.110.11 zfs receive -vudF backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data
receiving full stream of pool1/test@2016-03-09 into backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data/test@2016-03-09
cannot receive new filesystem stream: permission denied
warning: cannot send 'pool1/test@2016-03-09': Broken pipe

# commando wat ik probeer uit te voeren:

zfs send pool1/test@2016-03-09 | ssh backup@192.168.110.11 zfs receive -vudF backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data

# zfs allow die ik heb uitgevoerd op zfsguru (komt uit "zpool history"):

2016-03-09.21:32:09 zfs allow -u backup create,destroy,hold,mount,receive,send,snapshot pool1/test

# zfs allow die ik heb uitgevoerd op SmartOS (komt uit "zpool history"):

2016-03-09.20:45:16 zfs allow -u backup create,destroy,mount,mountpoint,quota,receive,send,snapdir backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data

# inrichting van zfs allow afgekeken van:
https://www.iceflatline.c...prove-my-offsite-backups/

# ik dacht, misshien moet ik de permissions op de directory goed hebben staan, dus deze aangepast (stonden default op root):

[root@backup /backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data]# ls -la
total 2
drwxr-xr-x+  2 backup   other          2 Mar  7 14:32 .
drwxr-xr-x   3 root     root           3 Mar  7 14:32 ..
[root@backup /backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data]#

# wijziging die ik heb geprobeerd voor user backup (onderstaande slaat op acl's voor zover ik weet, bij mijn weten ook met permissions te maken, deze heb ik tussendoor ook nog doorgevoerd ):

chmod A+user:backup:add_subdirectory:fd:allow /backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data

Het lijkt volgens de foutmeling een permissions-issue te zijn, echter hoe ik erachter kom waar dit aan ligt? Voor de hand liggende zaken denk ik middels bovenstaande getackeld te hebben, echter zou ik nu niet weten wat ik verder nog kan doen. Misschien de opzet vereenvoudigen door niet middels een backup -user te werken maar direct met root (wat ik eigenlijk niet wil) om rechten-issues te omzeilen.

Heeft iemand ervaring met bovenstaande te tackelen en zou je mij wat handreikingen willen doen ?

[narotic]

Vermoedelijk mis je een paar ZFS permissions aan de ontvangende kant. Welke je precies nodig hebt hangt af van de exacte details van je pools, maar zelf heb ik ook nog atime,checksum,compression,rename,userprop.

Je kunt overigens ook gewoon de actieve permissions zien met

zfs allow backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data

Edit:
Op FreeBSD moest ik overigens ook usermount toestaan. Ik weet niet of dat ook het geval is met SmartOS.

Edit2:
Je kunt ook overwegen om op de SmartOS kant met de backup user even een vergelijkbare ZFS dataset te maken (iig met dezelfde properties).

[ Voor 26% gewijzigd door narotic op 10-03-2016 00:23 ]

[FireDrunk]

Je ZFS Allow heb je gedaan met de naam van je versturende pool ipv je ontvangende pool? Of mis ik iets?

_{Het is immers nog vroeg}

[ Voor 16% gewijzigd door FireDrunk op 10-03-2016 06:50 ]

[Brent]

Gebruikt er hier iemand ZFS op een single disk? Hoe is de performance in verhouding met andere bestandssystemen?

[CyBeR]

wopie schreef op woensdag 09 maart 2016 @ 22:54:

# zfs allow die ik heb uitgevoerd op SmartOS (komt uit "zpool history"):

2016-03-09.20:45:16 zfs allow -u backup create,destroy,mount,mountpoint,quota,receive,send,snapdir backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data

Klopt dat pad wel? Een zone met delegated dataset komt gewoonlijk voort uit de 'zones' pool in SmartOS. Waar je 'm gemount hebt is iets anders…

[narotic]

Brent schreef op donderdag 10 maart 2016 @ 10:36:
Gebruikt er hier iemand ZFS op een single disk? Hoe is de performance in verhouding met andere bestandssystemen?

Ik gebruik het in mijn laptop met single-disk. Als je echt performance wilt dan is ext4 vast de betere keuze, maar voor mij zijn snapshots, transparante compressie en checksumming belangrijker dan een paar MB/s of IOPS extra performance. Afhankelijk van de data kan de performance dankzij compressie trouwens ook zelfs beter.

Voor benchmarks kun je bijvoorbeeld op Phoronix terecht. Uiteraard moet je die met een korrel zout nemen, omdat alle bestandssystemen met standaard configuratie getest worden.

[ Voor 18% gewijzigd door narotic op 10-03-2016 11:00 ]

[wopie]

CyBeR schreef op donderdag 10 maart 2016 @ 10:49:
[...]


Klopt dat pad wel? Een zone met delegated dataset komt gewoonlijk voort uit de 'zones' pool in SmartOS. Waar je 'm gemount hebt is iets anders…

Ik reageer vanavond even op de meeste vragen, voor wat betreft het pad, ik heb in mijn zone -config een andere zpool meegegeven (ik hanteer er 1 op ssd en 1 op disk), hierdoor maakt hij tijdens het aanmaken van de zone ook de delegated-dataset op de andere zpool aan (met dezelfde UUID als de zone waar de delegated dataset aan hangt).

[CyBeR]

Ah ok, je gebruikt dan een wat ongebruikelijke configuratie maar daar lijkt me op zich niks mis mee.

[riwi]

@Firedrunk : Je Pull Request op ZoL voor de verbetering van de paden om daar disken/partities te zoeken tijdens import is gecommit !! Leuk

https://github.com/zfsonl...04aad258e56bcc4dc5c8cfcf0


Er zijn ook verbeteringen dat je kan printen met -P en -L bij zpool status. Ook leuk.

[ Voor 16% gewijzigd door riwi op 10-03-2016 12:46 ]

[Verwijderd]

Gefeliciteerd!

[FireDrunk]

Joechee, my legacy will live on

[FREAKJAM]

En ZFS 0.6.5.5 is uitgebracht.

[ Voor 54% gewijzigd door FREAKJAM op 10-03-2016 13:13 ]

[CurlyMo]

@FireDrunk, nu op naar de device tasting

[Brent]

narotic schreef op donderdag 10 maart 2016 @ 10:56:
[...]


Ik gebruik het in mijn laptop met single-disk. Als je echt performance wilt dan is ext4 vast de betere keuze, maar voor mij zijn snapshots, transparante compressie en checksumming belangrijker dan een paar MB/s of IOPS extra performance. Afhankelijk van de data kan de performance dankzij compressie trouwens ook zelfs beter.

Voor benchmarks kun je bijvoorbeeld op Phoronix terecht. Uiteraard moet je die met een korrel zout nemen, omdat alle bestandssystemen met standaard configuratie getest worden.

Dank voor de link, kon echt geen single disk tests vinden.

Welke features gebruik jij als ik vragen mag? Ik zat eraan te denken een volume met belangrijke data te configgen met number of copies = 2, zodat ik bij het scrubben met slechts 1 disk toch kan herstellen van fouten. Buiten het dubbele geheugengebruik vroeg ik me af of dat nog een beetje uit te houden is op een draaiende schijf.

[FireDrunk]

CurlyMo schreef op donderdag 10 maart 2016 @ 13:31:
@FireDrunk, nu op naar de device tasting

Ohja crap, daar moest ik ook nog tijd aan spenderen

* FireDrunk krast iets op zijn TODO lijstje...

[narotic]

Brent schreef op donderdag 10 maart 2016 @ 13:48:
[...]

Dank voor de link, kon echt geen single disk tests vinden.

Welke features gebruik jij als ik vragen mag? Ik zat eraan te denken een volume met belangrijke data te configgen met number of copies = 2, zodat ik bij het scrubben met slechts 1 disk toch kan herstellen van fouten. Buiten het dubbele geheugengebruik vroeg ik me af of dat nog een beetje uit te houden is op een draaiende schijf.

Behalve het halveren van je effectieve opslag gaat met copies=2 je schrijfsnelheid natuurlijk wel omlaag. Voor lezen zou het echter niet uit moeten maken, dus het hangt een beetje af van wat je ermee wilt doen. Als tussenoplossing zou je kunnen overwegen het aantal copies per dataset te beslissen. Dus bijvoorbeeld copies=1 voor je films e.d. en copies=2 voor privedocumenten. Als je een NAS of externe schijf met genoeg ruimte over hebt, zou je ook kunnen overwegen om gewoon het risico te lopen met copies=1 en in plaats daarvan regelmatig incrementale backups te maken (wat natuurlijk sowieso aan te raden is).

Persoonlijk draai ik inmiddels op bijna al mijn systemen ZFS omdat ik niet meer zonder compressie en snapshots wil. Snapshots zijn snel en kunnen op de achtergrond draaien zonder dat je er iets van merkt. Hierdoor kan ik altijd 15 minuten tot meerdere dagen terug in de tijd, wat een grote zekerheid geeft dat een stomme rm -rf of problematische OS update altijd terug te draaien valt. Ook compressie moet overigens niet onderschat worden. Ter voorbeeld, op mijn debian installatie (dus zonder home en andere eigen data) haal ik een compressiefactor van 1.77x met LZ4. Dit komt zowel je opslagcapaciteit als max throughput ten goede met slechts ietwat hoger CPU gebruik als nadelig gevolg.

[wopie]

quote: Narotic

Vermoedelijk mis je een paar ZFS permissions aan de ontvangende kant. Welke je precies nodig hebt hangt af van de exacte details van je pools, maar zelf heb ik ook nog atime,checksum,compression,rename,userprop.

Hoe kom ik erachter welke ik exact nodig heb? Reflecteren de settings op de pool op het benodigde zfs allow commando? Dus als ik compression op de pool aan heb staan, dan moet deze ook voor zfs allow aan staan?

quote: Narotic

Je kunt ook overwegen om op de SmartOS kant met de backup user even een vergelijkbare ZFS dataset te maken (iig met dezelfde properties).

Ga ik proberen

quote: Narotic

Op FreeBSD moest ik overigens ook usermount toestaan. Ik weet niet of dat ook het geval is met SmartOS.

Jij doelt hierop https://www.freebsd.org/doc/handbook/zfs-zfs.html (zoeken op usermount). Geen idee of dat onder SmartOS moet.

quote: FireDrunk

Je ZFS Allow heb je gedaan met de naam van je versturende pool ipv je ontvangende pool? Of mis ik iets?

Dankjewel voor het meedenken op dit tijdstip! Maar ik denk dat je het verkeerd hebt gezien. Ik heb in ZFSGuru een pool1/test aangemaakt, ik wil niet gelijk met live-data gaan pielen. Op de ontvangende kant (SmartOS) heb ik een default delegated dataset (deze genereerd vmadm bij het aanmaken van de zone op basis van de propery "delegate_dataset": true) die ik wil gebruiken backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data.


Op basis van de opmerking van Narotic heb ik de properties van beide datasets bekeken, de output hiervan heb ik ook online gezet, misschien dat jullie hier nog "incompatible" zaken in zien?

# SmartOS dataset (receiving zijde)
https://paste.ee/r/aB9oE

# ZFSGuru dataset (sending zijde)
https://paste.ee/r/mN6Hi

---

Owkay!

Ik heb in tegenstelling tot wat Narotic vroeg eens getest met de root user van de zone, en deze werkt wel..

$ zfs send pool1/test@2016-03-09 | ssh root@192.168.110.11 zfs receive -vudF backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data
receiving full stream of pool1/test@2016-03-09 into backup/77ab3c40-ae62-6829-fa34-b4056bfc955f/data/test@2016-03-09
received 183MB stream in 5 seconds (36.5MB/sec)

Morgen eens zien te achterhalen wat het probleem blijkt te zijn met de backup-user.

[ Voor 12% gewijzigd door wopie op 10-03-2016 21:49 ]

[funnyname]

Hallo, ik heb een ZFSguru 0.3.1 VM draaien, met daarin een simpele ZFS pool.
Deze pool is lokaal en via Samba prima te benaderen en werkt goed.
Nu probeer ik op deze VM een usenet service zoals NZBget of ZabNzb te draaien, maar beide kunnen niet op de ZFS pool komen. Ik krijg permission denied errors, terwijl de rechten momenteel op 777 staan? (als test)
Het lijkt erop dat de services geen rechten hebben op ZFS, maar waarom begrijp ik niet.

[narotic]

wopie schreef op donderdag 10 maart 2016 @ 21:37:
[...]
Hoe kom ik erachter welke ik exact nodig heb? Reflecteren de settings op de pool op het benodigde zfs allow commando? Dus als ik compression op de pool aan heb staan, dan moet deze ook voor zfs allow aan staan?
Op basis van de opmerking van Narotic heb ik de properties van beide datasets bekeken, de output hiervan heb ik ook online gezet, misschien dat jullie hier nog "incompatible" zaken in zien?

# SmartOS dataset (receiving zijde)
https://paste.ee/r/aB9oE

# ZFSGuru dataset (sending zijde)
https://paste.ee/r/mN6Hi

Volgens mij heb je permissies nodig als je non-default properties hebt. Op basis van je source pool lijkt het me dat je dus nog atime en compression toe moet voegen. compression weet ik overigens niet zeker, omdat in jouw geval de destination die al goed zou inheriten. Als iemand in detail weet hoe dit werkt dan hoor ik 't ook graag.

[soulcrusher]

Ik heb vanmiddag mijn ZFSGURU installatie geüpdate naar 10.6.003 (uit mijn hoofd). Hierbij heb ik de bootcode van de hardeschijven geüpdate en zfs versie naar 5000 geüpdate. Probleem is nu dat ik mijn nas niet meer opgestart krijg. Er staat:

ZFS: unsupported feature: com.delphix:hole_birth
ZFS: unsupported feature: com.delphix:embedded_data
ZFS: unsupported feature: com.delphix:hole_birth
ZFS: unsupported feature: com.delphix:embedded_data
gptzfsboot: No ZFS pools located, Can't boot

Wat kan ik hieraan doen? Met een live-cd booten en die feature flags uitzetten?

[Verwijderd]

Feature flags uitzetten gaat niet.

Boot je wel van de juiste disk? Dit bericht krijg je namelijk als je met verouderde bootcode boot, van het ZFSguru 0.2 tijdperk. Weet je zeker dat je de bootcode juist hebt geupdate met een ZFSguru 0.3 livecd of USB stick?!

[soulcrusher]

Verwijderd schreef op vrijdag 11 maart 2016 @ 18:59:
Feature flags uitzetten gaat niet.

Boot je wel van de juiste disk? Dit bericht krijg je namelijk als je met verouderde bootcode boot, van het ZFSguru 0.2 tijdperk. Weet je zeker dat je de bootcode juist hebt geupdate met een ZFSguru 0.3 livecd of USB stick?!

Ik weet zeker dat ik de bootcode laatst geüpdate heb, en ik weet vrijwel zeker dat ik dit met dezelfde livecd gedaan heb als waar ik de installatie mee gedaan heb (ik draaide idd 0.2 hiervoor). Het is toen ook gelukt om mijn nas met die nieuwe versie op te starten, maar toen ik hem opnieuw op probeerde te starten gaf hij die error.

Maar ik heb nogmaals met een livecd de bootcode van beide schijven geüpdate en nu boot hij wel. Alles is weer in orde dus! Bedankt maar weer

Is het overigens mogelijk om van een mirror van 2 schijven, slechts één enkele schijf de bootcode te updaten? En indien mogelijk, is er dan verschil met of je van de schijf met de nieuwe bootcode of de schijf met de oude bootcode opstart?

[ Voor 7% gewijzigd door soulcrusher op 11-03-2016 19:31 ]

[narotic]

soulcrusher schreef op vrijdag 11 maart 2016 @ 19:30:
[...]
Is het overigens mogelijk om van een mirror van 2 schijven, slechts één enkele schijf de bootcode te updaten? En indien mogelijk, is er dan verschil met of je van de schijf met de nieuwe bootcode of de schijf met de oude bootcode opstart?

Ja en ja. Het bootprocess weet natuurlijk niet of 2 schijven mirrors zijn of niet en laadt gewoon de bootcode zoals die gevonden wordt op de schijf waar dan van geboot wordt. Het kan dus zijn dat je vanaf een schijf met oude bootcode je ZFS pool niet kunt laden maar vanaf de ander met nieuwe bootcode wel.

[Verwijderd]

Ik wil een >40 Tb opslag maken. Kunnen jullie mij adviseren over de voordelen van 2 sets van 6x6Tb Z2 (optie 1) versus 1 set van 12x6Tb Z2 (optie 2)?

Op basis van wat ik in deze list allemaal heb gelezen kom ik zelf al tot het volgende:
- bij optie 1 kan ik eerst met 1 set beginnen en later de 2e toevoegen
- optie 1 heeft meer overhead (netto 48Tb vs 60Tb) maar wel meer veiligheid
- optie 2 is eenvoudiger tot 1 grote share te vormen
- optie 2 vergt in ieder geval grote kast en veel sata, voor optie 1 zou ik 2 kleine servers met meer standaard moederborden kunnen bouwen

Ik zoek met name naar de ZFS voor- en nadelen van deze 2 opties.
En misschien kennen jullie nog een slimmere 3e optie.

Het gaat overigens vooral om cold storage dus geen hoge eisen aan performance. En ik wil FreeNas gaan gebruiken. Er is nog een alternatief zoals een 12 bay synology waarbij ik schijfjes eenvoudig kan blijven bijplaatsen, maar dat is heiligschennis in dit forum.

[ Voor 14% gewijzigd door Verwijderd op 12-03-2016 09:47 ]

[Q]

Heiligschennis is schrijven dat je vooral thuis moet neerzetten wat jou het beste uitkomt en dan ook schrijven dat hardware RAID, MDADM, Synology ook prima keuzes zijn.




ZFS heeft als voordeel dat het data integriteit kan garanderen en ook kan vertellen welke files eventueel zijn aangetast, zodat je die van backup kunt terug zetten.

Mijn visie op ZFS is veranderd: ik denk dat de risico's waar ZFS tegen beschermt erg klein zijn. Daarom denk ik dat voor thuis gebruik 'legacy' ook prima is. ZFS geeft je betere data integriteit, maar legacy data integriteit is in de praktijk thuis wel goed genoeg. En ZFS geeft je weer de beperkingen waar je zelf over schrijft.

Bouw iets waar jij je het prettigste bij voelt. Als jij de nadelen van ZFS voor lief neemt, dan is ZFS een prima keuze. Maar ZFS is niet de enige redelijke optie.

Als ZFS het toe zou staan om VDEVs met disks uit te breiden en te rebalancen, dan is er bijna geen reden meer om GEEN ZFS te draaien.

[ Voor 73% gewijzigd door Q op 12-03-2016 11:27 ]

[Brent]

Q schreef op zaterdag 12 maart 2016 @ 11:20:
ik denk dat de risico's waar ZFS tegen beschermt erg klein zijn.

Bitrot is een veel vervelender probleem dan disk-failure.

[Verwijderd]

Q schreef op zaterdag 12 maart 2016 @ 11:20:
Heiligschennis is schrijven dat je vooral thuis moet neerzetten wat jou het beste uitkomt en dan ook schrijven dat hardware RAID, MDADM, Synology ook prima keuzes zijn.




ZFS heeft als voordeel dat het data integriteit kan garanderen en ook kan vertellen welke files eventueel zijn aangetast, zodat je die van backup kunt terug zetten.

Mijn visie op ZFS is veranderd: ik denk dat de risico's waar ZFS tegen beschermt erg klein zijn. Daarom denk ik dat voor thuis gebruik 'legacy' ook prima is. ZFS geeft je betere data integriteit, maar legacy data integriteit is in de praktijk thuis wel goed genoeg. En ZFS geeft je weer de beperkingen waar je zelf over schrijft.

Bouw iets waar jij je het prettigste bij voelt. Als jij de nadelen van ZFS voor lief neemt, dan is ZFS een prima keuze. Maar ZFS is niet de enige redelijke optie.

Als ZFS het toe zou staan om VDEVs met disks uit te breiden en te rebalancen, dan is er bijna geen reden meer om GEEN ZFS te draaien.

Hallo Q, je hebt helemaal gelijk qua eigen keuze en dat ZFS bijna perfect is. Dat zou het zijn als je eenvoudig kunt uitbreiden.

[Q]

Brent schreef op zaterdag 12 maart 2016 @ 11:31:
[...]

Bitrot is een veel vervelender probleem dan disk-failure.

Maar het komt veel minder vaak voor dan disk-failure. Sterker nog, ik heb geen bewijs gevonden dat aantoont dat een consument zich er echt druk over zou moeten maken.

[CyBeR]

Q schreef op zaterdag 12 maart 2016 @ 12:50:
[...]


Maar het komt veel minder vaak voor dan disk-failure. Sterker nog, ik heb geen bewijs gevonden dat aantoont dat een consument zich er echt druk over zou moeten maken.

Mwoah dat wordt met die disks van 8TB+ wel een probleem hoor.

[Q]

CyBeR schreef op zaterdag 12 maart 2016 @ 12:55:
[...]


Mwoah dat wordt met die disks van 8TB+ wel een probleem hoor.

Ik heb ook daar nog geen bewijs voor gezien.

Qua bitrot zijn disks veel betrouwbaarder dan wordt geïnsinueerd.

En ook een leuke: UREs hebben niets met bitrot van doen. Bij bitrot heb je juist geen URE maar krijg je toch rotte data door.

[Brent]

Q schreef op zaterdag 12 maart 2016 @ 12:50:
[...]


Maar het komt veel minder vaak voor dan disk-failure. Sterker nog, ik heb geen bewijs gevonden dat aantoont dat een consument zich er echt druk over zou moeten maken.

Integendeel.

De reden dat bitrot niet zoveel aandacht krijgt, is dat het stukken makkelijker te negeren is dan een stukke drive, en ook nog eens lastig te meten als je niet structureel checksummed.

Een stukke drive is geen groot probleem, met een backup ben je daar resistent tegen (en ik maak het nog zelden meer mee). Bitrot daarentegen, alleen als je onder een steen hebt gelegen kun je anno nu nog denken dat dat zelden voorkomt. Bovendien is ECC ram tamelijk incompatible met consumenten hardware, dus zelfs als de bits niet rotten door kosmische straling (dat is die +/- 1kb/TB/6maand gemeten bij CERN), dan wel doordat je ram (veel gevoeliger) bits voor je flipt.

[ Voor 47% gewijzigd door Brent op 12-03-2016 13:27 ]

[Verwijderd]

Zijn toch regelmatig mensen met checksum errors. Wat was er gebeurd als ze een legacy filesystem draaiden? Juist, dan had je het nooit geweten en kom je er veel later achter dat een archief kapot is of artefacts in je foto's en blipjes in je muziek.

Dus nee dank je. We leven in 2016 - ik wil betrouwbare opslag. Dat betekent per definitief een 3e generatie filesystem zoals ZFS. Kom nou toch, dat ga je toch niet bagatelliseren?!

[CyBeR]

Q schreef op zaterdag 12 maart 2016 @ 12:58:
[...]
En ook een leuke: UREs hebben niets met bitrot van doen. Bij bitrot heb je juist geen URE maar krijg je toch rotte data door.

Ik zie daar niet echt een groot verschil tussen. In beide gevallen krijg je niet je data.

[Q]

Brent schreef op zaterdag 12 maart 2016 @ 13:08:
[...]

Integendeel.

Die link gaat naar informatie die niet specifiek is betreffende harde schijven maar gaat over alle componenten. Ik ken die bronnen.

De reden dat bitrot niet zoveel aandacht krijgt, is dat het stukken makkelijker te negeren is dan een stukke drive, en ook nog eens lastig te meten als je niet structureel checksummed.

Dat is waar, maar waar zijn de harde bronnen. Een van de onderzoeken waar je op uit zult komen is die van NetApp en een van Cern. Die van Cern had te maken met een firmware bug in een disk. Dat is een uitzonderlijke situatie die zelden voor komt.

Netapp uit 2008.

https://www.usenix.org/le...daram/bairavasundaram.pdf

Een stukke drive is geen groot probleem, met een backup ben je daar resistent tegen (en ik maak het nog zelden meer mee). Bitrot daarentegen, alleen als je onder een steen hebt gelegen kun je anno nu nog denken dat dat zelden voorkomt. Bovendien is ECC ram tamelijk incompatible met consumenten hardware, dus zelfs als de bits niet rotten door kosmische straling (dat is die +/- 1kb/TB/6maand gemeten bij CERN), dan wel doordat je ram (veel gevoeliger) bits voor je flipt.

De scope hier is silent data corruptie door rotte storage, RAM geheugen valt hier buiten.

Ik heb blijkbaar onder een steen gelegen wat silent data corruptie betreffende disks betreft.

Ik heb grofweg een petabyte aan scrubs gedaan over mijn hardware en nog nooit een CRC issue gezien. Ik kan geen bronnen vinden die bewijzen dat de risico's waar ZFS tegen meent te beschermen echt substantieel zijn. Zo substantieel, dat ik er als thuis gebruiker mij zorgen over zou maken.

CyBeR schreef op zaterdag 12 maart 2016 @ 13:34:
Ik zie daar niet echt een groot verschil tussen. In beide gevallen krijg je niet je data.

Dat is niet correct: afhankelijk van de situatie wordt een URE gewoon door je RAID laag afgehandeld en heb je gewoon toegang tot je data. Als je een URE tegenkomt terwijl je redundancy al kwijt bent, dat is een ander verhaal.

Silent data corruptie is echter veel gemener.

Verwijderd schreef op zaterdag 12 maart 2016 @ 13:23:
Zijn toch regelmatig mensen met checksum errors. Wat was er gebeurd als ze een legacy filesystem draaiden? Juist, dan had je het nooit geweten en kom je er veel later achter dat een archief kapot is of artefacts in je foto's en blipjes in je muziek.

Hyperbart heeft rare issues met zijn machine en dat is de enige die ik ken.

Dus nee dank je. We leven in 2016 - ik wil betrouwbare opslag. Dat betekent per definitief een 3e generatie filesystem zoals ZFS. Kom nou toch, dat ga je toch niet bagatelliseren?!

Ja eigenlijk wel.

Je insinueert dat NTFS, EXT4, XFS met legacy hardware/software RAID anno 2016 niet (meer) betrouwbaar is en dat is niet waar. Voor thuis gebruik zijn die platformen ook acceptabel. Het is niet zo goed als ZFS, maar acceptabel.

In dit topic wordt vaak gedaan alsof je gek bent geworden als je geen ZFS toepast en alsof je enorme risico's neemt, maar dat is niet zo.

Dat ZFS veiliger en beter is qua data integriteit wil niet zegen dat de andere platformen onvoldoende zijn.

Bovendien, ga de rest van de wereld maar vertellen dat ze geen Synology of Qnap moeten kopen.

Het is niet verkeerd ofzo om ZFS te draaien. Ik wil mensen ook niet afraden om ZFS te draaien. Zelf zie ik alleen graag dat mensen wel zelf een eerlijke afweging maken over de opties en de risico's en dat ze niet in een hoek gedrukt worden.

Voor die mensen die besluiten dat hun data het waard is om in ZFS te investeren, je moet tenslotte de hardware bouwen, het platform en de technologie leren, een keuze maken over je VDEV layout (investering) zoals hierboven - voor die mensen is ZFS echt een verbetering. Zij zijn ook echt beter af met ZFS.

Maar voor veel mensen is ZFS ook niet nodig of verstandig, al is het maar dat ze de kennis missen om zichzelf te redden als er iets mis gaat en ze met een command line geconfronteerd zien.

[ Voor 41% gewijzigd door Q op 12-03-2016 15:09 ]