Het grote ZFS topic

[CurlyMo]

hansdegit schreef op donderdag 21 december 2017 @ 18:24:
Jammer dat het topic een beetje doodgebloed lijkt.

Ik vraag me af of een Samsung 850 EVO geschikt is voor SLOG doeleinden. Dit ivm met de discussie aangaande stroomuitval etc.

Volgens mij zijn Samsungs over het algemeen slecht als SSD wegens de memory caching in de SSD. Daar is het hier al eens eerder over gegaan.

Zie Verwijderd in "Het grote ZFS topic"

[ Voor 7% gewijzigd door CurlyMo op 21-12-2017 19:03 ]

[hansdegit]

Thanks, Maar uit je bericht maak ik op dat Samsung het in hun 850 series nog niet heeft opgelost. Jammer, dan kijk ik even naar Intel, of Crucial.

[FireDrunk]

Alleen de enterprise series van Samsung zijn geschikt als SLOG.

[CurlyMo]

CurlyMo schreef op dinsdag 3 oktober 2017 @ 12:52:
[...]

Nice! Oftewel, binnenkort maar eens een RPi 3.0 aanschaffen om het uit te proberen.

En voor de kerst even mezelf er eentje cadeau gedaan. Eerste resultaten. Import van mijn backup pool was snel. Daarna een scrub aangezet en die loopt na een uur op vrijwel volle USB2.0 snelheid:

code:

  pool: backup
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
        still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
        the pool may no longer be accessible by software that does not support
        the features. See zpool-features(7) for details.
  scan: scrub in progress since Fri Dec 15 07:02:01 2017
        27.1G scanned out of 1.28T at 10.3M/s, 41h11m to go
        0 repaired, 2.07% done
config:

        NAME                                  STATE     READ WRITE CKSUM
        backup                                ONLINE       0     0     0
          diskid/DISK-00000000000000000000p2  ONLINE       0     0     0

errors: No known data errors

Tegelijkertijd ook eens een snapshot lijst proberen op te vragen, maar dat loopt nu ook al een uur Het zijn dan ook véél snapshots (22173).

code:

# zfs list -t snapshot -r backup

CPU en MEM gebruik is ook allemaal zeer acceptabel:

code:

last pid: 11307;  load averages:  0.21,  0.27,  0.25                                         up 0+11:13:52  07:55:29
16 processes:  1 running, 15 sleeping
CPU:  0.1% user,  0.0% nice,  7.3% system,  0.4% interrupt, 92.2% idle
Mem: 24M Active, 606M Inact, 5444K Laundry, 231M Wired, 95M Buf, 37M Free
ARC: 24M Total, 12M MFU, 7129K MRU, 38K Anon, 1745K Header, 2745K Other
     8146K Compressed, 29M Uncompressed, 3.61:1 Ratio
Swap:

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
11181 root          1  21    0 29128K  3936K zio->i  2   2:12   4.41% zfs
11307 root          1  20    0 13752K  3452K CPU2    2   0:00   0.75% top
11184 root          1  20    0 20924K  5908K select  0   0:04   0.14% sshd

---

Er blijkt een optimalisatie doorgevoerd te zijn voor het opvragen van een snapshot lijst met specifieke parameters.

code:

# zfs list -t snapshot -o name -s name -r backup

De kern is hier zowel de -o name als de -s name. Met die parameters loopt een snapshot lijst met die enorme aantallen waar ik over spreek wel snel(ler). En waarom zoveel snapshots. Omdat het kan en ik genoeg ruimte heb op mijn backup schijf:

code:

# date && zfs list -t snapshot -o name -s name -r backup > list && date
Fri Dec 15 08:41:26 UTC 2017
Fri Dec 15 08:42:50 UTC 2017

Het commando time deed op FreeBSD even niet wat ik wilde

De komende weken ga ik eens met deze setup draaien en kijken of een Raspberry Pi 3 een volwaardige externe backup server is.

---

Het draait allemaal best lekker:

code:

  scan: scrub in progress since Fri Dec 15 07:02:01 2017
        305G scanned out of 1.28T at 12.3M/s, 23h19m to go
        0 repaired, 23.28% done

[ Voor 18% gewijzigd door CurlyMo op 22-12-2017 17:04 ]

[Mattie112]

Waarschijnlijkl niet Proxmox gerelateerd (ben nu aan het kijken of ik daarheen wil switchen) maar wie kan me dit uitleggen:

code:

root@proxmox:~# zpool list
NAME            SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
AAAAAAAA    8.12T  7.24T   902G         -    23%    89%  1.00x  ONLINE  -
BBBBBBB     3.62T  3.50T   130G         -    44%    96%  1.00x  ONLINE  -
CCCC           111G  6.76G   104G         -    14%     6%  1.00x  ONLINE  -
DDDDDDD   928G   486G   442G         -    44%    52%  1.00x  ONLINE  -

Pool A bestaat uit 3x 3TB disks

code:

root@proxmox:~# zpool status
  pool: AAAAAAAA
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
        still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
        the pool may no longer be accessible by software that does not support
        the features. See zpool-features(5) for details.
  scan: scrub in progress since Sat Dec 23 15:14:31 2017
        3.34T scanned out of 7.24T at 286M/s, 3h58m to go
        0B repaired, 46.16% done
config:

        NAME        STATE     READ WRITE CKSUM
        AAAAAA  ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            sdf     ONLINE       0     0     0
            sdg     ONLINE       0     0     0
            sdh     ONLINE       0     0     0

errors: No known data errors

Waarom staat er dan een size van 8.12? Komt dit omdat er nu een scrub draait? Alle andere pools kloppen wel met wat ik verwacht.

[FireDrunk]

Met welk commando zijn de pools aangemaakt? Want ik gok dat het een raid0 pool is.

[guid0o]

[b]Mattie112 schreef op zaterdag 23 december 2017 @ 18:40:
...

Waarom staat er dan een size van 8.12? Komt dit omdat er nu een scrub draait? Alle andere pools kloppen wel met wat ik verwacht.

Volgen mij door het verschil in Terabyte (10^12) vs Tebibyte (2^40), ik heb namelijk hetzelfde nummer op mijn raidz1 3x3TB.

[Mattie112]

FireDrunk schreef op zaterdag 23 december 2017 @ 18:48:
Met welk commando zijn de pools aangemaakt? Want ik gok dat het een raid0 pool is.

Een paar jaar geleden via de FreeNAS UI. Nu heb ik ze geimport via "import AAAAA -f"

guid0o schreef op zaterdag 23 december 2017 @ 18:51:
[...]

Volgen mij door het verschil in Terabyte (10^12) vs Tebibyte (2^40), ik heb namelijk hetzelfde nummer op mijn raidz1 3x3TB.

Maar waarom is het dan meer? De B 'pool' heeft 1 disk van 4TB en daar klopt het imo wel.

A = 3x 3TB raidz1
B = 1x 4TB (geen raid)
C = 2x 120GB (mirror, raid1)
D = 2x 1TB (mirror, raid1)

A = ~6TB = 8.12T
B = ~4TB = 3.6T
C = ~120GB = 111G
D = ~1TB = 928G

Allemaal logisch behalve A?

edit:
o wacht zien we hier de ruwe storage? dan klopt het wel 3x 3TB = 9TB ik ging er vanuit "bruikbare" storage. Dan is er ook vast wel een command om dát te kunnen zien?

[ Voor 9% gewijzigd door Mattie112 op 23-12-2017 18:58 ]

[FireDrunk]

Zpool list is ruw, zfs list is bruikbaar.

[Mattie112]

@FireDrunk ok top dan is dat in elk geval verklaard

code:

root@proxmox:~# zfs list
NAME                                                             USED  AVAIL  REFER  MOUNTPOINT
bigpool_6tb                                                     4.82T   427G   139K  /bigpool_6tb
bigpool_6tb/backup                                               710G   427G   710G  /bigpool_6tb/backup
bigpool_6tb/yyy                                             40.7G   427G  40.7G  /bigpool_6tb/yyy
bigpool_6tb/downloads                                           3.71T   427G  3.71T  /bigpool_6tb/downloads
bigpool_6tb/xxx                                                 282G   427G   282G  /bigpool_6tb/xxx
bigpool_6tb/jails                                                128K   427G   128K  /bigpool_6tb/jails
bigpool_6tb/zzz                                            114G   427G   114G  /bigpool_6tb/zzz

(bigpool = A)

Tja hier kan ik opzich wel mee werken denk ik ja, moet nog ff kijken hoe ik dit goed in de UI van Proxmox ga krijgen maar dat komt wel in het proxmox topic

Eigenlijk wel vreemd, zijn alle subdirs ook los gemount ofzo.... Of is dat logisch voor zfs?

[FireDrunk]

Zfs Filesystems zijn in theorie losse mountpoints, maar worden door zfs zelf gemanaged.

[Bananenplant]

Ik wil graag een systeem aanschaffen waar maximaal 4 schijven in passen en zit me af te vragen wat het handigste is om te doen met betrekking tot de ZFS-configuratie.

1. Gelijk 4 schijven, in RAIDZ2. Dubbele pariteit, 2 willekeurige schijven mogen falen, maar resilveren is belastend en voor een upgrade moet ik in 1x 4 schijven vervangen.
2. Gelijk 4 schijven, in mirrored stripes. Uit elke vdev mag er 1 schijf falen, maar resilveren zou naar wat ik begrijp een stuk sneller moeten gaan en minder belastend moeten zijn. Ook geen pariteitsberekeningen nodig. Verder hoef ik voor een upgrade maar 2 schijven te vervangen. Ook betere performance.
3. 2 schijven die 2x zo groot zijn in mirror. Voor upgrade kan ik later een paar schijven aan de pool toevoegen en bevind ik me effectief op hetzelfde als bij optie 2. Dit is in eerste aanschaf goedkoper en eet ook iets minder stroom.

Ik vraag me nu 2 dingen af:

1. Als je later een vdev toevoegt, wordt er dan voor gezorgd dat de data in de pool evenredig verdeeld wordt? Ik vraag me af of je dan niet de situatie kunt krijgen dat van de ene vdev de kans op falen aanzienlijk groter is dan die van de andere vanwege meer slijtage.
2. Ik vraag me af of er een verschil is in de kans om je pool te verliezen tussen optie 2 en 3. Ik heb het idee dat die kans hetzelfde is, eigenlijk.

[FireDrunk]

1. Niet, ZFS gaat niet met terugwerkende kracht data opnieuw verdelen. ZFS gaat wel bij nieuwe writes de data die weggeschreven moet worden zo verdelen dat de beide VDEV's op hetzelfde moment vol raken.

Als je dus een vdev hebt dat voor 80% vol is, en een vdev dat voor 20% vol is, zal het vdev dat voor 20% vol is, 80% van de nieuwe writes krijgen.

Als je dus 1 hele volle vdev hebt, en 1 bijna lege, zal de bijna lege bijna alle writes krijgen, en dat is relatief slecht voor je performance, dus bedenk dat je op tijd upgrade (veel later dan 70% vol zou ik niet aanraden).

2) De theoretische kans is niet helemaal even groot, maar ligt niet ver uit elkaar. RAIDZ2 is de beste beveiliging, daarna Mirrors, daarna Striped Mirrors, daarna Stripes (geen redundancy).


Goede backups maken van je belangrijkste data is veel belangrijker. Als je de hele NAS gaat vullen met echt belangrijke data, zou ik toch iets meer maatregelen nemen. Dus in jouw geval zou ik voor striped mirrors gaan, en een goede extra (offsite) backup maken van de allerbelangrijkste data.

[CurlyMo]

Eindconclusie Raspberry Pi 3 FreeBSD 64bit. Onbruikbaar. Bij het zfs send/recv blijft hij hangen. Er zijn overigens geen kernel panics geweest, dus dat is positief.

---

Nu op zoek naar een RPi 3 linux variant op 64bit, waar ik ZFS op kan proberen.

---

Eerst maar eens de Odroid C2 proberen die ik ook nog had liggen. Dat ding is ook 64bit met 2GB mem.

[ Voor 37% gewijzigd door CurlyMo op 25-12-2017 23:56 ]

[Bananenplant]

FireDrunk schreef op zondag 24 december 2017 @ 14:16:
1. Niet, ZFS gaat niet met terugwerkende kracht data opnieuw verdelen. ZFS gaat wel bij nieuwe writes de data die weggeschreven moet worden zo verdelen dat de beide VDEV's op hetzelfde moment vol raken.

Als je dus een vdev hebt dat voor 80% vol is, en een vdev dat voor 20% vol is, zal het vdev dat voor 20% vol is, 80% van de nieuwe writes krijgen.

Als je dus 1 hele volle vdev hebt, en 1 bijna lege, zal de bijna lege bijna alle writes krijgen, en dat is relatief slecht voor je performance, dus bedenk dat je op tijd upgrade (veel later dan 70% vol zou ik niet aanraden).

2) De theoretische kans is niet helemaal even groot, maar ligt niet ver uit elkaar. RAIDZ2 is de beste beveiliging, daarna Mirrors, daarna Striped Mirrors, daarna Stripes (geen redundancy).


Goede backups maken van je belangrijkste data is veel belangrijker. Als je de hele NAS gaat vullen met echt belangrijke data, zou ik toch iets meer maatregelen nemen. Dus in jouw geval zou ik voor striped mirrors gaan, en een goede extra (offsite) backup maken van de allerbelangrijkste data.

Duidelijk . Ik ga denk ik beginnen met 2 grote schijven om naar gelang behoefte later uit te breiden. Momenteel heb ik ter vervanging van Crashplan iDrive wat ik ook straks wil gebruiken voor cloud backups voor de NAS. Verder heb ik in m'n pc straks best wat ongebruikte schijfruimte over, ik wil DeltaCopy gaan installeren zodat ik belangrijke spullen op m'n NAS kan rsyncen richting pc. Dat wil ik wel in een versleutelde container doen. Datzelfde kan ik ook gebruiken om periodiek spullen te syncen op een (of twee?) externe HDD's.

Sowieso is denk ik een voordeel hiervan dat ik de inhoud van een backup eenvoudig kan testen, na het mounten van de container kan ik er immers gelijk bij. Dat vind ik met de proprietaire oplossingen van Crashplan en iDrive wat minder prettig. Wellicht kan ik ook eens kijken of ik mijn Azurecredits kan gebruiken voor een rsync-server ofzo.

Over encryptie (en compressie) gesproken: als ik het goed begrijp moet je met de aes-instructieset op de cpu zonder al te hoge penalty encryptie kunnen gebruiken. Daarnaast heb ik ergens gelezen dat lz4-compressie een goed idee is om aan te zetten omdat het voor vrij goedkoop veel ruimte scheelt. Ik wil vooral over de encryptie nog even uitzoeken waar rekening mee te houden. Het ideaalplaatje zou ik vinden als ik de sleutel op een usb-drive kan zetten die ik er na het booten weer uit kan halen en ergens veilig kan verstoppen, maar volgens mij is dat in FreeNAS nu niet mogelijk.

[CurlyMo]

Bananenplant schreef op dinsdag 26 december 2017 @ 13:23:
[...]


Duidelijk . Ik ga denk ik beginnen met 2 grote schijven om naar gelang behoefte later uit te breiden. Momenteel heb ik ter vervanging van Crashplan iDrive wat ik ook straks wil gebruiken voor cloud backups voor de NAS. Verder heb ik in m'n pc straks best wat ongebruikte schijfruimte over, ik wil DeltaCopy gaan installeren zodat ik belangrijke spullen op m'n NAS kan rsyncen richting pc. Dat wil ik wel in een versleutelde container doen. Datzelfde kan ik ook gebruiken om periodiek spullen te syncen op een (of twee?) externe HDD's.

Ben je bekend met zfs send/recv? Zo niet, lees je daar eens op in en kijk waar dit een verandering in je backup strategie behoeft.

---

De Odroid C2 doet het tot nu wel prima voor ZFS. Send en recv. deed een mooie 2MB/s. Wel op een 64bit Ubuntu en met dubbel zoveel geheugen. Jammer genoeg is hij nu niet meer te koop, maar er is wel de ODROID-HC1. Ook ideaal voor offsite ZFS backup wegens de aanwezige SATA poort. Of de XU4. Ook een snel beestje met een 64bit SoC en genoeg aansluitingen en nog sneller dan de C2.

---

Scrub snelheden zijn ook best aangenaam

code:

  scan: scrub in progress since Tue Dec 26 16:42:28 2017
    150G scanned out of 1.30T at 24.3M/s, 13h51m to go
    0 repaired, 11.25% done

Dat betekent in mijn geval dat wanneer juist getimed de scrub klaar is voor de volgende synchronisatie ronde. En de snelheid loopt nog steeds op.

code:

top - 17:22:44 up 43 min,  1 user,  load average: 2.09, 1.96, 1.80
Tasks: 545 total,   2 running, 543 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.2 us,  1.8 sy,  0.0 ni, 96.1 id,  1.4 wa,  0.0 hi,  0.5 si,  0.0 st
KiB Mem :  1758596 total,  1062044 free,   313460 used,   383092 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  1149168 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
   89 root      20   0       0      0      0 D   2.3  0.0   0:42.72 usb-storage
 1444 root      20   0       0      0      0 D   1.3  0.0   0:22.61 txg_sync
 1982 root      20   0    7892   2140   1184 R   1.0  0.1   0:00.18 top
 1116 root       0 -20       0      0      0 S   0.7  0.0   0:08.85 z_rd_int_0
 1117 root       0 -20       0      0      0 S   0.7  0.0   0:08.87 z_rd_int_0
 1118 root       0 -20       0      0      0 S   0.7  0.0   0:08.86 z_rd_int_0
 1120 root       0 -20       0      0      0 S   0.7  0.0   0:08.85 z_rd_int_0
 1122 root       0 -20       0      0      0 S   0.7  0.0   0:08.84 z_rd_int_0
    3 root      20   0       0      0      0 S   0.3  0.0   0:03.17 ksoftirqd/0
   36 root      20   0       0      0      0 S   0.3  0.0   0:03.47 kworker/0:1
   38 root      20   0       0      0      0 S   0.3  0.0   0:02.18 kworker/u8:1
   84 root      20   0       0      0      0 S   0.3  0.0   0:01.56 kthread_di
 1115 root       0 -20       0      0      0 S   0.3  0.0   0:08.84 z_rd_int_0
 1119 root       0 -20       0      0      0 S   0.3  0.0   0:08.86 z_rd_int_0
 1121 root       0 -20       0      0      0 S   0.3  0.0   0:08.86 z_rd_int_0
 1123 root       0 -20       0      0      0 S   0.3  0.0   0:08.85 z_rd_int_0
 1124 root       0 -20       0      0      0 S   0.3  0.0   0:08.86 z_rd_int_0
 1125 root       0 -20       0      0      0 S   0.3  0.0   0:08.84 z_rd_int_0
 1126 root       0 -20       0      0      0 S   0.3  0.0   0:08.84 z_rd_int_0
 1211 root       1 -19       0      0      0 S   0.3  0.0   0:01.34 z_wr_iss

[ Voor 80% gewijzigd door CurlyMo op 26-12-2017 19:28 ]

[Bananenplant]

CurlyMo schreef op dinsdag 26 december 2017 @ 17:42:
[...]

Ben je bekend met zfs send/recv? Zo niet, lees je daar eens op in en kijk waar dit een verandering in je backup strategie behoeft.

Ik heb wel iets gevonden over snapshots naar een externe schijf sturen. Dat de snapshots zo bewaard blijven is mooi, maar hoe ga ik die backup testen? Een oplossing waarbij ik eenvoudig de files kan inzien vind ik dan wel zo fijn.

[FireDrunk]

Je kan op elk systeem dat zfs ondersteund prima de backup disk mounten.

In theorie kan dat zelfs op (bijvoorbeeld) e windows desktop bijvoorbeeld door een VM te maken, en de usb disk (bijvoorbeeld) door te geven dmv usb passtrough.

[ Voor 53% gewijzigd door FireDrunk op 26-12-2017 18:10 ]

[CurlyMo]

FireDrunk schreef op dinsdag 26 december 2017 @ 18:08:
In theorie kan dat zelfs op (bijvoorbeeld) e windows desktop bijvoorbeeld door een VM te maken, en de usb disk (bijvoorbeeld) door te geven dmv usb passtrough.

Zo heb ik ook een USB backup schijf draaien in ESXi. USB is software matig doorgegeven aan de VM. Werkt prima.

[Bananenplant]

FireDrunk schreef op dinsdag 26 december 2017 @ 18:08:
Je kan op elk systeem dat zfs ondersteund prima de backup disk mounten.

In theorie kan dat zelfs op (bijvoorbeeld) e windows desktop bijvoorbeeld door een VM te maken, en de usb disk (bijvoorbeeld) door te geven dmv usb passtrough.

Dat is wel een interessant idee! Zo'n VM moet ik dan alleen wel onderhouden (wat op zich natuurlijk gewoon kan). En kan ik die schijf dan wel encrypten?

Ik zou dan overigens VirtualBox gebruiken, maar dat is vast niet heel boeiend .

[ Voor 7% gewijzigd door Bananenplant op 26-12-2017 18:18 ]

[FireDrunk]

Mwoh, onderhouden... je kan in theorie zelfs een live cd met zfs support gebruiken.

Encryptie kan ook, mits je de key dus op beide systemen hebt.

[CurlyMo]

Bananenplant schreef op dinsdag 26 december 2017 @ 18:17:
[...]


Dat is wel een interessant idee! Zo'n VM moet ik dan alleen wel onderhouden (wat op zich natuurlijk gewoon kan). En kan ik die schijf dan wel encrypten?

Waarom? Je kan toch wanneer het nodig is een live FreeBSD of Ubuntu starten in een VM?

Ja, gewoon een full disk encryption doen. Dat is het makkelijkst.

Je kan zelfs een Odroid inzetten als backup systeem

[ Voor 6% gewijzigd door CurlyMo op 26-12-2017 18:20 ]

[hansdegit]

Ik ga mijn 2x ssd (mirror 240g) en 2x WD Red 3 TB (ook mirror) vervangen voor 5x Crucial MX500 van 1TB per stuk. Ik wil de 5 SSD's in RAID5 gaan zetten (of is RAIDZ1 de betere term?).

Nu vraag ik me af..Is er een eenvoudige methode om de pools eenvoudig over te zetten naar het nieuwe RAIDZ volume? zfs send/rcv is te doen, maar dan moet ik zo opletten.

Is daar iets simpelers voor te bedenken? Ik loop een beetje vast. (blond, vertroebelde geest, you name it)

Edit: klopt het dat zfsguru behoorlijk dood is? Laatste update is van jan 2017. In dat geval zoek ik een alternatief. Tips?

[ Voor 12% gewijzigd door hansdegit op 26-12-2017 23:03 ]

[CurlyMo]

hansdegit schreef op dinsdag 26 december 2017 @ 22:57:
Nu vraag ik me af..Is er een eenvoudige methode om de pools eenvoudig over te zetten naar het nieuwe RAIDZ volume? zfs send/rcv is te doen, maar dan moet ik zo opletten.

Gewoon zfs send/recv inderdaad. Binnen een pool is er nog de clone/promote mogelijkheid, maar tussen pools is er zoiets niet. Waarom is dit eigenlijk opletten? Je kan toch gewoon de root ZFS recursief verzenden naar een andere pool waardoor je alles met één commando kan overzetten?

code:

# zfs list
oudepool
oudepool/rpool
oudepool/rpool/ROOT
oudepool/rpool/ROOT/default
oudepool/rpool/tmp
oudepool/rpool/usr
oudepool/rpool/usr/home
oudepool/rpool/usr/ports
oudepool/rpool/usr/src
oudepool/rpool/var
oudepool/rpool/var/audit
oudepool/rpool/var/crash
oudepool/rpool/var/log
oudepool/rpool/var/mail
oudepool/rpool/var/tmp
oudepool/users
oudepool/users/gebruiker1
oudepool/users/gebruiker2
# zfs snapshot -r oudepool@verplaats
# zfs send -R oudepool@verplaats | zfs recv -Fdvu nieuwepool

Zo makkelijk is het (uit mijn hoofd)

Bij een recursieve send/recv:

code:

# zfs snapshot -r oudepool@verplaats1
# zfs send -RI oudepool@verplaats oudepool@verplaats1 | zfs recv -dvu nieuwepool

Edit: klopt het dat zfsguru behoorlijk dood is? Laatste update is van jan 2017. In dat geval zoek ik een alternatief. Tips?

Klopt. Afhankelijk van je kennis kan je vanilla FreeBSD draaien (dat doe ik nu) anders is FreeNAS een optie, maar die ondersteund niet alle exotische ZFS configuraties zoals SSD gepartitioneerd voor meerdere doeleinden (ZFS on Root, SLOG, L2ARC).

[ Voor 52% gewijzigd door CurlyMo op 26-12-2017 23:19 ]

[Keiichi]

ik kreeg het zojuist even heel erg warm, ik had 1 schijf uit m'n raid-z1 gepulled omdat ik dacht dat deze haperde. Op een ander systeem heb ik hier deels in badblocks -w gedraaid (15% ofzo in progress).

Deze heb ik daarna terug geplaatst, en hij werd herkend of er niets aan de hand was

Hierna ging deze resilveren.

Dit voelde voor mij niet goed, omdat immers de schijf voor een groot deel gewist was en ik niet verwacht had dat deze zomaar terug herkend zou worden. Ik heb de schijf nu offline gezet. Hij heeft ook een partitie ontdekt die voorheen op de schijf stond (wel als corrupt)

Wat is hier wijsheid? en wat is kans op dataloss?

Er is ondertussen niets naar de array geschreven, er was nog niets mounted.

[ Voor 5% gewijzigd door Keiichi op 26-12-2017 23:50 ]

[Kuusj]

Af en toe had ik toch liever een pre-build Synology NAS gehad, maar eigenwijze ik moet het weer zelf doen met FreeNAS 11. Het werkt 'an-sich' wel goed, maar er zijn altijd van die domme problemen die uit het niets lijken te komen. Zo ook nu, ik heb een shutdown gedaan en een andere (betere) voeding in mijn NAS gedaan, en nu willen de plugins niet meer aan gaan. Voornaamste is Plex.

Halve minuut wachten en dan krijg je het veelzeggende "Some error occured".
Heb alles maar weer weggegooid en ben opnieuw begonnen met de plugins.

Ik heb in ieder geval niet het gevoel dat ZFS een toegevoegde waarde heeft, daarnaast is FreeNAS traag en lomp. Als het werkt, werkt het goed, maar anders

Kan wel gewoon via SMB in Windows naar de NAS schrijven en lezen, dus lijkt me geen IP-probleem.
Of misschien toch: "You must configure a default route (Network->IPv4 Default Gateway)", terwijl die gewoon is zoals het moet.

[ Voor 7% gewijzigd door Kuusj op 27-12-2017 00:02 ]

[CurlyMo]

Keiichi schreef op dinsdag 26 december 2017 @ 23:48:
Wat is hier wijsheid? en wat is kans op dataloss?

Er is ondertussen niets naar de array geschreven, er was nog niets mounted.

Ik zie het probleem niet zo direct op het punt van ZFS, wel op je strategie. Dat laatste eerst. Je gaat een badblocks draaien, maar maakt dat niet af. Waarom niet? En volgens mij heb je ook geen zfs offline gedaan voordat je de disk uit de pool hebt gehaald? Of zfs detach ook werkt in een raidz kan ik zo niet vinden, maar één van de twee commando's verteld ZFS dat hij die ene disk even moet negeren.

Ten tweede. RAIDZ1 beschermt tegen het uitvallen van één schijf. Dat is nu gebeurt waardoor je pool zich weer probeert te herstellen. Ik weet niet precies waar ZFS zijn configuratie plaats. Maar er zijn (van horen zeggen) verschillende opties waaraan ZFS weet wat de status van die HDD is:
1. Door een stukje configuratie op de disk zelf. Zoals een partitietabel.
2. Door een stukje configuratie op de verschillende disks in de pool.
3. In linux door een zfs cache waarin wordt bijgehouden welke disks tot welke pools behoren.

Over het resilveren zou ik me dus niet druk maken. Helemaal niet aangezien je ook nog je backups hebt mocht er iets fout gaan.

kuusj98 schreef op woensdag 27 december 2017 @ 00:00:
Ik heb in ieder geval niet het gevoel dat ZFS een toegevoegde waarde heeft, daarnaast is FreeNAS traag en lomp. Als het werkt, werkt het goed, maar anders

Dat heeft toch niks met ZFS te maken? Waarom overigens geen gevirtualiseerde XPenology over NFS waarbij ZFS je basis van je NFS shares is?

[ Voor 11% gewijzigd door CurlyMo op 27-12-2017 00:06 ]

[Kuusj]

CurlyMo schreef op woensdag 27 december 2017 @ 00:02:
[...]

Ik zie het probleem niet zo direct op het punt van ZFS, wel op je strategie. Dat laatste eerst. Je gaat een badblocks draaien, maar maakt dat niet af. Waarom niet?

Ten tweede. RAIDZ1 beschermt tegen het uitvallen van één schijf. Dat is nu gebeurt waardoor je pool zich weer probeert te herstellen. Ik weet niet precies waar ZFS zijn configuratie plaats. Maar er zijn (van horen zeggen) verschillende opties waaraan ZFS weet wat de status van die HDD is:
1. Door een stukje configuratie op de disk zelf. Zoals een partitietabel.
2. Door een stukje configuratie op de verschillende disks in de pool.
3. In linux door een zfs cache waarin wordt bijgehouden welke disks tot welke pools behoren.


[...]

Dat heeft toch niks met ZFS te maken? Waarom overigens geen gevirtualiseerde XPenology over NFS waarbij ZFS je basis van je NFS shares is?

Dat FreeNAS imho traag en lomp is heeft inderdaad niks met ZFS te maken, maar de toegevoegde waarde boven een RAID opstelling is er voor mij amper. Een simpele install, wachtwoord-beveiligde SMB shares maken en een Plex plug in is alles wat ik nodig heb. FreeNAS kan dat, maar simpel is het allerminst. Ik zal eens kijken naar XPenology. Ik begrijp echter niet wat je bedoeld, waarin moet ik XPenology virtualiseren?

[CurlyMo]

kuusj98 schreef op woensdag 27 december 2017 @ 00:07:
[...]
Ik begrijp echter niet wat je bedoeld, waarin moet ik XPenology virtualiseren?

Door bijvoorbeeld ESXi te draaien. Je maakt één VM voor puur je ZFS opstelling. Vervolgens deel je die ZFS shares via NFS aan een tweede VM voor XPenology. Dan heb je het beide van beide werelden. Of je XPenology ook niet gevirtualiseerd kan draaien weet ik zo niet. Nooit gedaan zelf.

[Keiichi]

CurlyMo schreef op woensdag 27 december 2017 @ 00:02:
[...]

Ik zie het probleem niet zo direct op het punt van ZFS, wel op je strategie. Dat laatste eerst. Je gaat een badblocks draaien, maar maakt dat niet af. Waarom niet?
[...]
Ten tweede. RAIDZ1 beschermt tegen het uitvallen van één schijf. Dat is nu gebeurt waardoor je pool zich weer probeert te herstellen. Ik weet niet precies waar ZFS zijn configuratie plaats. Maar er zijn (van horen zeggen) verschillende opties waaraan ZFS weet wat de status van die HDD is:
1. Door een stukje configuratie op de disk zelf. Zoals een partitietabel.
2. Door een stukje configuratie op de verschillende disks in de pool.
3. In linux door een zfs cache waarin wordt bijgehouden welke disks tot welke pools behoren.

Ik heb in het verleden in een reguliere raid5 array gehad dat ik een schijf verving en deze gelijk als online aangemerkt werd zonder rebuild. Hierdoor was de hele array feitelijk corrupt geworden. nu 10 jaar later blijft me dit nog steeds bij.

Ik meen dat bij GPT achteraan de schijf de table nog een keer staat. De schijf is ooit in een zfs array gebruikt met partities en nu in een array waarbij deze gelijk de hele device pakt (wellicht bad-practice als ik het nu bekijk)

Begrijp ik goed dat ZFS goed genoeg bescherm dat deze ondanks dat een schijf voor een deel gewiped is, toch z'n data integriteit houdt?

[CurlyMo]

Keiichi schreef op woensdag 27 december 2017 @ 00:10:
[...]
Begrijp ik goed dat ZFS goed genoeg bescherm dat deze ondanks dat een schijf voor een deel gewiped is, toch z'n data integriteit houdt?

ZFS resilvered alleen die delen van een harde schijf die corrupt zijn geraakt. Nooit meer. Als ZFS je schijf nog herkent, dan kan het best zo zijn dat je resilver snel klaar is. Overigens zou ik voor de zekerheid een live replace doen met een nieuwe HDD zodra je pool weer online is. Dat is het allerveiligst, omdat je pool dan nooit degradeert.

Oude hardware RAID controllers gingen inderdaad alle schijven sector voor sector langs. Ook bij 100MB aan data op een 2TB RAID5 pool, dan werd er 2TB nagekeken. Bij ZFS alleen die 100MB.

[ Voor 13% gewijzigd door CurlyMo op 27-12-2017 00:16 ]

[Keiichi]

CurlyMo schreef op woensdag 27 december 2017 @ 00:13:
[...]

ZFS resilvered alleen die delen van een harde schijf die corrupt zijn geraakt. Nooit meer. Als ZFS je schijf nog herkent, dan kan het best zo zijn dat je resilver snel klaar is. Overigens zou ik voor de zekerheid een live replace doen met een nieuwe HDD zodra je pool weer online is. Dat is het allerveiligst, omdat je pool dan nooit degradeert.

Die zekerheid pak ik, heb ergens nog een schijf van een voldoende grootte gevonden :-)

Het resilveren voelt nu wel stuk prettiger.

[CurlyMo]

Keiichi schreef op woensdag 27 december 2017 @ 00:17:
[...]


Die zekerheid pak ik, heb ergens nog een schijf van een voldoende grootte gevonden :-)

Het resilveren voelt nu wel stuk prettiger.

Die zekerheid is er pas zodra je originele pool weer hersteld is. Als je nu direct de oude en de nieuwe schijf toevoegt zal er weinig toegevoegde zekerheid zijn. Dan had je dat direct moeten doen. Niet om je te demotiveren.

[Keiichi]

CurlyMo schreef op woensdag 27 december 2017 @ 00:18:
[...]

Die zekerheid is er pas zodra je originele pool weer hersteld is. Als je nu direct de oude en de nieuwe schijf toevoegt zal er weinig toegevoegde zekerheid zijn. Dan had je dat direct moeten doen. Niet om je te demotiveren.

De schijf die ik gepulled heb, ligt nu op de plank. Een andere schijf is nu op zijn plek gezet.

[CurlyMo]

Keiichi schreef op woensdag 27 december 2017 @ 00:24:
[...]


De schijf die ik gepulled heb, ligt nu op de plank. Een andere schijf is nu op zijn plek gezet.

Voor de volgende keer dus een zfs replace terwijl je falende schijf nog aanwezig is. Als de replace klaar is kan je de oude schijf veilig weghalen aangezien die dan automatisch uit de pool wordt gegooid.

[Keiichi]

CurlyMo schreef op woensdag 27 december 2017 @ 00:25:
[...]

Voor de volgende keer dus een zfs replace terwijl je falende schijf nog aanwezig is. Als de replace klaar is kan je de oude schijf veilig weghalen aangezien die dan automatisch uit de pool wordt gegooid.

Ik vrees dat ik die luxe niet heb, alle bays zitten vol, geen spare aanwezig.

[CurlyMo]

Keiichi schreef op woensdag 27 december 2017 @ 00:28:
[...]


Ik vrees dat ik die luxe niet heb, alle bays zitten vol, geen spare aanwezig.

Je hebt ook geen SATA poorten over of zelfs USB met een extende HDD enclosure? Bij mij liggen de HDD's bij zo'n proces ook los in en langs de kast en/of ik heb een harde schijf via USB aangesloten totdat de replace klaar is.

Een zfs replace is verder iets anders dan een spare aan je pool toevoegen.

[ Voor 17% gewijzigd door CurlyMo op 27-12-2017 00:35 ]

[Keiichi]

CurlyMo schreef op woensdag 27 december 2017 @ 00:29:
[...]

Je hebt ook geen SATA poorten over of zelfs USB met een extende HDD enclosure? Bij mij liggen de HDD's bij zo'n proces ook los in en langs de kast en/of ik heb een harde schijf via USB aangesloten totdat de replace klaar is.

Een zfs replace is verder iets anders dan een spare aan je pool toevoegen.

Wel een USB2.0 poort, zou ook niet heel erg opschieten hiermee. Alle sata poorten zijn ook bezet. Dit was wel m'n eerste NAS met zfs, als ik 'm opnieuw zou ontwerpen zou het ook iets anders in elkaar steken met al deze dingen in m'n achterhoofd.

In een andere NAS met zfs gebruik ik spare die ik altijd direct in kan zetten als een andere faalt, daarna kan ik op m'n gemak naar het datacenter om de gefaalde schijf weg te halen en een nieuwe in te zetten die op zijn beurt weer spare wordt.

[Bananenplant]

CurlyMo schreef op woensdag 27 december 2017 @ 00:29:
[...]

Je hebt ook geen SATA poorten over of zelfs USB met een extende HDD enclosure? Bij mij liggen de HDD's bij zo'n proces ook los in en langs de kast en/of ik heb een harde schijf via USB aangesloten totdat de replace klaar is.

Misschien een domme vraag, maar via USB heeft die schijf toch een heel andere devicenaam dan wanneer hij via SATA is aangesloten? Hoe werkt dat dan precies?

[FireDrunk]

Zolang het aantal sectoren van de disk via USB hetzelfde is, is het geen probleem ( sommige USB controllertjes doen wat geks met de disk, dus je moet goed opletten. )

Als je disk daarna weer terug is, zal ZFS hem gewoon herkennen onder zijn nieuwe device id.

[CurlyMo]

Keiichi schreef op woensdag 27 december 2017 @ 00:58:
[...]


Wel een USB2.0 poort, zou ook niet heel erg opschieten hiermee.

Dan zou ik zelf altijd zekerheid kiezen boven snelheid en dus gewoon USB2.0 gebruiken.

[RobertMe]

Wat wordt hier zoal gebruikt aan scripts om backups/snapshots te maken? In het topic kwam ik zo snel niks tegen (zoeken op snapshot geeft uiteraard voornamelijk resultaten op überhaupt de snapshot feature en niet perse automatische backups). In mijn algemenere zoektocht kwam ik wel ZFS snap manager en ZnapZend tegen die iets lijken te zijn (andere zijn scripts die je zelf via cron uit moet voeren etc en cleanups mij dus ook moeilijker lijken). Heeft iemand hier dus ervaring met een van beiden, of zijn er betere varianten?

[vanaalten]

RobertMe schreef op woensdag 27 december 2017 @ 12:28:
Wat wordt hier zoal gebruikt aan scripts om backups/snapshots te maken? In het topic kwam ik zo snel niks tegen (zoeken op snapshot geeft uiteraard voornamelijk resultaten op überhaupt de snapshot feature en niet perse automatische backups). In mijn algemenere zoektocht kwam ik wel ZFS snap manager en ZnapZend tegen die iets lijken te zijn (andere zijn scripts die je zelf via cron uit moet voeren etc en cleanups mij dus ook moeilijker lijken). Heeft iemand hier dus ervaring met een van beiden, of zijn er betere varianten?

Nou, ik doe niets ingewikkelds, dus ik heb een systeem wat voor mij goed werkt. Twee machines in gebruik:

1. main server die ik als NAS gebruik voor e-mail, documenten, post, bonnetjes, foto's. Enkele tientallen GB aan data. Machine draait Linux met EXT4 als filesystem
2. storage server die ik als NAS gebruik voor films, series en als backup voor de kritische data op de main server. Heeft 6TB twee-schijf ZFS mirror

Op m'n main server draai ik onregelmatig simpelweg:

code:

rsync --xattrs --archive -HX --delete --no-compress --info=progress2 \
      -e "ssh -T -c arcfour -o Compression=no -x" \
             $HOME/Maildir \
             $HOME/My\ Documents \
         $HOME/datapool/backups/mailserver

(met m'n storage server gemount op $HOME/datapool)

En op die storage server draai ik net zo onregelmatig:

code:

#!/bin/bash
zfs destroy datapool@v10
zfs rename datapool@v9 datapool@v10
zfs rename datapool@v8 datapool@v9
zfs rename datapool@v7 datapool@v8
zfs rename datapool@v6 datapool@v7
zfs rename datapool@v5 datapool@v6
zfs rename datapool@v4 datapool@v5
zfs rename datapool@v3 datapool@v4
zfs rename datapool@v2 datapool@v3
zfs rename datapool@v1 datapool@v2
zfs snapshot datapool@v1

Lomp, maar het werkt en geeft mij een tien-snapshot time-machine. Ik zie zo snel nog niet waarom ik iets luxers nodig zou hebben.

En los daarvan wordt m'n main server dagelijks compleet gesynced met een tweede server (dus op IP-adres na zijn ze exact identiek) en gaat m'n belangrijkste data nog naar een Amazon S3-bucket.

Ik moet nog wel wat puntjes op de i zetten: ontsleutel-key van die Amazon bucket moet ik eigenlijk buitenshuis ergens bewaren, want als m'n huis afbrand heb ik er nog niets aan. En die backup naar storage & ZFS snapshots moet ik eigenlijk als cron job instellen, want nu is het enkel 'als ik er aan denk'.

Maar belangrijkste is denk ik om voor jezelf wat scenario's te schetsen waar je het voor doet:

• amazon snapshots, voor als al m'n machines thuis kapot gaan
• sync naar backup-machine: als m'n main server kapot gaat, ben ik binnen enkele minuten weer volledig up&running
• storage server snapshots: als er ransomware in huis is kan 'ie veel data encrypten, maar als het goed is niet de snapshots.

[DRAFTER86]

RobertMe schreef op woensdag 27 december 2017 @ 12:28:
Wat wordt hier zoal gebruikt aan scripts om backups/snapshots te maken? In het topic kwam ik zo snel niks tegen (zoeken op snapshot geeft uiteraard voornamelijk resultaten op überhaupt de snapshot feature en niet perse automatische backups). In mijn algemenere zoektocht kwam ik wel ZFS snap manager en ZnapZend tegen die iets lijken te zijn (andere zijn scripts die je zelf via cron uit moet voeren etc en cleanups mij dus ook moeilijker lijken). Heeft iemand hier dus ervaring met een van beiden, of zijn er betere varianten?

Ik gebruik ZnapZend hier zowel voor lokale snapshots op mijn Ubuntu NAS en NUC met Proxmox als voor het 'zfs senden' naar een ZFS NAS bij een vriend. Imho zijn alle rsync oplossingen suboptimaal, en heeft het periodiek maken van snapshots (bijv: elke 5min en 1h bewaren, elk uur en 24h bewaren, elke dag en een maand bewaren, etc.) zeker meerwaarde, en kost het (in mijn geval) nauwelijks diskspace.

Edit:
Hier nog wat info waarom zfs send/receive te verkiezen is boven rsync. Ook kijken ze daar naar een 'cloud based' target voor je snapshots, maar deze is naar mijn idee nog vrij prijzig met 6ct/GB/maand. Wellicht zijn hier al alternatieven voor?

[ Voor 14% gewijzigd door DRAFTER86 op 27-12-2017 14:20 ]

[CurlyMo]

Ik gebruik zfs-snapshot-mgmt met een paar eigen patches. Voor het synchroniseren met zfs send/receive gebruik ik mijn eigen bash script zoals hier in dit topic te vinden.

---

De Odroid C2 werkt dus erg lekker voor offsite backup doeleinden. Zet er eentje bij een broer, zus, vader of moeder neer en je kant makkelijk een externe ZFS HDD gebruiken voor je backups.

Een derde optie die het uitzoeken waard is, is de Orange Pi PC 2. Deze heeft ook een 64bit SoC en genoeg aansluitingen. Op eBay is hij te vinden voor een whopping € 25,-

[ Voor 52% gewijzigd door CurlyMo op 27-12-2017 23:03 ]

[Bananenplant]

Hmm, nu zit ik op 1 thema wel even te twijfelen over FreeNAS: cloud backups. IDrive heeft een vracht Perlscripts die niet echt lekker automatiseerbaar lijken. Dat is op zich niet erg, ik heb daar $7 voor het eerste jaar voor betaald ofzo, dus ik hoef daar niet per se te blijven.

Het lijkt allemaal wel een beetje richting de $10/maand te gaan met opties als CrashPlan for business of rclone icm OneDrive (gratis bij Office365). Ik moet ruim 200GB kwijt kunnen.

Ik zal eens kijken wat ik over geautomatiseerde cloudbackups kan vinden, ik moet zeggen dat ik Synology nu wel verleidelijk vind met Hyper Backup enzo.

[FireDrunk]

TarSnap?

[InflatableMouse]

Yo, wil graag even iets checken met jullie voordat ik een verkeerde aanname doe.

Als ik het volgende zie met 'zfs list -t snapshot ':

code:

NAME                                                                  USED  AVAIL  REFER  MOUNTPOINT
backup/animal@WEEK2_2017-12-09_03.00.02--14d                            0B      -   128K  -
backup/animal@DAILY2017-12-14_03.00.01--14d                             0B      -   128K  -
backup/animal@DAILY2017-12-15_03.00.01--14d                             0B      -   128K  -
backup/animal@DAILY2017-12-17_03.00.01--14d                             0B      -   128K  -
backup/animal@DAILY2017-12-18_03.00.01--14d                             0B      -   128K  -
backup/animal@DAILY2017-12-19_03.00.01--14d                             0B      -   128K  -
backup/animal@DAILY2017-12-20_03.00.01--14d                             0B      -   128K  -
backup/animal@DAILY2017-12-21_03.00.01--14d                             0B      -   128K  -

En onder de kolom 'USED' staat 0B, dat betekent toch gewoon dat het betreffende snapshot niet gewijzigd is ten opzichte van de vorige?

Volgens die logica zou ik dan alle snapshots van 0B met behoud van de eerste kunnen verwijderen?

Heeft het het hebben van een lijst met snapshots zoals hierboven negatieve gevolgen voor bv de performance?

De reden van de vraag is dat ik een wrapper script heb gemaakt voor zfsnap om snapshots te maken en verwijderen op gezette tijden. Maar op sommige datasets gebeurd weinig tot niets, zoals bovenstaand voorbeeld. Als mijn redenatie klopt, wil ik het script aanpassen om te checken of de vorige snapshot 0 Bytes was en dan geen nieuwe te maken, of eerst de oude te verwijderen en dan een nieuwe te maken om de datum aan te passen en daarmee de retentie van 14 dagen te resetten.

[Bananenplant]

@FireDrunk: lijkt behoorlijk duur? Rsync.net ziet er ook wel fijn uit. Als je erover nadenkt: eigenlijk is hetgene dat echt belangrijk is niet eens zoveel data, de rest is wel te ondervangen door een externe hdd op kantoor leggen ofzo.

[ Voor 6% gewijzigd door Bananenplant op 28-12-2017 08:59 ]

[CurlyMo]

InflatableMouse schreef op donderdag 28 december 2017 @ 08:53:
En onder de kolom 'USED' staat 0B, dat betekent toch gewoon dat het betreffende snapshot niet gewijzigd is ten opzichte van de vorige?

Klopt

Volgens die logica zou ik dan alle snapshots van 0B met behoud van de eerste kunnen verwijderen?

Klopt

Heeft het het hebben van een lijst met snapshots zoals hierboven negatieve gevolgen voor bv de performance?

Ja, maar afhankelijk van je doel. In mijn Odroid C2 / Raspberry Pi 3 etc tests kan het echt eeuwen duren om grote snapshot lijsten op te vragen als je niet de juiste parameters gebruikt. Op een normale NAS duurt het gewoon wat langer om een lijst op te vragen of je pool te importeren. Maar in je dagelijks gebruik zal je er weinig last van hebben.

Als mijn redenatie klopt, wil ik het script aanpassen om te checken of de vorige snapshot 0 Bytes was en dan geen nieuwe te maken, of eerst de oude te verwijderen en dan een nieuwe te maken om de datum aan te passen en daarmee de retentie van 14 dagen te resetten.

Gewoon doen.

Bananenplant schreef op donderdag 28 december 2017 @ 08:58:
@FireDrunk: lijkt behoorlijk duur? Rsync.net ziet er ook wel fijn uit. Als je erover nadenkt: eigenlijk is hetgene dat echt belangrijk is niet eens zoveel data, de rest is wel te ondervangen door een externe hdd op kantoor leggen ofzo.

Wat mag het kosten? En is een Orange Pi PC2 geen optie? Leg je er gewoon een bij familie neer met een externe HDD er aan. Encryptie zal zo'n mini-pc alleen niet leuk vinden.

[ Voor 19% gewijzigd door CurlyMo op 28-12-2017 09:04 ]

[Bananenplant]

CurlyMo schreef op donderdag 28 december 2017 @ 09:01:
Wat mag het kosten? En is een Orange Pi PC2 geen optie? Leg je er gewoon een bij familie neer met een externe HDD er aan. Encryptie zal zo'n mini-pc alleen niet leuk vinden.

Pfoe, laten we maximaal €100/jaar zeggen? Weerstand die ik een beetje heb tegen een pc via SSH openzetten voor het grote boze internet is dat ik er zelf voor verantwoordelijk word dat het fatsoenlijk dichtgetimmerd is en er niemand anders dan ik erin kan.

[CurlyMo]

Bananenplant schreef op donderdag 28 december 2017 @ 09:17:
[...]
Pfoe, laten we maximaal €100/jaar zeggen?

Dan ken ik geen goedkope opties, omdat ik zelf alleen ZFS backups naar ZFS targets zou willen. Die zijn er jammer genoeg niet goedkoop.

Weerstand die ik een beetje heb tegen een pc via SSH openzetten voor het grote boze internet is dat ik er zelf voor verantwoordelijk word dat het fatsoenlijk dichtgetimmerd is en er niemand anders dan ik erin kan.

Ik doe dat bij meerdere mensen. Zorg gewoon dat je er alleen via SSH en met alleen een sleutel in kan komen. Dus geen wachtwoord logins toestaan. Dan gaat echt niemand erin komen. Voor paranoïde zekerheid kan je eventueel ook nog een denyhosts o.i.d. aanzetten die zorgt dat IP's automatisch worden geblokkeerd bij teveel verkeerde login pogingen of je zorgt dat alleen je eigen IP via SSH mag inloggen.

[ Voor 5% gewijzigd door CurlyMo op 28-12-2017 09:23 ]

[Bananenplant]

@CurlyMo dynamische Ziggo-ip's zijn helaas niet zo lief . Maar zo'n Orange Pi lijkt een soort Raspberry Pi, wat draai je er dan op?

[FireDrunk]

@Bananenplant Het gaat om compressed storage, dus als die 200GB van jou tot 10GB compressed, betaal je maar 2.50 per maand. Probeer je te backuppen data eens met gzip -9 te compressen, dan weet je hoeveel je over houdt.

[CurlyMo]

Bananenplant schreef op donderdag 28 december 2017 @ 09:58:
@CurlyMo dynamische Ziggo-ip's zijn helaas niet zo lief

Daar is dan weer ddns voor ontwikkeld. En wat ik al zei, key-based SSH logins is echt veilig genoeg.

Maar zo'n Orange Pi lijkt een soort Raspberry Pi, wat draai je er dan op?

Ubuntu met ZFS. Verschil met de Raspberry Pi is power over compatibility. Mali GPU's zijn ruk, maar die heb je voor dit doeleind toch niet nodig. De 64-bit SoC en 2GB RAM zijn wel krachtig genoeg voor ZFS

[HollowGamer]

Hopelijk kan iemand mij helpen.

Dit is mijn disk:

code:

Disk /dev/sda: 2,7 TiB, 3000592982016 bytes, 5860533168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 9933D592-7241-7C41-8320-9FBD8EF3D960

Device          Start        End    Sectors  Size Type
/dev/sda1        2048 5860515839 5860513792  2,7T Solaris /usr & Apple ZFS
/dev/sda9  5860515840 5860532223      16384    8M Solaris reserved 1

# zfs list
no datasets available

Ik heb de schijf uit een NAS gehaald die in een raidz stond, beide schijven heb ik nog, enkel mis ik de zcache file.

Hoe kan ik data van de schijven afhalen? Ik weet de dataset naam/namen en heb ook de encryptie key.

Thanks.

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 17:09:
Hoe kan ik data van de schijven afhalen? Ik weet de dataset naam/namen en heb ook de encryptie key.

Beide schijven weer aansluiten en een zpool import doen? En mocht je dat al geprobeerd hebben, dan heb je dat tenminste nog niet verteld.

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 18:01:
[...]

Beide schijven weer aansluiten en een zpool import doen? En mocht je dat al geprobeerd hebben, dan heb je dat tenminste nog niet verteld.

Is inmiddels gelukt - je moet deze als volgt import'en:

code:

# zpool import -f dataset -R /path/to/mount/

Omdat ik geen cache-file meer had, werkte zpool import helaas niet.

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 18:02:
[...]

Is inmiddels gelukt - je moet deze als volgt import'en:

code:

# zpool import -f dataset -R /path/to/mount/

Omdat ik geen cache-file meer had, werkte zpool import helaas niet.

Dat blijft toch echt ZFS (on Linux) voor dummies hoor Dit topic staat er jammer genoeg vol mee. Waarom overigens die altroot parameter? Gaat het hier om een ZFS on Root pool?

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 18:06:
[...]

Dat blijft toch echt ZFS (on Linux) voor dummies hoor Dit topic staat er jammer genoeg vol mee. Waarom overigens die altroot parameter? Gaat het hier om een ZFS on Root pool?

Weet even niet zo goed wat je bedoeld, maar dit is inderdaad ZFS on Linux, dus niet alles is hetzelfde.
Die altroot parameter is nodig omdat ik dus geen zfs.cache file meer heb - waardoor hij dus geen weet heeft van mijn zpools.

Het is geen root.

Mocht je een betere manier weten dan hoor ik het graag.

[ Voor 5% gewijzigd door HollowGamer op 29-12-2017 18:47 ]

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 18:47:
[...]

Weet even niet zo goed wat je bedoeld, maar dit is inderdaad ZFS on Linux, dus niet alles is hetzelfde.

Dat het gebruik van zpool import [naam] toch wel basis is.

Die altroot parameter is nodig omdat ik dus geen zfs.cache file meer heb - waardoor hij dus geen weet heeft van mijn zpools.

De altroot parameter wordt daar niet voor gebruikt. Standaard worden alle zetabyte filesystems gemount vanaf root /. Dus als je een pool hebt die data heet, dan wordt deze met zpool import gemount naar /data. De altroot parameter geeft je de mogelijkheid om dat standaard hoofd pad te wijzingen. Stel je dat je die data pool importeert met altroot=/mnt dan zal hij gemount worden onder /mnt/data. Met name bij een ZFS on Root is dat handig, omdat je pool anders in al je systeem mappen wordt gemount.

De -f oftewel force parameter wordt gebruikt in gevallen dat je je pool in een ander systeem importeert zonder eerst een export te doen. ZFS houdt bij in welk systeem een pool gemount was. Bij een nette zpool export [naam] wordt deze systeem koppeling verbroken, waardoor je hem veilig in elk ander systeem weer kan importeren. ZFS zal alleen automatisch je pool importeren als de pool in het systeem zit waarin hij als laatste actief was zonder een expliciete export. Als dat niet zo is, dan zal je dit importeren dus moeten forceren.

Maar zoals gezegd, dit hoor je te weten als je ZFS gebruikt (vind ik dan).

Mocht je een betere manier weten dan hoor ik het graag.

Nee, die is er niet. Verder zie mijn eerste opmerkingen bovenaan.

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 19:11:
[...]

Dat het gebruik van zpool import [naam] toch wel basis is.


[...]

De altroot parameter wordt daar niet voor gebruikt. Standaard worden alle zetabyte filesystems gemount vanaf root /. Dus als je een pool hebt die data heet, dan wordt deze met zpool import gemount naar /data. De altroot parameter geeft je de mogelijkheid om dat standaard hoofd pad te wijzingen. Stel je dat je die data pool importeert met altroot=/mnt dan zal hij gemount worden onder /mnt/data. Met name bij een ZFS on Root is dat handig, omdat je pool anders in al je systeem mappen wordt gemount.

De -f oftewel force parameter wordt gebruikt in gevallen dat je je pool in een ander systeem importeert zonder eerst een export te doen. ZFS houdt bij in welk systeem een pool gemount was. Bij een nette zpool export [naam] wordt deze systeem koppeling verbroken, waardoor je hem veilig in elk ander systeem weer kan importeren. ZFS zal alleen automatisch je pool importeren als de pool in het systeem zit waarin hij als laatste actief was zonder een expliciete export. Als dat niet zo is, dan zal je dit importeren dus moeten forceren.

Maar zoals gezegd, dit hoor je te weten als je ZFS gebruikt (vind ik dan).


[...]

Nee, die is er niet. Verder zie mijn eerste opmerkingen bovenaan.

Ben pas begonnen met ZFS, ik leer graag bij. Tot nu toe gebruikte ik gewoon de automount, dus hoefde hier niet naar om te kijken.

Nu moet ik echter de schijf echt aansluiten intern op een SATA-poort om de schijf via bovenstaande te kunnen import'en. Hoe krijg ik dit voor elkaar via een externe USB? Ik krijg het helaas niet aan de gang, terwijl het op eerste gezicht hetzelfde lijkt.

Thanks.

[Paul]

CurlyMo schreef op vrijdag 29 december 2017 @ 19:11:
Maar zoals gezegd, dit hoor je te weten als je ZFS gebruikt (vind ik dan).

FreeNAS gebruikt ook ZFS. In al die jaren heb ik de CLI niet één keer nodig gehad (voor het ZFS-deel)...

[CurlyMo]

Paul schreef op vrijdag 29 december 2017 @ 20:01:
[...]
FreeNAS gebruikt ook ZFS. In al die jaren heb ik de CLI niet één keer nodig gehad (voor het ZFS-deel)...

Ik vind ook niet dat je alles hoeft te weten, maar als je dit topic hebt gevolgd, dan vind ik zpool importeren en exporteren wel het minimale.

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 20:12:
[...]

Ik vind ook niet dat je alles hoeft te weten, maar als je dit topic hebt gevolgd, dan vind ik zpool importeren en exporteren wel het minimale.

Daar gaat het niet over, ik weet hoe dit werkt, echter viel het mij op dat het helemaal niet werkte - vandaar mijn vraag.

Nu blijkt dat ik alles dus goed deed, echter het op de een of andere manier onmogelijk is om ZFS te mounten over USB - waarschijnlijk omdat deze als fixed moet worden gezien.

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 20:41:
[...]

Daar gaat het niet over, ik weet hoe dit werkt, echter viel het mij op dat het helemaal niet werkte - vandaar mijn vraag.

Nu blijkt dat ik alles dus goed deed, echter het op de een of andere manier onmogelijk is om ZFS te mounten over USB - waarschijnlijk omdat deze als fixed moet worden gezien.

Het zpool.cache is helemaal niet interessant in een zpool import / export. Alleen voor het automatisch importeren van een zpool na reboot:

code:

# ls /etc/zfs/
zed.d  zpool.cache
# zpool export backup
# ls /etc/zfs/
zed.d
# zpool import
   pool: backup
     id: 4506390949864631805
  state: ONLINE
 status: Some supported features are not enabled on the pool.
 action: The pool can be imported using its name or numeric identifier, though
        some features will not be available without an explicit 'zpool upgrade'.
 config:

        backup                             ONLINE
          ata-ST2000DM001-1CH164_Z1E5G41D  ONLINE
# zpool import backup
# ls /etc/zfs/
# ls /etc/zfs/
zed.d  zpool.cache

En dat is gewoon met een USB HDD.

Wat betreft afwijkende HDD device path's met ZFS on Linux zou ik eerst het topic hier eens doorspitten en laten weten of wat je gevonden hebt heeft geholpen.

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 21:18:
[...]

Wat betreft afwijkende HDD device path's met ZFS on Linux zou ik eerst het topic hier eens doorspitten en laten weten of wat je gevonden hebt heeft geholpen.

Thanks, waarom het cache file wordt gebruikt is voor mij duidelijk, echter als je deze dus kwijt hebt moet je handmatig import'en inderdaad.

Ik heb het volgende al geprobeerd:

code:

# zfs import -d /dev/by-id data
# zfs import -d /dev/sdb1 data

Met daarbij dus -f dataset -R /path/to/mount/, maar het werkt gewoonweg niet.
Als ik hetzelfde doe via de SATA aansluiting (dus vanaf het moederbord), dan werkt het wel prima.

Waar zou dit aan kunnen liggen? Waar zit precies het verschil? Ik las iets over dat enkel fixed drivers worden ondersteund voor ZFS, maar zoals jij aangeeft kan dit wel gewoon.

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 21:23:
[...]

Wat is het daadwerkelijke device path van je USB HDD?

En vertel de volgende keer sneller wat je allemaal hebt geprobeerd, dat kan ik niet raden namelijk. Dat scheelt je ook gezaag van de tweakers hier.

[dcm360]

Misschien een USB-behuizing die iets raars doet? Maar 'het werkt niet' is niet echt een beschrijving waar we hier wat mee kunnen. Er verschijnt vast wel ergens iets op de console of in een logboek.

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 21:26:
[...]

Wat is het daadwerkelijke device path van je USB HDD?

Even vertel de volgende keer sneller wat je allemaal hebt geprobeerd, dat kan ik niet raden namelijk. Dat scheelt je ook gezaag van de tweakers hier.

code:

# ll /dev/disk/by-id/
lrwxrwxrwx 1 root root   9 Dec 29 21:29 usb-WDC_WD30_EZRZ-00Z5HB0_FDC0FD30EF00000FD0FCC4F4FF8F6F-0:0 -> ../../sdc

# ll /dev/disk/by-uuid
<staat hier niet tussen>

Het zou /dev/sdc1 moeten zijn.

[ Voor 3% gewijzigd door HollowGamer op 29-12-2017 21:32 ]

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 21:31:
[...]

En wat zegt zpool import nu?

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 21:32:
[...]

En wat zegt zpool import nu?

code:

# zpool import -d /dev/disk/by-id/ -f data -R /tmp/mnt/data
cannot import 'data': no such pool available

# zpool import -d /dev/disk/by-id/usb-WDC_WD30_EZRZ-00Z5HB0_FDC0FD30EF00000FD0FCC4FFF8F6F-0:1 -f data -R /tmp/mnt/data
cannot import 'data': no such pool available

# zpool import -d /dev/disk/by-id/usb-WDC_WD30_EZRZ-00Z5HB0_FDC0FD30EF00000FD0FCC4F4FF8F6F-0:0 -f data -R /tmp/mnt/data
cannot open '/dev/sdc': Not a directory
cannot import 'data': no such pool available

Het maakt allemaal geen verschil, ook als ik hier /dev/sdc1 gebruik.

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 21:34:
[...]

Wat zegt letterlijk: zpool import zonder iets erachter.

En wat zijn de device paths van de andere twee schijven?

[FireDrunk]

(of zpool import -d /dev/disk/by-id/)

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 21:36:
[...]

Wat zegt letterlijk: zpool import zonder iets erachter.

En wat zijn de device paths van de andere twee schijven?

# zpool import
no pools available to import

Die zijn niet aangesloten, dit is een RAIDZ1, beide schijven kan ik los gebruiken.
Zo werkt het ook via intern op MB.

[CurlyMo]

FireDrunk schreef op vrijdag 29 december 2017 @ 21:37:
(of zpool import -d /dev/disk/by-id/)

Ik verwacht dat een clean zpool import ook al wel een van de schijven vind en daarmee iets over de opbouw van de pool kan vertellen.

HollowGamer schreef op vrijdag 29 december 2017 @ 21:37:
[...]
Die zijn niet aangesloten, dit is een RAIDZ1, beide schijven kan ik los gebruiken.
Zo werkt het ook via intern op MB.

Een RAIDZ1 heeft tenminste twee schijven nodig.

Kan je eens een zpool status data geven wanneer je de pool wel via SATA weet te importeren?

[FireDrunk]

idd, RAIDZ1 != een mirror

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 21:39:
[...]

Ik verwacht dat een clean zpool import ook al wel een van de schijven vind en daarmee iets over de opbouw van de pool kan vertellen.


[...]

Een RAIDZ1 heeft tenminste twee schijven nodig.

Kan je eens een zpool status data geven wanneer je de pool wel via SATA weet te importeren?

Is prima.
Klopt, maar als één uitvalt, zou hij moeten verder werken, toch?
Hij heeft het niet nodig om het op te bouwen van de pool.

Kom er morgen op terug, want moet daarvoor dus hem intern weer aansluiten.

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 21:41:
[...]

Is prima.
Klopt, maar als één uitvalt, zou hij moeten verder werken, toch?
Hij heeft het niet nodig om het op te bouwen van de pool.

Kom er morgen op terug, want moet daarvoor dus hem intern weer aansluiten.

Je zegt dat je twee schijven hebt waarmee je aan het 'wisselen' bent, maar je hebt drie schijven nodig om in een RAIDZ1 vrij te wisselen. Waarom je het zou doen is me nog een raadsel.

HollowGamer schreef op vrijdag 29 december 2017 @ 21:41:
[...]

Is prima.
Klopt, maar als één uitvalt, zou hij moeten verder werken, toch?
Hij heeft het niet nodig om het op te bouwen van de pool.

Kom er morgen op terug, want moet daarvoor dus hem intern weer aansluiten.

Deze info had er eigenlijk al lang moeten zijn. Vrijwel alle reacties zijn enkele vraag reacties. Het scheelt als je zoveel mogelijk info geeft. Bijv.

Ik probeer een pool te importeren op ZFS on Linux [versie] in een [linux variant] [kernel versie] maar dat lukt alleen via SATA. De pool ziet er op SATA zo uit [zpool status uitdraai]. Wanneer ik echter één van de schijven aansluit via USB werkt dat niet. Wat ik al geprobeerd heb is [commando 1], [commando 2], [commando 3] + [alle shell output van die commando's]. Hier tevens een dmesg output van het aansluiten van mijn schijven en alle device path's enz.

[ Voor 48% gewijzigd door CurlyMo op 29-12-2017 21:45 ]

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 21:42:
[...]

Je zegt dat je twee schijven hebt waarmee je aan het 'wisselen' bent, maar je hebt drie schijven nodig om in een RAIDZ1 vrij te wisselen. Waarom je het zou doen is me nog een raadsel.

Ik denk dat ik de RAID's inderdaad door elkaar haal, denk dat ik dan toch een mirror aangemaakt!
Stom is dat ik het destijds niet heb opgeschreven.

Anyway, het werkt dus wel gewoon met één enkele en kan hem dan prima gebruiken.

Ik probeer een pool te importeren op ZFS on Linux [versie] in een [linux variant] [kernel versie] maar dat lukt alleen via SATA. De pool ziet er op SATA zo uit [zpool status uitdraai]. Wanneer ik echter één van de schijven aansluit via USB werkt dat niet. Wat ik al geprobeerd heb is [commando 1], [commando 2], [commando 3] + [alle shell output van die commando's]. Hier tevens een dmesg output van het aansluiten van mijn schijven en alle device path's enz.
Helemaal waar, echter kwam ik daar pas achter na mijn post. Het verbaasde dat het mij niet lukte, totdat ik hem dus direct aansloot.

Dit zegt hij nu trouwens nu ik hem via USB heb aangesloten:

code:

# gdisk /dev/sdc
GPT fdisk (gdisk) version 1.0.3

Warning! Disk size is smaller than the main header indicates! Loading
secondary header from the last sector of the disk! You should use 'v' to
verify disk integrity, and perhaps options on the experts' menu to repair
the disk.
Caution: invalid backup GPT header, but valid main header; regenerating
backup header from main header.

Warning! One or more CRCs don't match. You should repair the disk!

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: damaged

****************************************************************************
Caution: Found protective or hybrid MBR and corrupt GPT. Using GPT, but disk
verification and recovery are STRONGLY recommended.
****************************************************************************

Command (? for help): p
Disk /dev/sdc: 1565565872 sectors, 746.5 GiB
Model: EZRZ-00Z5HB0
Sector size (logical/physical): 512/512 bytes
Disk identifier (GUID): D6ED5D6E-8936-2340-B897-4775B7112101
Partition table holds up to 128 entries
Main partition table begins at sector 2 and ends at sector 33
First usable sector is 34, last usable sector is 5860533134
Partitions will be aligned on 2048-sector boundaries
Total free space is 2925 sectors (1.4 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      5860515839   2.7 TiB     BF01  zfs-648b149611d4c157
   9      5860515840      5860532223   8.0 MiB     BF07

Ik ben geen Linux/schijf expert, als ik hem direct aansluit krijg ik deze foutmelding niet.
Toch misschien iets met USB te maken?

[ Voor 68% gewijzigd door HollowGamer op 29-12-2017 21:52 ]

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 21:46:
[...]

Ik denk dat ik de RAID's inderdaad door elkaar haal, denk dat ik dan toch een mirror aangemaakt!
Stom is dat ik het destijds niet heb opgeschreven.

Anyway, het werkt dus wel gewoon met één enkele en kan hem dan prima gebruiken.

Geef nou eens een zo volledig mogelijke uitleg van hoe het precies in elkaar steekt!? Dit is echt waarzeggen voor ons en op deze manier enorm frustrerend Ik was alweer een enkele vraag aan het stellen, maar dat doe ik even niet.

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 21:51:
[...]

Geef nou eens een zo volledig mogelijke uitleg van hoe het precies in elkaar steekt!? Dit is echt waarzeggen voor ons en op deze manier enorm frustrerend Ik was alweer een enkele vraag aan het stellen, maar dat doe ik even niet.

Sorry, ik ben allang blij dat jullie mij verder willen helpen.

OS: Arch Linux x64 - 4.14.x en zfs-dkms-git.

Ik heb twee HDD's van 3TB, beide dus ingericht met ZFS (mirror), met als pool data.
Vervolgens meerdere datasets aangemaakt + native encryptie via key.

Dit werkte allemaal prima, maar heb toen de interne SSD gewist (waar de caching/config op stond) omdat ik mijn NAS heb verkocht.
Nu heb ik dus die twee HDD's in mijn handen, waarvan ik de data wil kopiëren naar een schijf met XFS over USB.

Dit alles lukte mij dus niet via allemaal commando's zoals hierboven gepost. Totdat ik dus de schijf aansloot via een SATA-kabel op mijn moederbord (fixed drive).

En dat vind ik vreemd, en probeer ik te verklaren. Het makkelijkste is namelijk voor mij om het over USB te doen zodat ik het één-op-één kan sturen naar het apparaat, ik heb in de Intel NUC namelijk al de SATA in gebruik, dus moet de schijf nu plaatsen in mijn workstation.

Mocht er meer informatie nodig zijn dan hoor ik het graag.

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 22:00:
[...]
OS: Arch Linux x64 - 4.18.x en zfs-dkms-git.

Probeer het eens met een FreeBSD live cd.

Ik heb twee HDD's van 3TB, beide dus ingericht met ZFS (mirror), met als pool data.
Vervolgens meerdere datasets aangemaakt + native encryptie via key.

Ik weet niet hoe het op Arch werkt, maar volgens mij zul je die schijven eerst moeten aanmelden met je encryptie sleutel. Die stap lijk je over te slaan.

Dit werkte allemaal prima, maar heb toen de interne SSD gewist (waar de caching/config op stond) omdat ik mijn NAS heb verkocht.

Zonder dus eerst een zpool export te doen?

Dit alles lukte mij dus niet via allemaal commando's zoals hierboven gepost. Totdat ik dus de schijf aansloot via een SATA-kabel op mijn moederbord (fixed drive).

de schijf is één schijf, terwijl je er twee hebt. Wat doe je in dat proces met die andere?

Mocht er meer informatie nodig zijn dan hoor ik het graag.

Zie je nu het prettig dit debuggen is

[FireDrunk]

Kan je eens de partities laten zien die er op de schijf staan?

Ah, je usb case/connector doet wat smerigs met de max size Weggooien dat ding...

[ Voor 41% gewijzigd door FireDrunk op 29-12-2017 22:10 ]

[FireDrunk]

offtopic:
Woops dubbelpost

[ Voor 83% gewijzigd door FireDrunk op 29-12-2017 22:10 ]

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 22:07:
[...]

Probeer het eens met een FreeBSD live cd.


[...]

Ik weet niet hoe het op Arch werkt, maar volgens mij zul je die schijven eerst moeten aanmelden met je encryptie sleutel. Die stap lijk je over te slaan.

[...]

Zonder dus eerst een zpool export te doen?


[...]

de schijf is één schijf, terwijl je er twee hebt. Wat doe je in dat proces met die andere?


[...]

Zie je nu het prettig dit debuggen is

Ik ga het eens proberen met een FreeBSD livecd.

Zo werkt de encryptie in Arch: https://wiki.archlinux.org/index.php/ZFS#Native_encryption
Ik gebruik dus geen luks, gewoon de native ZFS. Dit werkt dus allemaal gelukkig als het import'en is gelukt.

Klopt, want doe ik eerst een export:
# zpool export data
cannot open 'data': no such pool

Daarom gebruik ik de altroot parameter, dan werk ik hier omheen.

De andere sluit ik dus niet aan, dus enkel één HDD via SATA.

FireDrunk schreef op vrijdag 29 december 2017 @ 22:08:
Kan je eens de partities laten zien die er op de schijf staan?

Ah, je usb case/connector doet wat smerigs met de max size Weggooien dat ding...

Zie de gdisk post voor een overzicht.
Ik heb er twee, één voor USB3.0 en de andere voor USB2.0.
Beide laten hetzelfde gedrag zien - staat misschien iets fout in mijn settings of vind hij iets niet lukt met de inrichting ervan?

[ Voor 21% gewijzigd door HollowGamer op 29-12-2017 22:14 ]

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 22:11:
Klopt, want doe ik eerst een export:
# zpool export data
cannot open 'data': no such pool

De vraag was of je dit had gedaan voor dat je je NAS verkocht?

Daarom gebruik ik de altroot parameter, dan werk ik hier omheen.

Exporteren werkt natuurlijk alleen als je pool geïmporteerd is geweest.

De andere sluit ik dus niet aan, dus enkel één HDD via SATA.

Kan je iets zeggen over je USB controller, want zoals @FireDrunk al zegt lijkt die de boosdoener.

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 22:13:
[...]

De vraag was of je dit had gedaan voor dat je je NAS verkocht?


[...]

Exporteren werkt natuurlijk alleen als je pool geïmporteerd is geweest.


[...]

Kan je iets zeggen over je USB controller, want zoals @FireDrunk al zegt lijkt die de boosdoener.

Alles ingericht 1 jaar geleden toen ik nog de volledige NAS had.
Dus zoals hierboven beschreven, daarna niks meer aangepast.
Nu dus verkocht, en enkel de data nog over.

Zie post hierboven, heb er twee, met beide lukt het niet.
In beide gevallen zo'n simpel SATA6G naar USB.

[ Voor 3% gewijzigd door HollowGamer op 29-12-2017 22:17 ]

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 22:16:
[...]
Zie post hierboven, heb er twee, met beide lukt het niet.
In beide gevallen zo'n simpel SATA6G naar USB.

We zijn geen waarzeggers... Linkjes? Foto's? Specs?

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 22:17:
[...]

We zijn geen waarzeggers... Linkjes? Foto's? Specs?

https://www.lacie.com/nl/...rsche-design-desktop-mac/

Daar de originele schijf dus uitgehaald, en die van 3TB erin gezet.
Ik kan mij niet herinneren of er origineel een 2TB heeft ingezeten bedenk ik mij nu.
Misschien dat dit een verschil maak?

Andere heb ik geen specs van, maar is een ding die ik heb gekocht bij de Paradigit 5 jaar geleden.
Er staat USB2.0 + ESATA-S02 Combo Encloser Ver. B op - ga ervan uit dat het een standaard Chinese controller is.

[ Voor 10% gewijzigd door HollowGamer op 29-12-2017 22:21 ]

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 22:20:
[...]

https://www.lacie.com/nl/...rsche-design-desktop-mac/

Daar de originele schijf dus uitgehaald, en die van 3TB erin gezet.

Andere heb ik geen specs van, maar is een ding die ik heb gekocht bij de Paradigit 5 jaar geleden.
Er staat USB2.0 + ESATA-S02 Combo Encloser Ver. B op - ga ervan uit dat het een standaard Chinese controller is.

Om gek van te worden Je gebruikt dus twee controllers. Met welke controller heb je dan de partitietabel getoond? En waar is die dan van de andere controller? En van die andere schijf? Ik had dan tenminste 4 partitie tabellen verwacht. 2 schijven met 2 controllers.

[HollowGamer]

CurlyMo schreef op vrijdag 29 december 2017 @ 22:23:
[...]

Om gek van te worden Je gebruikt dus twee controllers. Met welke controller heb je dan de partitietabel getoond? En waar is die dan van de andere controller? En van die andere schijf? Ik had dan tenminste 4 partitie tabellen verwacht. 2 schijven met 2 controllers.

Ja, om uit te sluiten of het daaraan ligt. Dit is met de USB 2.0, zal morgen nogmaals met USB 3.0 inladen.

Ik gebruik dus één schijf, dus je ziet inderdaad de andere twee partities niet. Ik heb niet beide HDD's aangesloten. Dit hoeft ook niet omdat het mirror is, ZFS kan deze prima importen zoals dat dus wel lukt via SATA-port.

[FireDrunk]

Volgens mij is het niet aan te raden om de helft van een Mirror 'even' te importeren in een ander systeem. Ookal laat je de pool ongemoeid (read only) worden er alsnog interne ID's geupdate, en kan dat later weer problemen veroorzaken.

[CurlyMo]

HollowGamer schreef op vrijdag 29 december 2017 @ 22:26:
[...]

Ja, om uit te sluiten of het daaraan ligt. Dit is met de USB 2.0, zal morgen nogmaals met USB 3.0 inladen.

Ik gebruik dus één schijf, dus je ziet inderdaad de andere twee partities niet. Ik heb niet beide HDD's aangesloten. Dit hoeft ook niet omdat het mirror is, ZFS kan deze prima importen zoals dat dus wel lukt via SATA-port.

Ja, maar daarbij ga je er vanuit dat jij alles onder controle hebt en je kan inschatten wat wel of niet relevant is. Je vraagt om hulp omdat dat niet zo is. Maar wij hebben alle informatie nodig om vast te stellen waar precies het probleem zit.

Je doet een mooie: http://xyproblem.info/

FireDrunk schreef op vrijdag 29 december 2017 @ 22:28:
Volgens mij is het niet aan te raden om de helft van een Mirror 'even' te importeren in een ander systeem. Ookal laat je de pool ongemoeid (read only) worden er alsnog interne ID's geupdate, en kan dat later weer problemen veroorzaken.

Ter aanvulling. Wel als je eerst de mirror netjes splitst.

[ Voor 21% gewijzigd door CurlyMo op 29-12-2017 22:36 ]

[FireDrunk]

Uiteraard, maar dan is het geen mirror meer

[CurlyMo]

FireDrunk schreef op vrijdag 29 december 2017 @ 22:44:
Uiteraard, maar dan is het geen mirror meer

Dat snap jij, dat snap ik, ...

[FireDrunk]

[HollowGamer]

FireDrunk schreef op vrijdag 29 december 2017 @ 22:28:
Volgens mij is het niet aan te raden om de helft van een Mirror 'even' te importeren in een ander systeem. Ookal laat je de pool ongemoeid (read only) worden er alsnog interne ID's geupdate, en kan dat later weer problemen veroorzaken.

Klopt, maar daarna worden de schijven gewist .. dus is geen probleem.

CurlyMo schreef op vrijdag 29 december 2017 @ 22:30:
[...]

Ja, maar daarbij ga je er vanuit dat jij alles onder controle hebt en je kan inschatten wat wel of niet relevant is. Je vraagt om hulp omdat dat niet zo is. Maar wij hebben alle informatie nodig om vast te stellen waar precies het probleem zit.

Je doet een mooie: http://xyproblem.info/

[...]

Ter aanvulling. Wel als je eerst de mirror netjes splitst.

Ja en nee.

Ik gaf al aan gepost te hebben omdat ik het vreemd vond dat ik de schijf niet kon importen/helemaal niet zag. Toen ik verder geen debuggen, denk ik probeer het eens gewoon direct op SATA-poort en toen werkte het perfect.

Het lijkt er dus op dat beide controllers niet werken, want het lukt voor geen meter de zpool te importeren over USB.

CurlyMo schreef op vrijdag 29 december 2017 @ 22:30:
[...]

Ja, maar daarbij ga je er vanuit dat jij alles onder controle hebt en je kan inschatten wat wel of niet relevant is. Je vraagt om hulp omdat dat niet zo is. Maar wij hebben alle informatie nodig om vast te stellen waar precies het probleem zit.

Je doet een mooie: http://xyproblem.info/

[...]

Ter aanvulling. Wel als je eerst de mirror netjes splitst.

Ik stelde toch daarna heel duidelijk de vraag - waarom krijg ik de zpool niet geïmporteerd via USB?

CurlyMo schreef op vrijdag 29 december 2017 @ 22:44:
[...]

Dat snap jij, dat snap ik, ...

Beetje jammer, hopelijk werk je niet op een SD om eerlijk te zijn.
Niet dat ik je hulp niet waardeer, maar ik vind het cynisch commentaar nogal jammer.
Ik weet de basis van ZFS en ik moet, net als nog veel mensen, ontzettend veel leren en sta daar ook voor open.

Toen op ik werkte bij een SD heb ik ook niet tegen ieder zo gereageerd, ook netjes gevraagd wat er nu precies was. Maar ik begreep ook dat het soms vaag kan zijn als iets niet lukte wat normaal prima zou moeten gaan.

Inmiddels doe ik het dus gewoon over de SATA, kopieer de data, en zien we daarna wel verder.

Thanks voor de hulp allemaal.

[ Voor 6% gewijzigd door HollowGamer op 30-12-2017 11:47 ]

[CurlyMo]

HollowGamer schreef op zaterdag 30 december 2017 @ 11:45:
Ja en nee.

Wel op een moment dat je al allerlei dingen onhandig hebt aangepakt. Geen aanvankelijke zpool export gedraaid, niet je mirror gesplitst, importeren met parameters die niet nuttig zijn, sowieso je NAS verkopen voordat je je data hebt veiliggesteld.

Ik stelde toch daarna heel duidelijk de vraag - waarom krijg ik de zpool niet geïmporteerd via USB?

Nee, het duurde nog 4+ posts voordat ons duidelijk werd dat er USB in het spel was, omdat je eerder maar weinig info gaf. Daarna duurde het nogmaals een tijdje voordat duidelijk werd dat het zeer waarschijnlijk aan je USB controllers ligt, omdat je de oorzaak zelf bij betekenisloze elementen legt. Zoals de zpool.cache.

Beetje jammer, hopelijk werk je niet op een SD om eerlijk te zijn.
Niet dat ik je hulp niet waardeer, maar ik vind het cynisch commentaar nogal jammer.

Het Tweakers forum is dan ook expliciet geen SD en hier worden hoge eisen gesteld aan de eigen inzet. Dat is ook de reden dat velen het prettig vertoeven vinden hier. Vakidioten onder vakidioten. Op andere fora is dat inderdaad anders. Daarnaast ben ik niet de enige die gefrustreerd is over je beperkte informatie en het is zelfs mogelijk dat mensen je om die reden überhaupt niet helpen.

Ik weet de basis van ZFS en ik moet, net als nog veel mensen...

Het verbaasd me ook hier dat je die hulp niet eerder vraagt. Ik zeg dat in dit topic vaker. Je speelt met je (belangrijke) data op een systeem dat je niet (of nauwelijks) begrijpt. Neemt vervolgens stappen waarmee je mogelijk je data verliest en gaat pas om hulp vragen als het bijna zover is. Dan vind ik het niet gek dat ik plaatsvervangend gefrustreerd ben en cynisch wordt. In noem dat vooral een hoge mate van empathie, net als mensen die plaatsvervangend zenuwachtig worden als hun kind een klimwand op gaat

...ontzettend veel leren en sta daar ook voor open.

Tussen de regels door las ik juist dat je van ZFS aan het afstappen bent?

[HollowGamer]

CurlyMo schreef op zaterdag 30 december 2017 @ 12:23:
[...]

Wel op een moment dat je al allerlei dingen onhandig hebt aangepakt. Geen aanvankelijke zpool export gedraaid, niet je mirror gesplitst, importeren met parameters die niet nuttig zijn, sowieso je NAS verkopen voordat je je data hebt veiliggesteld.

Data was veilig gesteld en was niet belangrijk. Er staan vooral downloads op, geen werk of data van iemand anders.

Nee, het duurde nog 4+ posts voordat ons duidelijk werd dat er USB in het spel was, omdat je eerder maar weinig info gaf. Daarna duurde het nogmaals een tijdje voordat duidelijk werd dat het zeer waarschijnlijk aan je USB controllers ligt, omdat je de oorzaak zelf bij betekenisloze elementen legt. Zoals de zpool.cache.
Omdat ik dacht dat het eerder daar aan lag. Zoals aangeven kwam ik daarna pas achter toen ik hem direct aansloot op de PC. Toen was ik inderdaad 4 posts verder.

Het Tweakers forum is dan ook expliciet geen SD en hier worden hoge eisen gesteld aan de eigen inzet. Dat is ook de reden dat velen het prettig vertoeven vinden hier. Vakidioten onder vakidioten. Op andere fora is dat inderdaad anders. Daarnaast ben ik niet de enige die gefrustreerd is over je beperkte informatie en het is zelfs mogelijk dat mensen je om die reden überhaupt niet helpen.
Zal in vervolg meer informatie geven en ook debugdata is zeker hulpzaam.

Het verbaasd me ook hier dat je die hulp niet eerder vraagt. Ik zeg dat in dit topic vaker. Je speelt met je (belangrijke) data op een systeem dat je niet (of nauwelijks) begrijpt. Neemt vervolgens stappen waarmee je mogelijk je data verliest en gaat pas om hulp vragen als het bijna zover is. Dan vind ik het niet gek dat ik plaatsvervangend gefrustreerd ben en cynisch wordt. In noem dat vooral een hoge mate van empathie, net als mensen die plaatsvervangend zenuwachtig worden als hun kind een klimwand op gaat
Het was geen belangrijke data, het zou jammer zijn als ik mijn downloads opnieuw moest doen - maar daar had ik akkoord mee. Vandaar deze snelle switch. Als ik zakelijk/personal bezig was geweest, dan had ik het wel via een fatsoenlijke externe backup gedaan.

Het was vooral leren en meer weten over ZFS, hoewel het dus een NAS is/was, had ik er geen data op staan van levensbelang en gebruikte ik het vooral om mij verder te ontwikkelen op Linux-gebied. Helaas heb ik geen tijd en paste de NAS niet in mijn nieuwe huisje.. vandaar dat ik hem weg deed.

Ik noem hem dus NAS, maar het was eigenlijk een soort kleine server, met hier en daar wat services.

Je hebt wel gelijk trouwens, genoeg mensen die RAID-1/mirror als een backup zien.

Tussen de regels door las ik juist dat je van ZFS aan het afstappen bent?
Voorlopig wel ja, maar ik ben wel overtuigd van de vele voordelen van ZFS. Zo vind de native encryptie en datasets echt fantastisch. ZFS heeft zoveel mogelijk dingen aanboort (o.a. quota) waar ik nog niet aan toe ben gekomen. Echter voor mijn simpele nieuwe Intel NUC is het overkill, zeker omdat ik hier dus enkel wat series/Kodi op ga zetten. Data sync'en doe ik dan tussen de PC's - zoals ik dat nu al deed voor mijn documenten. Backups worden wekelijks geschreven naar de schijven over USB die ik dus hierna leeg ga halen. Mijn persoonlijke en belangrijke files staan in de cloud, big stuff sla ik op de NAS op.

Ik ben dus nog altijd groter voorstander van ZFS, maar ik heb op dit moment gewoon even geen project meer hiervoor.

Verder snap ik nu ook wel de frustraties en ben ik blij met je feedback. In vervolg geef ik meer informatie of zoek ik nog even verder voordat ik een post stuur.

[ Voor 6% gewijzigd door HollowGamer op 30-12-2017 12:49 ]