Het grote ZFS topic

[ZaPPZion]

Dwarlorf schreef op donderdag 6 juli 2017 @ 21:24:
Loop ik een groot risico zonder ECC geheugen?

Uit je vorige reactie lees ik dat je 2 schijven gaat gebruiken met ZFS, ga je een mirror of een stripe gebruiken? Stripe geeft natuurlijk een redelijk risico zonder parity schijf.

In principe krijg je voor single disk of mirror niet echt meer problemen zonder ECC. De checksums zijn nog niet zo cruciaal als bij RaidZ(2/3), als je data corrupt raakt, had het dat zonder ZFS ook gedaan. Dus qua checksums heb je een heel klein nadeel zonder ECC, maar redelijk goede checksums zijn beter dan geen checksums .

Als je RaidZ of RaidZ2 gaat draaien, zou ik zeker wel ECC aanbevelen. De checksums worden namelijk veel belangrijker, zeker bij resilverings. Niet een heeel groot risico, maar zeker wel een risico dat makkelijk te reduceren is. ECC is wel iets duurder, maar zeker bij een groter systeem (meer schijven) is dat zeker het geld waard.

[dcm360]

Vanmiddag had ik een een Eureka-momentje, en besloot ik na te gaan of TRIM wel aan stond op 2 van mijn schijven, om er achter te komen dat ZFS enkel aan TRIM doet op BSD (en ProxMox is niet bepaald gebouwd op BSD). Één van de schijven is hierdoor nu afgeschreven (zit op 98% van zn writes) en het levert rare performance-problemen op. Wat is nu een handige strategie verder? Enkel de afgeschreven schijf vervangen lost het namelijk niet helemaal op...

[Dwarlorf]

ZaPPZion schreef op donderdag 6 juli 2017 @ 21:44:
[...]

Uit je vorige reactie lees ik dat je 2 schijven gaat gebruiken met ZFS, ga je een mirror of een stripe gebruiken? Stripe geeft natuurlijk een redelijk risico zonder parity schijf.

In principe krijg je voor single disk of mirror niet echt meer problemen zonder ECC. De checksums zijn nog niet zo cruciaal als bij RaidZ(2/3), als je data corrupt raakt, had het dat zonder ZFS ook gedaan. Dus qua checksums heb je een heel klein nadeel zonder ECC, maar redelijk goede checksums zijn beter dan geen checksums .

Als je RaidZ of RaidZ2 gaat draaien, zou ik zeker wel ECC aanbevelen. De checksums worden namelijk veel belangrijker, zeker bij resilverings. Niet een heeel groot risico, maar zeker wel een risico dat makkelijk te reduceren is. ECC is wel iets duurder, maar zeker bij een groter systeem (meer schijven) is dat zeker het geld waard.

Ik ging uit van mirroring. Hele hoge snelheden heb ik niet nodig. Het gaat eigenlijk voornamelijk om documenten en muziekbestanden dat heeft niet hele hoge snelheden nodig.

Het was tevens mijn bedoeling om ook een externe schijf offsite te te plaatsen die ik eens in de zoveel tijd update. Maar nu ik dit zo schrijf realsieer ik me dat ik nog niet heb onderzocht of dit dan uberhaupt kan. Ging er eigenlijk van uit dat dit gewoon mogelijk was.

Compizfox schreef op donderdag 6 juli 2017 @ 21:39:
[...]

Die vraag is ietswat controversieel in de ZFS-community, maar ik ben van mening dat het geen kwaad kan voor thuisgebruik.

Het is welliswaar zo dat je RAM dan je zwakste factor is, maar een ZFS-based NAS zonder ECC is nog altijd vele malen beter dan een non-ZFS-based NAS.

Zie ook:
http://jrs-s.net/2015/02/...n-ecc-ram-kill-your-data/
ECC geheugen voor zelfbouw ZFS NAS?
[...]

Als je nu een bord zonder ECC-RAM hebt past daar niet zomaar ECC RAM in.

Hmm nu je het zo zegt. Bij de specs staat 'Support for non-ECC memory modules'. Ik interpreteerde dat als dat er óók non ECC in kan maar het lijkt er op dat ik me daarin vergist heb.

Bedankt voor jullie hulp zover. Ik ben weer wat wijzer.

[ Voor 5% gewijzigd door Dwarlorf op 06-07-2017 23:53 ]

[ZaPPZion]

Dwarlorf schreef op donderdag 6 juli 2017 @ 23:50:
Het was tevens mijn bedoeling om ook een externe schijf offsite te te plaatsen die ik eens in de zoveel tijd update. Maar nu ik dit zo schrijf realsieer ik me dat ik nog niet heb onderzocht of dit dan uberhaupt kan. Ging er eigenlijk van uit dat dit gewoon mogelijk was.

Ja hoor, dat kan gewoon, je kunt verschillende manieren gebruiken, je kunt de externe schijf ook als ZFS formatteren en met snapshots werken die je dan met zfs send / recv over stuurt (incremental backup), of je formatteerd de schijf gewoon als ntfs/fat/ext/etc... en maakt dan een backup via je eigen pc via de shared folders.

[CurlyMo]

InflatableMouse schreef op zondag 2 juli 2017 @ 12:49:
Als ik een zfs send ene/pool | zfs receive andere/pool doe, en ergens halverwege druk ik per ongeluk op ctrl-c.

Als ik em dan opnieuw start, gaat tie door waar tie gebleven is? Is dit intelligent genoeg dat tie niet opnieuw begint?

Hij begint helemaal opnieuw. Herstartbare zfs send/recv zit er wel aan te komen. Wat betreft je vraag over het zien van progressie. Daar kan je pipe viewer voor gebruiken. Eventueel in een screen sessie.

code:

zfs send ... | pv | zfs receive ...

[InflatableMouse]

CurlyMo schreef op vrijdag 7 juli 2017 @ 20:26:
[...]

Hij begint helemaal opnieuw. Herstartbare zfs send/recv zit er wel aan te komen. Wat betreft je vraag over het zien van progressie. Daar kan je pipe viewer voor gebruiken. Eventueel in een screen sessie.

code:

zfs send ... | pv | zfs receive ...

Thanks, ik zit al op 0.7.0 waarmee dit mogelijk is.

pv ken ik, maar is het niet zo dat dat alleen een juiste progress laat zien als je de totale grootte kan opgeven? Dat kan lastig worden als je compressie gebruikt op je volume.

[CurlyMo]

InflatableMouse schreef op vrijdag 7 juli 2017 @ 21:46:
[...]


Thanks, ik zit al op 0.7.0 waarmee dit mogelijk is.

Goed dat je het zegt, het blijkt namelijk ook al in FreeBSD te zitten zonder dat ik het wist

pv ken ik, maar is het niet zo dat dat alleen een juiste progress laat zien als je de totale grootte kan opgeven? Dat kan lastig worden als je compressie gebruikt op je volume.

Als je de est. wil dan wel, ik gebruik het vooral schattingen en doorvoersnelheid.

[ Voor 11% gewijzigd door CurlyMo op 07-07-2017 23:17 ]

[ZaPPZion]

InflatableMouse schreef op vrijdag 7 juli 2017 @ 21:46:
pv ken ik, maar is het niet zo dat dat alleen een juiste progress laat zien als je de totale grootte kan opgeven? Dat kan lastig worden als je compressie gebruikt op je volume.

Je kunt de grootte opvragen door -nv als opties mee te geven, -n is dry-run, dus alleen doen 'alsof' en -v is verbose natuurlijk . werkt ook met -i (incremental zfs send met alleen de verschillen tussen snapshots).

[Kortfragje]

Ik heb recent een kapotte disk vervangen. Nu geloof ik dat ik zpool replace niet als root heb gestart. Hierom is er geen partitie structuur aangemaakt maar de hele disk gebruikt:

code:

...
sdd                        8:48   0   1.8T  0 disk  
|-sdd1                     8:49   0   1.8T  0 part  
|-sdd9                     8:57   0     8M  0 part  
sde                        8:64   0   1.8T  0 disk  
sdf                        8:80   0   1.8T  0 disk  
|-sdf1                     8:81   0   1.8T  0 part  
|-sdf9                     8:89   0     8M  0 part  
...

(overigens is de pool wel by id geimporteerd)

Is dit iets wat ik nog kan repareren of moet ik de betreffende disk eenvoudigweg nogmaals replacen?

[ Voor 4% gewijzigd door Kortfragje op 19-07-2017 16:46 ]

[CurlyMo]

Dat laatste.

[Kortfragje]

vreesde ik reeds ...

Overigens, kan ik hem met zichzelf replacen?

Hmm, vlgs https://forums.freenas.or...-drive-with-itself.11298/

Kan het

For testing you have always need to do:
- offline
- wipe
- replace
- resilver

There is no way around it. You need to "trick" zfs that your drive is a new drive.

[ Voor 118% gewijzigd door Kortfragje op 19-07-2017 18:34 ]

[Kortfragje]

ZFS on Linux 0.7.0 released!
https://github.com/zfsonlinux/zfs/releases/tag/zfs-0.7.0

### New Features
* Resumable zfs send/receive - Allow an interrupted zfs receive to be
resumed if the stream was prematurely terminated (e.g. due to remote
system or network failure).

* Compressed zfs send/receive - Use the zfs send -c option to directly
send the compressed data in the ARC or on-disk to another pool without
needing to decompress it.

* Multiple Import Protection - Prevents a shared pool in a fail-over
configuration from being imported on different hosts at the same time.
When the multihost pool property is on, perform an activity check
prior to importing the pool to verify it is not in use.

* Customized zpool iostat|status columns - Additional columns can be
added to the zpool iostat and zpool status output to show more
information. Several useful scripts are provided which can report
drive temperature, SMART data, enclosure LED status, and more.
Administrators and users can add additional scripts to meet their
needs.

* Latency and request size histograms - Use the zpool iostat -l option
to show on-the-fly latency stats and zpool iostat -w to generate a
histogram showing the total latency of each IO. The zpool iostat -r
option can be used to show the size of each IO. These statistics are
available per-disk to aid in finding misbehaving devices.

* Scrub Pause - The zpool scrub -p option can be used to pause/resume an
active scrub without having to cancel it.

* Delegations - The zfs allow and zfs unallow subcommands can be used to
delegate ZFS administrative permissions for the file systems to
non-privileged users.

* Large dnodes - This feature improves metadata performance allowing
extended attributes, ACLs, and symbolic links with long target names
to be stored in the dnode. This benefits workloads such as SELinux,
distributed filesystems like Lustre and Ceph, and any application
which makes use of extended attributes.

* User/group object accounting and quota - This feature adds per-object
user/group accounting and quota limits to the existing space
accounting and quota functionality. The zfs userspace and zfs
groupspace subcommands have been extended to set quota limits and
report on object usage.

* Cryptographic checksums - Stronger SHA-512, Skein, or Edon-R checksums
are available.

* JBOD Management
* Automatic drive online - Newly detected devices which are determined
to be part of an imported pool are automatically brought online.
* Automatic drive replacement - When the autoreplace pool property is
on, any new device found in the same physical location as a device
that previously belonged to the pool, is automatically formatted and
replaced.
* Automatic hot spares - When a device is faulted start a rebuild to a
hot-spare device if available.
* Fault LEDs - Set the fault LED for a device when it's faulted, clear
it when it has been replaced.
* Drive health monitoring - Automatically fault a device when an
excessive number of read, write, or checksum errors are detected.
* Force fault - Use zpool offline -f to proactively fault a
problematic device.
* Multipath - Can be used with advanced multipath configurations.

And further performance and bug fixes..

[Xudonax]

Terug van lang weggeweest Nadat mijn vorige ZFS NAS het loodje legde vanwege blikseminslag via de netwerkpoort heb ik die set met schijven getest en aangesloten. Helaas is de cachedrive daarvan al eerder "opgeoffert", dus die mis ik nu. Hierdoor klaagt ZFS On Linux (op CentOS 7, versie 0.6.5.11 volgens de package manager) dat de pool niet te importeren is. De melding:

code:

# zpool import
   pool: tank
     id: 2638151801150809428
  state: UNAVAIL
 status: One or more devices are missing from the system.
 action: The pool cannot be imported. Attach the missing
    devices and try again.
   see: http://zfsonlinux.org/msg/ZFS-8000-6X
 config:

    tank                                               UNAVAIL  missing device
      raidz2-0                                         ONLINE
        ata-HGST_HTS541010A9E680_JA100CC013R21M-part1  ONLINE
        ata-HGST_HTS541010A9E680_JB100013J3ST5B        ONLINE
        ata-HGST_HTS541010A9E680_JB100013J3TXGB        ONLINE
        ata-HGST_HTS541010A9E680_JB40001MGG3MJC        ONLINE
        ata-HGST_HTS541010A9E680_JB100013J4HGNB        ONLINE
        ata-HGST_HTS541010A9E680_JB100013J4J15B        ONLINE
    cache
      ata-SanDisk_SDSSDRC032G_131172400266-part3

    Additional devices are known to be part of this pool, though their
    exact configuration cannot be determined.

Als ik een zdb -e tank doe krijg ik een gigantische berg output, welke begint met dit, dus an sich lijkt het me dat het geheel gewoon importeerbaar zou moeten zijn. Wat doe ik fout?

EDIT: Nevermind, net na het posten kwam ik het commando zpool import -m <POOLNAME> tegen welke het geheel wel importeert. Dat laat ook zien dat ik zowel een SLOG als CACHE device mis, dus die ga ik er nog even vanaf halen en dan moet alles het weer doen \o/

[ Voor 52% gewijzigd door Xudonax op 27-07-2017 14:11 ]

[BCC]

Is er ook iemand die ZFS onder osx draait? Ik heb een stapel disks die in een oude server gebruikt worden als ZFS snapshot backup target. Nou heb ik het plan om ze te verplaatsen naar een Mac, maar ik vraag me af of ik ze dan nog kan benaderen.

[ZaPPZion]

BCC schreef op maandag 31 juli 2017 @ 13:20:
maar ik vraag me af of ik ze dan nog kan benaderen.

Als je OpenZFS geinstalleerd heb en hopelijk heeft de OpenZFS dezelfde of een hogere versie ZFS dan je origineel, dan zou het moeten lukken . Maar het kan zijn dat de server waar de schijven nu in zitten een hogere versie ZFS draait, waardoor ze niet helemaal lekker werken onder oudere versies. Geen idee hoe ver OpenZFS op OSX is op dit moment.

[Mafketel]

Ik zit met een probleempje.

net een mirror "hersteld" van de 3tb gaan snel stuk seagate schijven met 4tb seagate schijven (3tb achtergrond op backblaze blog te vinden)

Ondanks alle foute sectoren uiteindelijk maar 45 files met een foute checksum dus gezien het feit dat de laatste schijf het opgaf nadat de laatste bitjes er vanaf waren gehaald ben ik erg blij.

Maar nu heb ik nog een issue met de zpool.

de boot mirror werkt gewoon correct,
de data mirror krijg ik een inode maar niet verwijderd, als ik kan hem verwijderen maar na de volgende scrub is ie weer terug.
De file is waarschijnlijk een index file voor dovecot mail directory, ik heb dovecot al gestopt om het bestand vrij te geven.
Helaas zit er op de oude zfsguru install geen pfile dus kan ik niet nagaan welk programma deze inode blokkeert.
linkje daarover http://unixetc.co.uk/2012...rsists-in-unlinked-files/

en na sommige herstarts wordt de tweede schijf niet goed meer herkent ofzo en besluit zfs om de tweede schijf opnieuw te verzilveren.

Ik ben nu aan het wachten tot de resilvering klaar is, maar ik weet niet helemaal wat ik moet doen om dit weer 100% te krijgen.

zpool status -v data
huidige

code:

  pool: data
 state: ONLINE
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Tue Aug  1 12:33:35 2017
        265G scanned out of 1.72T at 75.9M/s, 5h35m to go
        265G resilvered, 15.08% done
config:

        NAME                       STATE     READ WRITE CKSUM
        data                 ONLINE       0     0     0
          mirror-0                 ONLINE       0     0     0
            gpt/4tb-ZDH1GY86-data  ONLINE       0     0     0
            gpt/4tb-ZDH1H2W0-data  ONLINE       0     0     0  (resilvering)

errors: Permanent errors have been detected in the following files:

        data/.server/home:<0x13a986>

voor de herstart een paar uur geleden

code:

  pool: data
 state: ONLINE
  scan: scrub canceled on Tue Aug  1 10:11:20 2017
config:

        NAME                       STATE     READ WRITE CKSUM
        data                 ONLINE       0     0     0
          mirror-0                 ONLINE       0     0     0
            gpt/4tb-ZDH1GY86-data  ONLINE       0     0     0
            gpt/4tb-ZDH1H2W0-data  ONLINE       0     0     0

errors: No known data errors

zdb -c
duurt wat lang zet ik er later wel bij.....

code:

Traversing all blocks to verify metadata checksums and verify nothing leaked ...

zdb -C

code:

MOS Configuration:
        version: 28
        name: 'data'
        state: 0
        txg: 26181548
        pool_guid: 4592582827171601265
        hostid: 1244434662
        hostname: 'box.lan'
        vdev_children: 1
        vdev_tree:
            type: 'root'
            id: 0
            guid: 4592582827171601265
            children[0]:
                type: 'mirror'
                id: 0
                guid: 9506914762296484969
                whole_disk: 0
                metaslab_array: 30
                metaslab_shift: 34
                ashift: 12
                asize: 2979112157184
                is_log: 0
                create_txg: 4
                children[0]:
                    type: 'disk'
                    id: 0
                    guid: 10913259202635539234
                    path: '/dev/gpt/4tb-ZDH1GY86-data'
                    phys_path: '/dev/gpt/4tb-ZDH1GY86-data'
                    whole_disk: 1
                    DTL: 65537
                    create_txg: 4
                children[1]:
                    type: 'disk'
                    id: 1
                    guid: 11208804914517213743
                    path: '/dev/gpt/4tb-ZDH1H2W0-data'
                    phys_path: '/dev/gpt/4tb-ZDH1H2W0-data'
                    whole_disk: 1
                    DTL: 69633
                    create_txg: 4

zdb -h
duurt ook lang, gaat terug tot 2013

code:

...
2016-12-25.13:26:55 [internal pool scrub txg:22841212] func=2 mintxg=818417 maxtxg=22840866
2016-12-25.13:27:12 zpool online data /raid0-data/data.img
2016-12-26.11:03:50 [internal pool scrub done txg:22851333] complete=1
2017-04-26.17:20:44 [internal pool scrub txg:24909934] func=2 mintxg=23567652 maxtxg=24909651
2017-04-26.17:21:33 zpool online data /raid0-data/data.img
2017-04-26.19:03:13 [internal pool scrub done txg:24910121] complete=1
2017-07-06.11:00:13 zpool import -d /dev -f 4592582827171601265
2017-07-06.11:10:59 zfs snapshot data@2017-07-06-datarescue
2017-07-06.11:16:22 zfs snapshot -r data@july-2017-rescue
2017-07-06.11:21:35 zfs destroy data@2017-07-06-datarescue
2017-07-06.12:09:32 zpool import -d /dev -f 4592582827171601265
2017-07-29.14:22:26 zpool export data
2017-07-29.16:16:21 [internal pool import txg:26143029] pool spa 28; zfs spa 28; zpl 5; uts box.lan 9.1-RELEASE 901000 amd64
2017-07-29.16:16:27 zpool import data
2017-07-30.00:22:17 zpool import -f data
2017-07-30.00:40:55 zpool replace -f data 3924681393950730070 gpt/4tb-ZDH1H2W0-data
2017-07-30.08:53:28 [internal pool import txg:26150224] pool spa 28; zfs spa 28; zpl 5; uts box.lan 9.1-RELEASE 901000 amd64
2017-07-30.08:53:34 zpool import -f data
2017-07-30.08:53:34 [internal pool scrub txg:26150226] func=2 mintxg=3 maxtxg=26143852
2017-07-30.17:01:56 [internal pool scrub done txg:26154377] complete=1
2017-07-30.17:44:59 zpool clear data
2017-07-30.17:45:00 [internal pool scrub txg:26154897] func=1 mintxg=3 maxtxg=26143852
2017-07-30.17:45:10 zpool scrub data
2017-07-31.01:26:28 [internal pool scrub done txg:26158863] complete=1
2017-07-31.08:03:25 [internal vdev detach txg:26163629] vdev=/raid0-data/data.img
2017-07-31.08:03:25 zpool detach data 3924681393950730070
2017-07-31.08:04:21 [internal pool scrub txg:26163643] func=1 mintxg=3 maxtxg=26143852
2017-07-31.08:04:28 zpool scrub data
2017-07-31.08:24:11 [internal destroy txg:26163834] dataset = 65662
2017-07-31.08:24:11 [internal destroy txg:26163834] dataset = 65668
2017-07-31.08:24:11 [internal destroy txg:26163834] dataset = 65722
2017-07-31.08:24:11 [internal destroy txg:26163834] dataset = 65818
2017-07-31.08:24:11 [internal destroy txg:26163834] dataset = 65822
2017-07-31.08:24:11 [internal destroy txg:26163834] dataset = 65826
2017-07-31.08:24:11 [internal destroy txg:26163834] dataset = 65839
2017-07-31.08:24:11 [internal destroy txg:26163834] dataset = 65857
2017-07-31.08:24:11 [internal destroy txg:26163834] dataset = 65909
2017-07-31.08:24:11 [internal destroy txg:26163834] dataset = 65923
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66012
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66111
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66215
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66221
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66226
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66231
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66236
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66324
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66354
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66380
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66384
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66406
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66410
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66414
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66418
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66422
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66426
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66476
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66498
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66502
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66544
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66549
2017-07-31.08:24:12 [internal destroy txg:26163834] dataset = 66553
2017-07-31.08:24:21 zfs destroy -r data@july-2017-rescue
2017-07-31.08:42:32 [internal pool scrub done txg:26164008] complete=0
2017-07-31.08:42:37 zpool scrub -s data
2017-07-31.08:43:04 [internal pool scrub txg:26164015] func=1 mintxg=3 maxtxg=26143852
2017-07-31.08:43:12 zpool scrub data
2017-07-31.08:43:18 [internal pool scrub done txg:26164018] complete=0
2017-07-31.08:43:23 zpool scrub -s data
2017-07-31.08:44:42 zpool clear data
2017-07-31.08:44:50 [internal pool scrub txg:26164041] func=1 mintxg=3 maxtxg=26143852
2017-07-31.08:44:59 zpool scrub data
2017-07-31.15:29:42 [internal pool scrub done txg:26167866] complete=1
2017-07-31.22:36:14 [internal pool scrub txg:26172985] func=1 mintxg=3 maxtxg=26143852
2017-07-31.22:36:22 zpool scrub data
2017-08-01.05:42:31 [internal pool scrub done txg:26176976] complete=1
2017-08-01.10:11:12 [internal pool scrub txg:26180201] func=1 mintxg=3 maxtxg=26143852
2017-08-01.10:11:20 zpool scrub data
2017-08-01.10:11:20 [internal pool scrub done txg:26180203] complete=0
2017-08-01.10:11:25 zpool scrub -s data
2017-08-01.10:11:40 zpool clear data
2017-08-01.10:12:14 [internal pool scrub txg:26180214] func=1 mintxg=3 maxtxg=26143852
2017-08-01.10:12:23 zpool scrub data
2017-08-01.12:33:35 [internal pool scrub done txg:26181548] complete=0
2017-08-01.12:33:35 [internal pool scrub txg:26181548] func=2 mintxg=3 maxtxg=26143852

de oplettende lezer zal zich afvragen waar de tweede replace commando is .... die is er niet het is een kopie van gddrescue kloon van de bijna overleden schijf.

ik zet er de output van het laatste commando er nog even bij.

Als iemand alvast een ideetje heeft om dit op te lossen graag

ps als dit klaar is zou ik trouwens ook nog graag de extra terrabyte beschikbaar maken voor de zpool data. De partitie is al vergroot, maar nog niet door zfs opgemerkt.

[ Voor 3% gewijzigd door Mafketel op 01-08-2017 15:07 . Reden: kleine edit ]

[vanaalten]

TL/DR:
- backups zijn zinnig
- aannames zijn stom

Of, het lange verhaal:
Een hele tijd geleden heb ik een NAS gebouwt met (Debian) Linux er op. En besloten om er een 2-disk mirror met ZFS van te maken. Een beetje gedoe, gepruts, ging niet heel soepel maar uiteindelijk werkend gekregen.

Maar, eigenwijs als ik ben: ik was niet gelukkig met het gedoe van niet-Debian, externe, repositories gebruiken. Wilde liever 'zuiver' hebben. Dus besloot ik een tijd geleden om het om te gooien naar een BTRFS mirror. En dat ging eigenlijk heel makkelijk:
1) ZFS was met 1 commando van 2-disk mirror naar single disk om te zetten,
2) de vrijgekomen harde schijf als BTRFS ingesteld,
3) alle data van de ZFS-pool naar BTRFS-pool kopieeren,
4) ZFS pool opheffen, schijf toevoegen als mirror aan BTRFS.

Vlekkeloos, probleemloos, geen extra externe repositories, victory!

Nu heeft Debian een release-update gehad, zit ZFS in de gewone ('contrib') repository, dus besloot ik de boel weer terug te zetten naar ZFS mirror. Dat zou, dacht ik, net zo makkelijk moeten gaan.

Je googled wat en komt op dit commando:

code:

btrfs balance start -dconvert=single /datapool

...want dat zou volgens een forumpost de boel naar een single disk moeten omzetten. Nou goed, 20 uur later was 'ie klaar. Maar ja, het was volgens de filesystem-info nog steeds een 2-disk systeem - ik moest er nog eentje vrijmaken. Meer googlen dus.

code:

btrfs device delete /dev/sdb1 /datapool/

dus doen?
Nee: een 2-disk mirror kan je niet nog een disk afhalen.
Uiteindelijk lijkt dit te werken:

code:

mount -t btrfs -o degraded,ro,recovery /dev/sdc1 /datapool/

Even snel testen: alle bestanden lijken nog aanwezig te zijn. Even een 'cat' van een klein 30-byte textfile geeft de juiste inhoud. Yes, victory!

Dus op de vrijgekomen disk volgens de talloze handleidingen een ZFS pool opgezet. Simpel. Vervolgens een recursieve copy:

code:

cp -r --preserve=all /datapool/video/movies .

...waarna 'cp' bij elke videofile terugkomt met 'error reading file ....' ofzo. En de file blijkt ook corrupt, niet afspeelbaar, in VLC. Poep.

Gelukkig had ik m'n desktop PC zo ingericht dat 'ie elke week bij het aanschakelen een sync deed van m'n NAS data naar een lokale harddisk. Weliswaar NTFS, maar beter dan niets. Plus dat ik naast elke videofile ook een md5-checksumfile had.

Dus toen werd het simpel: dan maar vanaf backup naar de ZFS pool kopieeren. Vervolgens die corrupte BTRFS disk leeggemaakt en toegevoegd aan de ZFS pool als mirror. Rondje resilveren en:

code:

root@nas:/datapool/video# zpool status
  pool: datapool
 state: ONLINE
  scan: resilvered 3.31T in 7h39m with 0 errors on Mon Jul 31 15:39:55 2017
config:

        NAME        STATE     READ WRITE CKSUM
        datapool    ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            sdb     ONLINE       0     0     0
            sdc     ONLINE       0     0     0

errors: No known data errors

Ofwel: aannemen dat een BTRFS mirror met 1 disk nog goed werkt is onverstandig. Ik weet nog steeds niet waar het is misgegaan: had ik die 'balance' niet moeten doen? Of was de mirror om te beginnen al corrupt en was het sowieso al een linke situatie?

Het toont in elk geval wel aan hoe nuttig backups zijn.

Anyway, na bovenstaande verhaal mag ik mij hier weer vertonen en lid van de ZFS community noemen.

To-do lijst:
Alle videobestanden checken of ze matchen met de originele MD5 checksum;
Even een disk loshalen en kijken of de pool nog leesbaar is.

[CurlyMo]

vanaalten schreef op dinsdag 1 augustus 2017 @ 20:57:
Maar, eigenwijs als ik ben: ik was niet gelukkig met het gedoe van niet-Debian, externe, repositories gebruiken. Wilde liever 'zuiver' hebben.

Waarom dan geen FreeBSD?

[vanaalten]

CurlyMo schreef op dinsdag 1 augustus 2017 @ 21:07:
[...]

Waarom dan geen FreeBSD?

Geen zin om (te)veel verschillende systemen in huis te hebben. Server draait Debian, m'n mediaplayer draait Debian, NAS dus ook. Is handig, dan weet je op elk systeem de weg. Anders moet ik mij gaan verdiepen in hoe dingen in FreeBSD opstarten, waar ze de logfiles plaatsen, welke aparte eigenschappen ze hebben...

Ongetwijfeld dat het allemaal erg herkenbaar is - maar ongetwijfeld dat er ook veel subtiele verschillen zijn. En wellicht dat ZFS onder Linux niet zo goed/zuiver/volwassen is als onder FreeBSD, maar ik doe geen moeilijke dingen. Geen complete raid-van-mirrors, geen boot-van-ZFS... gewoon een simpele mirror van twee complete disks met een SSD als boot/systeemdisk. Dus daarom.

[Compizfox]

vanaalten schreef op dinsdag 1 augustus 2017 @ 22:16:
[...]
Geen zin om (te)veel verschillende systemen in huis te hebben. Server draait Debian, m'n mediaplayer draait Debian, NAS dus ook. Is handig, dan weet je op elk systeem de weg. Anders moet ik mij gaan verdiepen in hoe dingen in FreeBSD opstarten, waar ze de logfiles plaatsen, welke aparte eigenschappen ze hebben...

Zo leer je nog eens wat

Je hoeft niet alles hetzelfde te hebben, toch?

Ik heb een router-VM (pfSense), een fileserver-VM (FreeBSD), en een VM een web/mailserver en de rest (Debian). Mijn laptop draait dan weer Arch.

[Mafketel]

waarom niet gewoon een disk fysiek uit de btrfs mirror trekken..... daar is het toch voor bedoeld? formateren naar zfs, kopieren etc. nog steeds "gevaarlijk" maar...

[vanaalten]

Mafketel schreef op woensdag 2 augustus 2017 @ 07:02:
waarom niet gewoon een disk fysiek uit de btrfs mirror trekken..... daar is het toch voor bedoeld? formateren naar zfs, kopieren etc. nog steeds "gevaarlijk" maar...

Dat had misschien ook gekunt, maar praktisch iets lastiger (NAS staat wat ingebouwd en het is net wat te warm in huis om in kleine krappe hoeken te prutsen). En ik twijfel ook of dat dan wel goed gegaan was: dan komt de disk terug als niet-BTRFS schijf, maar nog steeds als /dev/sdb - waarna het BTRFS systeem nog steeds zal proberen die disk met /dev/sdc samen te mounten en wellicht ZFS gaat hinderen.

Daarbij, de vorige keer (overstap ZFS -> BTRFS) ging zo soepel dat het mij logisch leek om dezelfde procedure de andere kant op te doen. Zou toch gewoon moeten kunnen, compleet zonder de hardware aan te raken de boel overzetten. En het zal ook wel kunnen - waarschijnlijker dat ik niet de juiste dingen deed, dan dat BTRFS niet met een degraded mirror kan werken.

[A1AD]

Compizfox schreef op dinsdag 1 augustus 2017 @ 23:14:
[...]

Zo leer je nog eens wat

Je hoeft niet alles hetzelfde te hebben, toch?

Ik heb een router-VM (pfSense), een fileserver-VM (FreeBSD), en een VM een web/mailserver en de rest (Debian). Mijn laptop draait dan weer Arch.

Dat past toch ook niet in mijn hoofd, buiten pfsense heb ik alles op debian

[CH4OS]

Door wat problemen met mijn server (en mijn RAID-controller om de een of andere reden de array's niet meer ziet en ik dus (waarschijnlijk) toch de data kwijt ben en met een schone lei begin, wil en kan ik (eindelijk) overstappen op ZFS.

Na een tip van @Compizfox en wat probeerwerk, heb ik gezien dat ik tegenwoordig gewoon passthrough heb. Ik wil dan graag mijn HP SmartArray P420 controller (nadat ik hem in HBA modus heb gezet) doorgeven aan een nieuw te maken VM, die dienst gaat doen als fileserver (iemand een leuke naam ervoor? ).

Ik heb momenteel echter 4x 2TB schijven, 3x 4TB schijven (had er 4, maar een DOA, dus dat worden uiteindelijk 4x 4TB schijven).

Kan ik dan met de 4x 2TB disks (alle disks zijn overigens WD Reds) alvast een pool maken en later binnen diezelfde pool de 4x 4TB (ook WD reds) toevoegen? Ik wil dan de disks toevoegen als RAIDZ1 (een RAIDZ1 als 4x 2TB en een RAIDZ1 als 4x 4TB).

[ Voor 19% gewijzigd door CH4OS op 03-08-2017 01:40 ]

[CurlyMo]

CH40S schreef op donderdag 3 augustus 2017 @ 01:34:
Kan ik dan met de 4x 2TB disks (alle disks zijn overigens WD Reds) alvast een pool maken en later binnen diezelfde pool de 4x 4TB (ook WD reds) toevoegen? Ik wil dan de disks toevoegen als RAIDZ1 (een RAIDZ1 als 4x 2TB en een RAIDZ1 als 4x 4TB).

Ja, zoals je dat hier omschrijft kan dat.

[ZaPPZion]

CH40S schreef op donderdag 3 augustus 2017 @ 01:34:
Kan ik dan met de 4x 2TB disks (alle disks zijn overigens WD Reds) alvast een pool maken en later binnen diezelfde pool de 4x 4TB (ook WD reds) toevoegen? Ik wil dan de disks toevoegen als RAIDZ1 (een RAIDZ1 als 4x 2TB en een RAIDZ1 als 4x 4TB).

Ja, je krijgt dan dus 2 RaidZ1 vdevs die samen worden gestriped (raid0). Dit kan prima met 2 verschillende sizes. Echter, je moet wel bedenken dat de 2 vdevs niet evenveel belast worden.

VDEV1 = RaidZ1 4x2TB = 6TB
VDEV2 = RaidZ1 4x4TB = 12TB

Als er (in jouw geval) 3 blocks geschreven moeten worden, zal VDEV1 2 blocks schrijven en VDEV2 1 block. Dit is een gemiddelde trouwens, het wordt niet gegarandeerd dat het elke write operation zo gaat. Maar goed, dat staat even los van jouw vraag.

De 4TB schijven zullen dus qua snelheid en data meer belast worden dan de 2TB schijven, omdat je een asymetrische stripe hebt. Niets mis mee in principe, behalve dat je snelheid dus niet 2x zo hoog ligt, omdat VDEV1 niet volop benut wordt, aangezien VDEV2 2 keer zoveel data moet schrijven. Als die schijven dan weer 2 keer zo snel zijn, is het natuurlijk geen probleem .

Praktisch gezien zul je er waarschijnlijk weinig last van hebben, tenzij je heel intensief data gebruikt (4K video editing of zo).

EDIT: nog 1 dingetje: alle data die je dan al geschreven hebt naar VDEV1, wordt niet automatisch gestriped naar VDEV2 op het moment dat je die aanmaakt.

EDIT2: oeps typo! @Paul

[ Voor 5% gewijzigd door ZaPPZion op 03-08-2017 11:23 ]

[CH4OS]

ZaPPZion schreef op donderdag 3 augustus 2017 @ 10:14:
Ja, je krijgt dan dus 2 RaidZ1 vdevs die samen worden gestriped (raid0). Dit kan prima met 2 verschillende sizes. Echter, je moet wel bedenken dat de 2 vdevs niet evenveel belast worden.

VDEV1 = RaidZ1 4x2TB = 6TB
VDEV2 = RaidZ2 4x4TB = 12TB

Als er (in jouw geval) 3 blocks geschreven moeten worden, zal VDEV1 2 blocks schrijven en VDEV2 1 block. Dit is een gemiddelde trouwens, het wordt niet gegarandeerd dat het elke write operation zo gaat. Maar goed, dat staat even los van jouw vraag.

De 4TB schijven zullen dus qua snelheid en data meer belast worden dan de 2TB schijven, omdat je een asymetrische stripe hebt. Niets mis mee in principe, behalve dat je snelheid dus niet 2x zo hoog ligt, omdat VDEV1 niet volop benut wordt, aangezien VDEV2 2 keer zoveel data moet schrijven. Als die schijven dan weer 2 keer zo snel zijn, is het natuurlijk geen probleem .

Praktisch gezien zul je er waarschijnlijk weinig last van hebben, tenzij je heel intensief data gebruikt (4K video editing of zo).

EDIT: nog 1 dingetje: alle data die je dan al geschreven hebt naar VDEV1, wordt niet automatisch gestriped naar VDEV2 op het moment dat je die aanmaakt.

Hmmm, wat is dan het handigste om te doen performance-wise? Twee aparte pools met daarin 1 raidz1 vdev of zo?

[CurlyMo]

CH40S schreef op donderdag 3 augustus 2017 @ 10:45:
[...]
Hmmm, wat is dan het handigste om te doen performance-wise? Twee aparte pools met daarin 1 raidz1 vdev of zo?

Eerst vaststellen of performance een reëel probleem gaat zijn. Dat is het in 99% van de gevallen namelijk niet.

[CH4OS]

An sich is performance voor mij geen probleem inderdaad, maar wil wel wanneer ik het ga instellen / aanmaken het wel zo goed mogelijk doen.

[CurlyMo]

CH40S schreef op donderdag 3 augustus 2017 @ 10:48:
An sich is performance voor mij geen probleem inderdaad, maar wil wel wanneer ik het ga instellen / aanmaken het wel zo goed mogelijk doen.

Persoonlijk zou ik niet direct een RAIDZ1 maken, maar eerder 2x RAIDZ2 of naar mirrors. Die 4 schijven kan je in een degraded RAIDZ2 zetten en dan later die 4de toevoegen. Een degraded RAIDZ2 is in de praktijk hetzelfde als een RAIDZ1.

http://jrs-s.net/2015/02/...e-mirror-vdevs-not-raidz/

[ Voor 7% gewijzigd door CurlyMo op 03-08-2017 11:00 ]

[ZaPPZion]

CH40S schreef op donderdag 3 augustus 2017 @ 10:45:
[...]
Hmmm, wat is dan het handigste om te doen performance-wise? Twee aparte pools met daarin 1 raidz1 vdev of zo?

Voor de performance is 2 aparte pools waarschijnlijk langzamer dan de stripe. De stripe is alleen qua performance niet optimaal als een synchrone stripe. Gewoon zo laten dus.

Dan kun je later altijd je 2TB schijven gaan vervangen door 4TB schijven. (dan moet je daarna wel even je data 1 keer verplaatsen (lees copy+delete oude) als je daar ruimte voor hebt, zodat het opnieuw gestriped wordt).

[Paul]

Een punt van overweging, je kunt geen VDEV's uit een pool verwijderen. Als je 2 VDEVS in 1 pool zet en je die 2 TB schijven wil uitfaseren omdat ze te oud worden / teveel storingen geven dan kun je ze alleen vervangen door nieuwe (even grote of grotere) schijven, ook als er voldoende vrije ruimte is om ze (theoretisch) niet nodig te hebben.

Je kunt kijken of je die 4x 2TB kunt verkopen en er 2x 4 TB voor terug kunt kopen, dan kun je 6 schijven in RAIDZ2 zetten voor 16 TB, of 2x 3 schijven in Z1 voor een iets grotere kans op uitval maar wel 2x zo veel IOPS.

@ZaPPZion "VDEV2 = RaidZ2 4x4TB = 12TB" Dat is een degraded Z2, een Z1, of maar 8 TB

[CH4OS]

Op het moment moet ik roeien met de riemen die ik heb. De financiën laten het niet toe om nu al de 4x 2TB te vervangen, die disks zijn net een jaar oud en ik zit momenteel helaas in de ww.

Uiteindelijk heb ik dus 4x 2TB en 4x 4TB disks. De 4TB disks ga ik pas aansluiten als ik er daar weer 4 van heb, eentje was namelijk doa. Ik kan op zich al wel beginnen met zfs door de 4x 2TB te gebruiken en wil dan later de 4x 4TB toevoegen.

[ Voor 39% gewijzigd door CH4OS op 03-08-2017 11:28 ]

[ZaPPZion]

Met een beetje mazzel kun je wel 4x2TB ruilen tegen 2x4TB zonder echt bij te hoeven betalen. Op de V&A zie je 2TB schijven tussen 40-50 euro weg gaan, nieuw zijn 4TB schijven rond de 100, dus met een beetje mazzel moet je die 4 schijven voor 2 grotere kunnen inruilen. Dan heb je net zoveel ruimte, alleen minder schijven scheelt ook nog weer in stroomverbruik
@CH40S Enige wat je dus even moet bedenken als je nu al begint met de 4x2, is dat die data dus niet gestriped wordt naar de 2e vdev, dus in theorie iets langzamer is. Ik vond de oplossing van CurlyMo ook nog wel goed (kan ook met RaidZ1 volgens mij), om die 3 4TB in een degraded array te zetten. Dan wordt je data nu direct al goed gestriped. Heb je dus alleen nog even niet de security, totdat je je 4e 4TB schijf weer hebt.

[ Voor 37% gewijzigd door ZaPPZion op 03-08-2017 11:33 ]

[CH4OS]

Ik wil ook niet aan de gang blijven met kopen van schijven, om alles gelijk te hebben. De disks die ik dan wil, de WD Red's, zijn namelijk wel iets duurder dan 100 euro per stuk, waardoor ik dan alsnog moet gaan toeleggen, wat ik niet wil en financieel gezien ook niet kan. In theorie zou ik dan immers ook de 2TB's kunnen stripen, zodat ik dan ook 2x 4TB heb. Wat dat aangaat zou ik bij wijze van ook de 4TB's per paar kunnen vervangen voor 8TB's. Ik wil het dus niet al te ver gaan doordraven, dan maar wat meer stroomverbruik, al zal het niet veel zijn.

Ja, die degraded raidz2 array is op zich ook wel een idee, echter denk ik dat het effectief mij iets teveel ruimte kost. Ik snap best dat dan 2 schijven stuk kunnen gaan, maar ik denk dat dat voor mijn thuissituatie net iets teveel pariteit is.

Misschien dat het dan handiger is om toch te wachten en dan alles in 1 klap in te stellen. Al zal ik de disks per grootte waarschijnlijk toch in een raidz1 set (alle 2TB's in een Z1 en alle 4TB's in een andere Z1) zetten en die uiteindelijk in 1 pool hangen. Dus vandaar dat ik redeneerde dat het dan niet zoveel uitmaakt, of ik nu al de 4x 2TB in een zfs pool zet en de 4x 4TB later eraan toevoeg.

Wat mij betreft hoef ik ook niet per se het zekerste van het zekerste te hebben, zolang ik maar een best of both worlds heb qua storage vs redundancy, zodat ik niet gelijk alle data kwijt ben bij uitval van (tenminste) 1 disk. De data die erop komt staan is niet van dien aard of waarde dat het onmisbaar is. Er komen dan ook (bewust) geen backups van, omdat ik er geen waarde aan hecht. Mocht ik het ooit wederom kwijt raken, dan is dat jammer en kan ik vast wel de data elders weer vinden of opnieuw verkrijgen.

EDIT:
Ik bedenk me nog even een vraag; kan ik uiteindelijk niet gewoon alle disks in 1 vdev zetten en daar dan een RAIDZ2 van maken? Of ik nu 2 vdevs heb in RAIDZ1 (wat bij beiden ook 1 disk kost voor pariteit) of ik gooi alles op een hoop en maak er dan RAIDZ2 van, dan ben ik uiteindelijk immers ook twee disks kwijt voor pariteit, maar kunnen er wel twee disks stuk. Effectief hou ik dan immers evenveel ruimte over, toch?

[ Voor 61% gewijzigd door CH4OS op 03-08-2017 12:02 ]

[Dwarlorf]

Het is me (als noob) gelukt om Freenas 11 te installeren op mijn oude hardware. Nou is de volgende stap om Logitech Media server te installeren in een jail. Heeft iemand hier ervaring mee in Freenas 11?

Ik heb een poging gedaan zoals beschreven op deze pagina. Optie 1, een port. Helaas werkt dit niet, ik krijg geen gui oid te zien als ik het ipadres van LMS in de browser invul.

Dit zou zo maar aan mijn gebrekkige kennis kunnen liggen (van jails) of mogelijk aan de freenas versie.

Iemand die me (op weg) kan helpen?

[CH4OS]

Misschien niet helemaal het antwoord waar je op hoopte, maar kun je niet beter een Plex Media Server in een jail installeren? Die kan ook audio libraries. Zover ik weet is er voor FreeNAS (wat BSD gebaseerd is immers) een versie beschikbaar.

Voor FreeNAS 9.x is er in elk geval een how to om Plex Media Server in een jail te installeren:
https://forums.freenas.or...-freenas-9-10-jail.19412/

[Compizfox]

CH40S schreef op donderdag 3 augustus 2017 @ 11:41:
EDIT:
Ik bedenk me nog even een vraag; kan ik uiteindelijk niet gewoon alle disks in 1 vdev zetten en daar dan een RAIDZ2 van maken? Of ik nu 2 vdevs heb in RAIDZ1 (wat bij beiden ook 1 disk kost voor pariteit) of ik gooi alles op een hoop en maak er dan RAIDZ2 van, dan ben ik uiteindelijk immers ook twee disks kwijt voor pariteit, maar kunnen er wel twee disks stuk. Effectief hou ik dan immers evenveel ruimte over, toch?

Nee, da's niet handig. Het kan wel, maar je verliest er heel veel ruimte mee.

Binnen één RAID-Z vdev is je ruimte gelimiteerd tot de grootte van de kleinste disk. Met 4*2TB + 4*4TB in RAID-Z2 heb je effectief maar 6*2TB = 12 TB ruimte. De extra 2 TB van de 4 TB-schijven wordt op die manier niet benut.

[CH4OS]

Compizfox schreef op donderdag 3 augustus 2017 @ 12:44:
Nee, da's niet handig. Het kan wel, maar je verliest er heel veel ruimte mee.

Binnen één RAID-Z vdev is je ruimte gelimiteerd tot de grootte van de kleinste disk. Met 4*2TB + 4*4TB in RAID-Z2 heb je effectief maar 6*2TB = 12 TB ruimte. De extra 2 TB van de 4 TB-schijven wordt op die manier niet benut.

Ah oke. Dan kan ik dus beter per grootte een vdev maken van een RAIDZ1 dus. Dan kan ik later de tweede RAIDZ1 daaraan toevoegen.

[ Voor 5% gewijzigd door CH4OS op 03-08-2017 12:48 ]

[ZaPPZion]

Ja inderdaad. Enige nadeel blijft dus dat alle data die je nu schrijft (zonder de 2e vdev), alleen op de 1e vdev staat en niet gestriped is.

[Dwarlorf]

CH40S schreef op donderdag 3 augustus 2017 @ 12:38:
Misschien niet helemaal het antwoord waar je op hoopte, maar kun je niet beter een Plex Media Server in een jail installeren? Die kan ook audio libraries. Zover ik weet is er voor FreeNAS (wat BSD gebaseerd is immers) een versie beschikbaar.

Voor FreeNAS 9.x is er in elk geval een how to om Plex Media Server in een jail te installeren:
https://forums.freenas.or...-freenas-9-10-jail.19412/

Plex had ik in mijn initiële zoektocht al afgeschreven. Ik wil het allemaal zo basic mogelijk houden en waar ik vook een zeer grote hekel aan heb is de GUI's van Plex of bijv Kodi. Ik werk met Foobar2000 en met folderstructuren en dat kan ook op die manier met LMS .

Desalnietermin bedankt voor de tip. Ik kan plex wel gebruiken om te kijken of ik die welin een jail krijg.

[ Voor 3% gewijzigd door Dwarlorf op 03-08-2017 12:57 ]

[CurlyMo]

CH40S schreef op donderdag 3 augustus 2017 @ 12:48:
[...]
Ah oke. Dan kan ik dus beter per grootte een vdev maken van een RAIDZ1 dus. Dan kan ik later de tweede RAIDZ1 daaraan toevoegen.

Het hangt er vanaf op welke termijn je die 2TB denkt te vervangen. Als dat binnen het half jaar is, zou ik wel een grote RAIDZ2 maken met alle schijven, later die 2TB vervangen door 4TB waarna je pool automatisch van die 4TB uit zal gaan.

[CH4OS]

Nee, ik hoop wel een langere poos met de disks te doen. Dat die disks 2TB zijn, komt omdat ik voorheen in mijn server een HP SmartArray P400 had, die disks t/m 2TB aankon. Nu heb ik een HP SmartArray P420 er in zitten, die kan tot 4TB, volgens de papieren.

[Compizfox]

CH40S schreef op donderdag 3 augustus 2017 @ 12:48:
[...]
Ah oke. Dan kan ik dus beter per grootte een vdev maken van een RAIDZ1 dus. Dan kan ik later de tweede RAIDZ1 daaraan toevoegen.

Jep.

Even opsommend, heb je de volgende opties:

• Je maakt twee RAID-Z1 vdevs aan van de schijven die je nu hebt, die je dan gestriped in een pool zet (zoals uitgelegd door @ZaPPZion). Per vdev heb je dan een schijf (1/4) parity. Je netto ruimte is 18 TB (3*2+3*4).
• Je zou de vdevs ook in aparte pools kunnen zetten, maar ik zie daar de voordelen niet echt van in. Een asynchrone stripe is weliswaar niet 2x zo snel als de losse vdevs, maar het is altijd meer dan 1x.
• Je ruilt je 4*2 TB schijven voor 2*4 TB, die je dan samen met de 4*4 TB die je al had in één RAID-Z2 vdev zet. Je hebt dan 1/6 parity. Je netto ruimte is 16 TB (4*4).

[Paul]

CH40S schreef op donderdag 3 augustus 2017 @ 13:01:
Nee, ik hoop wel een langere poos met de disks te doen. Dat die disks 2TB zijn, komt omdat ik voorheen in mijn server een HP SmartArray P400 had, die disks t/m 2TB aankon. Nu heb ik een HP SmartArray P420 er in zitten, die kan tot 4TB, volgens de papieren.

Staat die P420 in pass-through / HBA mode? ZFS is het veiligste als het zo dicht mogelijk op de hardware zit, en de meeste RAID-controllers doen allemaal trucjes om het OS om de tuin te leiden bij hardware-falen. Voor veel besturingssystemen / file systems is dat prima, maar bij ZFS wil je dat juist niet. Die RAID-controller neemt alleen de hardware mee in de beslissing, ZFS weet ook wat er aan data op die schijven staat.

Zelfs als je de schijven per stuk doorgeeft (als jbod of raid 0, afhankelijk van de controller) blijft deze er tussen zitten, schermt (vaak) SMART af etc.

Zie https://hardforum.com/thr...ntroller-hbamode.1852528/ om de SmartArray in HBA-mode te zetten.

[CurlyMo]

Paul schreef op donderdag 3 augustus 2017 @ 13:08:
[...]
Staat die P420 in pass-through / HBA mode?

CH40S schreef op donderdag 3 augustus 2017 @ 01:34:
Ik wil dan graag mijn HP SmartArray P420 controller (nadat ik hem in HBA modus heb gezet) doorgeven aan een nieuw te maken VM, die dienst gaat doen als fileserver (iemand een leuke naam ervoor? ).

[Dwarlorf]

CH40S schreef op donderdag 3 augustus 2017 @ 12:38:
Voor FreeNAS 9.x is er in elk geval een how to om Plex Media Server in een jail te installeren:
https://forums.freenas.or...-freenas-9-10-jail.19412/

Als ik die instructies van de link opvolg gaat het hier fout

You should see something like this:

JID IP Address Hostname Path
1 - plex /mnt/Jails/plex

Ik zie alleen dit: JID IP Address Hostname Path maar niet die waarden. Iemand enig idee waar dat aan ligt? Is dat de crux van mijn probleem?

[CH4OS]

Paul schreef op donderdag 3 augustus 2017 @ 13:08:
Staat die P420 in pass-through / HBA mode?

Nog niet, maar dat is, uiteraard, wel de bedoeling, anders was ZFS voor mij ook geen optie geweest, eigenlijk.

Zie https://hardforum.com/thr...ntroller-hbamode.1852528/ om de SmartArray in HBA-mode te zetten.

Ik had van @Compizfox al het commando ervoor gekregen, maar bedankt voor het meedenken!

CurlyMo schreef op donderdag 3 augustus 2017 @ 13:11:
Twee quotes

Ik hou mij nog steeds aanbevolen voor een leuke naam! ZM-ZFS vind ik zo standaard, hahaha!

Dwarlorf schreef op donderdag 3 augustus 2017 @ 13:38:
You should see something like this:

JID IP Address Hostname Path
1 - plex /mnt/Jails/plex

Ik zie alleen dit: JID IP Address Hostname Path maar niet die waarden. Iemand enig idee waar dat aan ligt? Is dat de crux van mijn probleem?

Ik ken FreeNAS niet, maar als ik dit zo lees, zou ik zeggen dat de jail niet is aangemaakt.

[ Voor 51% gewijzigd door CH4OS op 03-08-2017 13:56 ]

[Dwarlorf]

Ja, dat zou je inderdaad wel zeggen maar waar het dan fout gaat is me niet duidelijk. Ik zal voor de zoveelste keer maar weer die documentatie doorlopen.

[Paul]

CH40S schreef op donderdag 3 augustus 2017 @ 13:50:
Nog niet, maar dat is, uiteraard, wel de bedoeling, anders was ZFS voor mij ook geen optie geweest, eigenlijk.

Niet iedereen doet evenveel vooronderzoek Zoals ikzelf, die je eerdere opmerking erover gemist heeft

Ik hou mij nog steeds aanbevolen voor een leuke naam! ZM-ZFS vind ik zo standaard, hahaha!

Die van mij heet Orakel, daar komt alle wijsheid (data ) vandaan.

Dwarlorf schreef op donderdag 3 augustus 2017 @ 13:58:
Ja, dat zou je inderdaad wel zeggen maar waar het dan fout gaat is me niet duidelijk. Ik zal voor de zoveelste keer maar weer die documentatie doorlopen.

Waarom handmatig installeren? Hebben ze de plugin eruit gehaald? Ik heb ook PMD draaien maar dat is gewoon naar Plugins -> Plex -> Install -> klaar. Nu ja, nog even zorgen dat Plex bij je data kan, maar dat is gewoon storage toevoegen aan de jail.

[Dwarlorf]

Paul schreef op donderdag 3 augustus 2017 @ 14:28:

Waarom handmatig installeren? Hebben ze de plugin eruit gehaald? Ik heb ook PMD draaien maar dat is gewoon naar Plugins -> Plex -> Install -> klaar. Nu ja, nog even zorgen dat Plex bij je data kan, maar dat is gewoon storage toevoegen aan de jail.

Is inderdaad als plugin beschikbaar. Maar het geeft me geen inzicht in hoe die jails nu precies werken. Echter, ik zie nu wel dat deze ook geen waarden toevoegd aan "JID IP Address Hostname Path".

Dat gezegd hebbende, ik krijg met Plex als plugin ook geen toegang tot plex ip via de browser. Het wodrdt er allemaal niet duidelijker op voor me.

[CH4OS]

Dwarlorf schreef op donderdag 3 augustus 2017 @ 14:52:
Dat gezegd hebbende, ik krijg met Plex als plugin ook geen toegang tot plex ip via de browser. Het wodrdt er allemaal niet duidelijker op voor me.

Heeft de jail die gemaakt is met de plugin wel een IP-adres? Zo ja, dan moet je wellicht in de firewall de poort open zetten? Al is dat wellicht wat offtopic voor in het ZFS-topic.

[ Voor 7% gewijzigd door CH4OS op 03-08-2017 15:02 ]

[Dwarlorf]

CH40S schreef op donderdag 3 augustus 2017 @ 15:02:
[...]
Heeft de jail die gemaakt is met de plugin wel een IP-adres? Zo ja, dan moet je wellicht in de firewall de poort open zetten? Al is dat wellicht wat offtopic voor in het ZFS-topic.

Ja heeft een ip adres, en ik heb er speciaal de firewall voor open gezet. Die andere plugins werken wel gewoon dus dat lijkt me ook niet het probleem. Heb net subsonic ingesteld en die speelt nu muziek van de nas af in de browser.

[CH4OS]

Maar dat lijkt mij niet aan ZFS te liggen, dus misschien is het handiger om dat in het juiste topic danwel in een eigen topic te zetten.

[Dwarlorf]

CH40S schreef op donderdag 3 augustus 2017 @ 15:38:
Maar dat lijkt mij niet aan ZFS te liggen, dus misschien is het handiger om dat in het juiste topic danwel in een eigen topic te zetten.

Nou, ik ben er net achter dat ik bij Plex vergeten ben om service status op aan te zetten, dus dat werkt ook. Dus dit is allemaal opgelost. Nu weer terug naar LMS.

[ZaPPZion]

CH40S schreef op donderdag 3 augustus 2017 @ 13:50:
Ik hou mij nog steeds aanbevolen voor een leuke naam! ZM-ZFS vind ik zo standaard, hahaha!

Als ik naar jouw username kijk en even vrij vertaal: TrumpAdministration?

[CH4OS]

ZaPPZion schreef op donderdag 3 augustus 2017 @ 17:16:
Als ik naar jouw username kijk en even vrij vertaal: TrumpAdministration?

Ik snap waarom je de link legt, maar ik heb het niet zo op die man, nooit gehad ook.

[ZaPPZion]

Neuj, ik ook niet Even iets anders bedenken dus

[_JGC_]

Sinds eergisteren FreeBSD 11.1-RELEASE op m'n HP Microserver gezet (upgrade vanaf 11.0-RELEASE). Ding heeft maar 8GB geheugen en wordt gebruikt voor offsite backups. Elke avond als dat ding ging backuppen stonden de disks flink te rammelen. Nu was dit met een L2ARC op SSD al een stuk verbetered, maar ook die raakt vol waarna de boel weer fijn gaat rammelen.

Sinds 11.1-RELEASE wordt gecomprimeerde data gecomprimeerd in de ARC opgeslagen:
https://svnweb.freebsd.or...=revision&revision=307265

Resultaat:

code:

ARC: 4542M Total, 1911M MFU, 1760M MRU, 528K Anon, 85M Header, 785M Other
     3295M Compressed, 15G Uncompressed, 4.78:1 Ratio

L2ARC vult zichzelf nu ook niet meer zo snel, maar na 2 dagen kan je daar nog weinig over zeggen.

[CH4OS]

Ik kan eindelijk aan de slag om de ZFS pool aan te maken. Ik heb daarbij de volgende ID's, maar vraag mij af, of het wat uit maakt welke ID's ik gebruik, ik weet niet welke ik moet hebben om de zfs pool vdevs mee aan te maken.


Dit zijn de id's die ik heb, ik draai ZFS op Debian testing.

[ Voor 5% gewijzigd door CH4OS op 17-08-2017 21:41 ]

[CurlyMo]

Maakt niet uit, maar voor het gemak zou ik die met ata-* pakken want daar zit het serienummer in verwerkt.

[chronoz]

Ik ben aan het oefenen om misschien in de toekomst een FreeNAS te gaan gebruiken.

Maar ik dacht dat je de slog wel kon verwijderen zonder alle data kwijt te raken? De hele pool lijkt nu al verloren, ook al stond er geen data op.

    root@freenas:~ # zpool list
	NAME           SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
	freenas-boot  15.9G   748M  15.1G         -      -     4%  1.00x  ONLINE  -
	root@freenas:~ # zpool import
	   pool: z2vol
	     id: 14301890767751913799
	  state: UNAVAIL
	 status: One or more devices are missing from the system.
	 action: The pool cannot be imported. Attach the missing
		devices and try again.
	   see: http://illumos.org/msg/ZFS-8000-6X
	 config:

		z2vol                                           UNAVAIL  missing device
		  raidz2-0                                      ONLINE
		    gptid/8e5c0a8d-8396-11e7-b9a6-005056bc137b  ONLINE
		    gptid/8f1e367c-8396-11e7-b9a6-005056bc137b  ONLINE
		    gptid/8ff721ab-8396-11e7-b9a6-005056bc137b  ONLINE
		    gptid/90a0e1ac-8396-11e7-b9a6-005056bc137b  ONLINE
		    gptid/91381c14-8396-11e7-b9a6-005056bc137b  ONLINE
		    gptid/91f7227f-8396-11e7-b9a6-005056bc137b  ONLINE
		cache
		  16009875605678365509

		Additional devices are known to be part of this pool, though their
		exact configuration cannot be determined.
	root@freenas:~ #

[chronoz]

Ik ben aan het oefenen om misschien in de toekomst een FreeNAS te gaan gebruiken.

Maar ik dacht dat je de slog wel kon verwijderen zonder alle data kwijt te raken? De hele pool lijkt nu al verloren, ook al stond er geen data op.

root@freenas:~ # zpool list
NAME           SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
freenas-boot  15.9G   748M  15.1G         -      -     4%  1.00x  ONLINE  -
root@freenas:~ # zpool import
 pool: z2vol
   id: 14301890767751913799
state: UNAVAIL
status: One or more devices are missing from the system.
action: The pool cannot be imported. Attach the missing
devices and try again.
 see: http://illumos.org/msg/ZFS-8000-6X
config:

z2vol                                           UNAVAIL  missing device
  raidz2-0                                      ONLINE
    gptid/8e5c0a8d-8396-11e7-b9a6-005056bc137b  ONLINE
    gptid/8f1e367c-8396-11e7-b9a6-005056bc137b  ONLINE
    gptid/8ff721ab-8396-11e7-b9a6-005056bc137b  ONLINE
    gptid/90a0e1ac-8396-11e7-b9a6-005056bc137b  ONLINE
    gptid/91381c14-8396-11e7-b9a6-005056bc137b  ONLINE
    gptid/91f7227f-8396-11e7-b9a6-005056bc137b  ONLINE
cache
  16009875605678365509

Additional devices are known to be part of this pool, though their
exact configuration cannot be determined.
root@freenas:~ #

[FireDrunk]

Je pool komt niet online,omdat hij gewoon een device mist, maar ik dacht dat je dat device nu wel gewoon kan removen van de pool.

[toelie]

zpool import -m

-m is voor "import with missing log device"

[Kortfragje]

Hey das een goeie! Die kende ik nog niet

[chronoz]

Ja, volgens mij had ik zpool import -m gebruikt en werkte dat niet, maar weer het niet zeker meer!

Had sowieso nog een ander probleem waarbij de VM niet wilde starten met meerdere CPU's. Ik heb FreeNAS opnieuw geïnstalleerd en het opnieuw geprobeerd door de SLOG te verwijderen.

Maar deze keer was hij erg makkelijk te herstellen:

Ik houd het nu nog even simpel met FreeNAS als back-up server met een raidz2 zonder slog. Mijn doel was eerst de FreeNAS voor virtualisering/iSCSI/etc. te gebruiken, maar die laat ik nog even op de Synology. Ik gebruik hem voor nu wel voor back-ups en als ik wat meer ervaring heb langzamerhand omschakelen.

Het fijne van Nas4free t.o.v. Freenas vond ik wel dat hij altijd bootte, wat voor gekkigheid ik er ook mee uithaalde, willekeurige disks verwijderen, meerdere CPU's, etc.

[ Voor 10% gewijzigd door chronoz op 19-08-2017 17:10 ]

[CH4OS]

Wat gebruiken jullie voor de monitoring van jullie ZFS pool? Ik kwam ZFS Watcher tegen, maar die heeft al even geen updates meer gehad (laatste commit op diens GitHub was in 2013) en heeft op Debian schijnbaar een extra package nodig, die ik zo gauw even niet kan vinden met apt e.d.

Ik zoek zelf namelijk het liefst iets wat webbased is. Napp-IT lijkt een appliance te zijn bovenop een ander OS dan wat ik draai.

Zojuist even een snapshot gemaakt van de VM, dus ik kan altijd makkelijk terug. Ik ben nu Napp-it aan het draaien, ben benieuwd hoe dat gaat bevallen. mocht ik iets anders / beters tegenkomen, kan ik altijd de VM nog terugzetten.

[ Voor 39% gewijzigd door CH4OS op 27-08-2017 16:06 ]

[vanaalten]

CH4OS schreef op zondag 27 augustus 2017 @ 14:54:
Wat gebruiken jullie voor de monitoring van jullie ZFS pool?

Ik doe niets meer dan een wekelijkse scrub en de uitslag daarvan (0 errors...) naar mij toe mailen.
Maar goed, ik heb enkel een simpele mirror van twee 6TB harddisks, niets ingewikkelds verder, dus dit lijkt mij wel genoeg.

[A1AD]

CH4OS schreef op zondag 27 augustus 2017 @ 14:54:
Wat gebruiken jullie voor de monitoring van jullie ZFS pool?

Nagios samen met wat scripts

[duiveltje666]

CH4OS schreef op zondag 27 augustus 2017 @ 14:54:
Wat gebruiken jullie voor de monitoring van jullie ZFS pool? Ik kwam ZFS Watcher tegen, maar die heeft al even geen updates meer gehad (laatste commit op diens GitHub was in 2013) en heeft op Debian schijnbaar een extra package nodig, die ik zo gauw even niet kan vinden met apt e.d.

Ik zoek zelf namelijk het liefst iets wat webbased is. Napp-IT lijkt een appliance te zijn bovenop een ander OS dan wat ik draai.

Zabbix

[FireDrunk]

Je kan zelf scriptjes lanceren icm ZFSd, die voert bij bepaalde events gewoon je scriptjes uit met wat params. Ik heb daar NotifyMyAndroid aan hangen met een push van het event.

[CH4OS]

Ik ben uiteindelijk gegaan voor Netdata, installeren is een fluitje en heeft ook gelijk net wat meer data.

https://github.com/firehol/netdata

[CurlyMo]

Hier ook wat zelfgeschreven scripts:
1. Elke nacht mail met laatste snapshots (1x onsite, 2x offsite) en HDD temps.
2. Monitoring van smart waardes.
3. Monitoring van ZFS pool status.

Elke nacht worden er snapshots gemaakt die ook die nacht in backup worden gezet. Eens per week draaien er scrubs.

Simpel genoeg om geen volledige webgui voor nodig te hebben.

[idef1x]

CH4OS schreef op zondag 27 augustus 2017 @ 14:54:
Wat gebruiken jullie voor de monitoring van jullie ZFS pool?

Monitorix en de uitvoer van een maandelijkse scrub wordt me gemaild...

[Bigs]

duiveltje666 schreef op zondag 27 augustus 2017 @ 16:58:
[...]

Zabbix

Hier ook Zabbix.. super lomp wel:

code:

UserParameter=zpool.status,sudo zpool list -H -o health poolnaam | grep -q "ONLINE" && echo 1 || echo 0
UserParameter=zpool.iops.read,sudo zpool iostat 1 2 | tail -1 | awk '{ print $4 }'
UserParameter=zpool.iops.write,sudo zpool iostat 1 2 | tail -1 | awk '{ print $5 }'

Als ik het nu zou maken zou ik LLD gebruiken om pools te ontdekken en ipv een 1 of 0 de tekst achter 'state' in Zabbix loggen. Maar dat komt misschien ngo

[idef1x]

Toen ik het nog met zabbix deed (ik vind zabbix te resource intensief op mijn NAS), deed ik het ook lomp denk ik, maar het werkte wel:

code:

UserParameter=zfs.arc.misses,cat /proc/spl/kstat/zfs/arcstats |grep ^misses|awk '{print $3}'
UserParameter=zfs.arc.hits,cat /proc/spl/kstat/zfs/arcstats |grep ^hits|awk '{print $3}'
UserParameter=zfs.arc.deleted,cat /proc/spl/kstat/zfs/arcstats |grep ^deleted|awk '{print $3}'

UserParameter=zfs.arc.min,cat /proc/spl/kstat/zfs/arcstats |grep ^c_min|awk '{print $3}'
UserParameter=zfs.arc.max,cat /proc/spl/kstat/zfs/arcstats |grep ^c_max|awk '{print $3}'
UserParameter=zfs.arc.size,cat /proc/spl/kstat/zfs/arcstats |grep ^size|awk '{print $3}'

UserParameter=zfs.arc.meta.used,cat /proc/spl/kstat/zfs/arcstats |grep ^arc_meta_used|awk '{print $3}'
UserParameter=zfs.arc.meta.limit,cat /proc/spl/kstat/zfs/arcstats |grep ^arc_meta_limit|awk '{print $3}'
UserParameter=zfs.arc.meta.max,cat /proc/spl/kstat/zfs/arcstats |grep ^arc_meta_max|awk '{print $3}'
UserParameter=zfs.arc.meta.min,cat /proc/spl/kstat/zfs/arcstats |grep ^arc_meta_min|awk '{print $3}'
UserParameter=zfs.arc.sys.free,cat /proc/spl/kstat/zfs/arcstats |grep ^arc_sys_free|awk '{print $3}'

# Some commands via sudoers:
UserParameter=zpool.health,sudo zpool status -x
UserParameter=zpool.cap,sudo zpool list data -H -o cap|sed "s/%//g"
UserParameter=zpool.frag,sudo zpool list data -H -o frag|sed "s/%//g"

[Waking_The_Dead]

Ik heb al een aantal jaar een ZFS server draaien met Freenas en die loopt zonder problemen.

Nu heb ik in een Ubuntu machine wat schijven bijgeplaatst en zfs geïnstaleerd. Het lukt mij echter niet om iets zoals hieronder te doen in Ubuntu; dit werkte wel gewoon in Freenas.

code:

$ gpart add -b 2048 -s 3906824192 -t freebsd-zfs -l disk01 /dev/da0

Ik kan wel gewoon een pool aanmaken maar dan worden mijn schijven maximaal gebruikt en ik wil graag wat extra ruimte over houden.
Hoe kan ik dit voor elkaar krijgen in Ubuntu?

[CurlyMo]

Het simpelste wat je kan doen is booten van een live cd en dan gparted gui started.

[consolefreak]

Ik heb hier een bijzondere situatie en het lijkt erop dat ik al mijn data kwijt ben Ik zoek wat knappe koppen die mij wellicht tóch verder kunnen helpen aan mijn data, hopelijk is hier iemand die dat kan.

Ik heb twee machines, ananas & banaan. Ananas is de main server en banaan is bedoeld als offsite kopie en was ook dusdanig ingericht.
Ananas = 7disk 2tb RAIDZ2 , geen snapshot, encrypted
Banaan = 4 disk 3tb RAIDZ, geen snapshot
Via RSYNC was alle data gekopieerd van ananas naar banaan.

Nu was vorige week een tweede schijf in ananas gecrasht, dat zou geen probleem mogen zijn maar toch waren er rare dingen aan de hand. Ik reboot en probeer opnieuw de zfs pool te importen, na weer problemen met die schijf heb ik 'm losgekoppeld. De eerste gecrashte schijf dateerd van eerder dit jaar en heb ik netjes verwijderd toen. (vraag me niet exact hoe, ben ik vergeten).

Fastforward ik heb de pool uiteindelijk niet meer geimport omwille van tijdgebrek omdat ik vanwege werk naar 't buitenland moest. In alle wijsheid heeft rsync er denk ik via een task ervoor gezorgd dat mijn kopie op banaan compleet gewist is, een 6 dagen geleden er staat 0 bytes aan data op de pool aldaar

Op ananas heb Ik heb gepoogd de kapotte schijf handmatig uit de sqllite database te verwijderen. Een decrypt gaat succesvol voor alle aangesloten apparaten, maar Op in de log staat "one or more devices are missing". Freenas geeft het volgende weer in de GUI



heeft er iemand een idee wat ik kan uitvoeren?

[johnkeates]

CH4OS schreef op zondag 27 augustus 2017 @ 14:54:
Wat gebruiken jullie voor de monitoring van jullie ZFS pool? Ik kwam ZFS Watcher tegen, maar die heeft al even geen updates meer gehad (laatste commit op diens GitHub was in 2013) en heeft op Debian schijnbaar een extra package nodig, die ik zo gauw even niet kan vinden met apt e.d.

Ik zoek zelf namelijk het liefst iets wat webbased is. Napp-IT lijkt een appliance te zijn bovenop een ander OS dan wat ik draai.

Zojuist even een snapshot gemaakt van de VM, dus ik kan altijd makkelijk terug. Ik ben nu Napp-it aan het draaien, ben benieuwd hoe dat gaat bevallen. mocht ik iets anders / beters tegenkomen, kan ik altijd de VM nog terugzetten.

Ik gebruik voor standalone nodes ZED, dat zit er op Debian in de repos standaard in. Is onderdeel van OpenZFS, waar ZoL weer gebruik van maakt.

[CurlyMo]

consolefreak schreef op woensdag 30 augustus 2017 @ 01:50:
Ik heb hier een bijzondere situatie en het lijkt erop dat ik al mijn data kwijt ben Ik zoek wat knappe koppen die mij wellicht tóch verder kunnen helpen aan mijn data, hopelijk is hier iemand die dat kan.

Een bijzondere situatie inderdaad, want je draait ZFS zonder de features die het te bieden heeft.
- Waarom geen snapshots?
- Waarom rsync en geen zfs send/recv?
- Waarom geen hulpvragen op het moment van falen?
- Waarom geen documentatie van je exacte stappen na het falen?
- Waarom kan er een tweede schijf crashen? Wat heb je gedaan na het falen van de eerste?

Teveel vragen

Oftewel, ZFS is te gek, maar geen tovenaar en je hebt volgens mij wel bijna alles fout gedaan wat je fout had kunnen doen in jouw setup. Gelukkig geen ZFS bovenop EXT4 o.i.d. Dat was het echt alles geweest.

Twee concrete vragen:
1. Plaats eens de output van zfs import vanuit de console van FreeNAS?
2. Plaats even het rsync commando dat je gebruikte?

Vanuit daar kunnen we misschien verder helpen, maar met wat je nu verteld zie ik het somber in. Dan ben je vast voorbereid.

[consolefreak]

Ten eerste, bedankt voor het mee willen denken!

CurlyMo schreef op woensdag 30 augustus 2017 @ 07:30:
[...]

Een bijzondere situatie inderdaad, want je draait ZFS zonder de features die het te bieden heeft.
- Waarom geen snapshots?

Stond nog op het onderzoeklijstje, ik dacht de basis goed ingeregeld te hebben door 2x een RAIDZ2 pool te hebben. De hardware was ook verder goed ingeregeld met voldoende ECC registered geheugen (32GB in ananas)

- Waarom rsync en geen zfs send/recv?

Ik lees dat ZFS send/recieve werkt op basis van snapshots, en laat ik nou juist dat niet ingergeld hebben RSYNC was ik bekend mee vanuit de vorige situatie en was ik bekend mee, het is ook een module in FreeNAS dus vandaar dat ik daar verder niet bij stil heb gestaan.

- Waarom geen hulpvragen op het moment van falen?

Dat doe ik nu

- Waarom geen documentatie van je exacte stappen na het falen?
- Waarom kan er een tweede schijf crashen? Wat heb je gedaan na het falen van de eerste?

Ik dacht dat ik duidelijk was, al was het al 2 uur 's nachts natuurlijk. Hierbij een betere opsomming denk ik:

Ananas:

• 1e faal: geen idee, te lang geleden, ik weet alleen dat ik de schijf netjes gedetatched heb van de pool wat ik toen ook nog gewoon kon doen omdat de pool bleef werken. Effectief had ik er dus RAIDZ1 van gemaakt, ik had nog een goede kopie dus ik zag er niet direct kwaad in. Ik had helaas geen schijf liggen om te vervangen, maar het was zondagmiddag laat en ik ging weer weg voor een paar weken naar 't buitenland voor werk. Daarna is 't er bijgebleven.
• 2e faal schijf: Ik heb 't ervaren doordat ik warnings kreeg van sectoren en alles werd trager eigenlijk, soms reageerde bepaalde dingen niet meer .

1. reboot
2. geli key ingevoerd voor zfs import, kreeg een faal (in de console: 1 device could not be decrypted)
3. shutdown
4. schijf verwijderd, tikte ondertussen hoorde ik vlak voordat de server uit ging.
5. boot
6. op internet zoeken en in de documentatie, las een tip over de sqllite3 database handmatig aanpassen door de defecte schijf eruit te verwijderen
7. remount met oude recovery key, kreeg zelfde error. Stappenplan gaf aan om een nieuwe recovery key te maken, gedaan -> nog steeds zelfde error.

Banaan

1. Via de emails kwam ik er achter dat de diskusage 0% was
2. Janken
3. Ingelogd op de machine, en zelf gevalideerd of de data echt weg is
4. Janken
5. Tasks uitgeschakeld, zowel SCRUB als RSYNC
6. zpool import -nfFX geprobeerd, geen output en geen wezenlijk verschil
7. zpool export

Teveel vragen

Oftewel, ZFS is te gek, maar geen tovenaar en je hebt volgens mij wel bijna alles fout gedaan wat je fout had kunnen doen in jouw setup. Gelukkig geen ZFS bovenop EXT4 o.i.d. Dat was het echt alles geweest.

Twee concrete vragen:
1. Plaats eens de output van zfs import vanuit de console van FreeNAS?

Ik neem aan dat je zpool import bedoeld?

code:

[root@ananas] ~# zpool import
   pool: pool
     id: 7886055630418215460
  state: UNAVAIL
 status: One or more devices are missing from the system.
 action: The pool cannot be imported. Attach the missing
        devices and try again.
   see: http://illumos.org/msg/ZFS-8000-6X
 config:

        pool                                                UNAVAIL  missing device
          raidz2-0                                          DEGRADED
            gptid/a8a2ce97-6bef-11e6-8372-408d5cde6a1f.eli  ONLINE
            gptid/aa04abb8-6bef-11e6-8372-408d5cde6a1f.eli  ONLINE
            gptid/ab145d93-6bef-11e6-8372-408d5cde6a1f.eli  ONLINE
            gptid/ad455bd1-6bef-11e6-8372-408d5cde6a1f.eli  ONLINE
            13544182244166468852                            UNAVAIL  cannot open
            gptid/a1289903-6dbf-11e6-a99c-408d5cde6a1f.eli  ONLINE
            gptid/b8e8e26b-7298-11e6-930a-408d5cde6a1f.eli  ONLINE

        Additional devices are known to be part of this pool, though their
        exact configuration cannot be determined.

Dan denk je toch, dan verwijder je toch de unavailable disk van de pool?

code:

[root@ananas] ~# zpool remove pool 13544182244166468852
cannot open 'pool': no such pool

2. Plaats even het rsync commando dat je gebruikte?

Ik denk dat we daar nu niet zoveel meer aan hebben, rsync kan het niet recoveren denk ik ik heb nu al geleerd en ga voor een nieuwe opstelling zeker gebruik maken van snapshots en zfs send/recv. Maar voor nu helpt dat niet echt natuurlijk

Vanuit daar kunnen we misschien verder helpen, maar met wat je nu verteld zie ik het somber in. Dan ben je vast voorbereid.

Oh ja, ik ga er al vanuit dat ik een oudere backup moet gebruiken maar hoop toch nog op een gave actie waardoor ik het kan herstellen. Wellicht tegen beter weten in

Wellicht interesant om te weten, sinds de data weg is van banaan is er géén scrub uitgevoerd of nieuwe data weggeschreven op de pool aldaar. En nog wat meer informatie, "

uit de security log:

code:

ananas.local kernel log messages:
> CPU: Intel(R) Xeon(R) CPU E3-1220 v5 @ 3.00GHz (3000.14-MHz K8-class CPU)
> mps0: SAS Address for SATA device = dd5c393db7a9af8e
> mps0: SAS Address from SATA device = dd5c393db7a9af8e
> da6 at umass-sim0 bus 0 scbus8 target 0 lun 0
> da6: <Kingston DataTraveler G3 PMAP> Removable Direct Access SCSI device
> da6: Serial Number 00137297189CBB5135930030
> da6: 40.000MB/s transfers
> da6: 14988MB (30695424 512 byte sectors)
> da6: quirks=0x2<NO_6_BYTE>
> SMP: AP CPU #1 Launched!
> Timecounter "TSC-low" frequency 1500071703 Hz quality 1000
> GEOM: da2: the secondary GPT table is corrupt or invalid.
> GEOM: da2: using the primary only -- recovery suggested.
> GEOM: ufsid/59a035aed732cbe6: the secondary GPT table is corrupt or invalid.
> GEOM: ufsid/59a035aed732cbe6: using the primary only -- recovery suggested.
> bridge0: link state changed to UP
> SUP_IOCTL_COOKIE: Version mismatch. Requested: 0x1a0007  Min: 0x1a0005  Current: 0x260000
> GEOM_ELI: Device gptid/a8a2ce97-6bef-11e6-8372-408d5cde6a1f.eli created.
> GEOM_ELI: Encryption: AES-XTS 128
> GEOM_ELI:     Crypto: hardware
> GEOM_ELI: Device gptid/aa04abb8-6bef-11e6-8372-408d5cde6a1f.eli created.
> GEOM_ELI: Encryption: AES-XTS 128
> GEOM_ELI:     Crypto: hardware
> GEOM_ELI: Device gptid/ab145d93-6bef-11e6-8372-408d5cde6a1f.eli created.
> GEOM_ELI: Encryption: AES-XTS 128
> GEOM_ELI:     Crypto: hardware
> GEOM_ELI: Device gptid/ad455bd1-6bef-11e6-8372-408d5cde6a1f.eli created.
> GEOM_ELI: Encryption: AES-XTS 128
> GEOM_ELI:     Crypto: hardware
> GEOM_ELI: Device gptid/a1289903-6dbf-11e6-a99c-408d5cde6a1f.eli created.
> GEOM_ELI: Encryption: AES-XTS 128
> GEOM_ELI:     Crypto: hardware
> GEOM_ELI: Device gptid/b8e8e26b-7298-11e6-930a-408d5cde6a1f.eli created.
> GEOM_ELI: Encryption: AES-XTS 128
> GEOM_ELI:     Crypto: hardware

-- End of security output --

code:

 van banaan:
[root@banaan] ~# zdb -l /dev/ada0p2
--------------------------------------------
LABEL 0
--------------------------------------------
    version: 5000
    name: 'storage'
    state: 0
    txg: 1221085
    pool_guid: 5344015045223989050
    hostid: 1077416225
    hostname: ''
    top_guid: 5572456178535626663
    guid: 13907517841728491138
    vdev_children: 1
    vdev_tree:
        type: 'raidz'
        id: 0
        guid: 5572456178535626663
        nparity: 2
        metaslab_array: 35
        metaslab_shift: 36
        ashift: 12
        asize: 11993762234368
        is_log: 0
        create_txg: 4
        children[0]:
            type: 'disk'
            id: 0
            guid: 13907517841728491138
            path: '/dev/gptid/4433922a-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[1]:
            type: 'disk'
            id: 1
            guid: 17196402000932672347
            path: '/dev/gptid/46145418-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[2]:
            type: 'disk'
            id: 2
            guid: 18356832546025361907
            path: '/dev/gptid/47066bc8-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[3]:
            type: 'disk'
            id: 3
            guid: 2767404159066817754
            path: '/dev/gptid/47f2954a-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
    features_for_read:
        com.delphix:hole_birth
        com.delphix:embedded_data
--------------------------------------------
LABEL 1
--------------------------------------------
    version: 5000
    name: 'storage'
    state: 0
    txg: 1221085
    pool_guid: 5344015045223989050
    hostid: 1077416225
    hostname: ''
    top_guid: 5572456178535626663
    guid: 13907517841728491138
    vdev_children: 1
    vdev_tree:
        type: 'raidz'
        id: 0
        guid: 5572456178535626663
        nparity: 2
        metaslab_array: 35
        metaslab_shift: 36
        ashift: 12
        asize: 11993762234368
        is_log: 0
        create_txg: 4
        children[0]:
            type: 'disk'
            id: 0
            guid: 13907517841728491138
            path: '/dev/gptid/4433922a-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[1]:
            type: 'disk'
            id: 1
            guid: 17196402000932672347
            path: '/dev/gptid/46145418-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[2]:
            type: 'disk'
            id: 2
            guid: 18356832546025361907
            path: '/dev/gptid/47066bc8-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[3]:
            type: 'disk'
            id: 3
            guid: 2767404159066817754
            path: '/dev/gptid/47f2954a-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
    features_for_read:
        com.delphix:hole_birth
        com.delphix:embedded_data
--------------------------------------------
LABEL 2
--------------------------------------------
    version: 5000
    name: 'storage'
    state: 0
    txg: 1221085
    pool_guid: 5344015045223989050
    hostid: 1077416225
    hostname: ''
    top_guid: 5572456178535626663
    guid: 13907517841728491138
    vdev_children: 1
    vdev_tree:
        type: 'raidz'
        id: 0
        guid: 5572456178535626663
        nparity: 2
        metaslab_array: 35
        metaslab_shift: 36
        ashift: 12
        asize: 11993762234368
        is_log: 0
        create_txg: 4
        children[0]:
            type: 'disk'
            id: 0
            guid: 13907517841728491138
            path: '/dev/gptid/4433922a-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[1]:
            type: 'disk'
            id: 1
            guid: 17196402000932672347
            path: '/dev/gptid/46145418-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[2]:
            type: 'disk'
            id: 2
            guid: 18356832546025361907
            path: '/dev/gptid/47066bc8-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[3]:
            type: 'disk'
            id: 3
            guid: 2767404159066817754
            path: '/dev/gptid/47f2954a-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
    features_for_read:
        com.delphix:hole_birth
        com.delphix:embedded_data
--------------------------------------------
LABEL 3
--------------------------------------------
    version: 5000
    name: 'storage'
    state: 0
    txg: 1221085
    pool_guid: 5344015045223989050
    hostid: 1077416225
    hostname: ''
    top_guid: 5572456178535626663
    guid: 13907517841728491138
    vdev_children: 1
    vdev_tree:
        type: 'raidz'
        id: 0
        guid: 5572456178535626663
        nparity: 2
        metaslab_array: 35
        metaslab_shift: 36
        ashift: 12
        asize: 11993762234368
        is_log: 0
        create_txg: 4
        children[0]:
            type: 'disk'
            id: 0
            guid: 13907517841728491138
            path: '/dev/gptid/4433922a-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[1]:
            type: 'disk'
            id: 1
            guid: 17196402000932672347
            path: '/dev/gptid/46145418-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[2]:
            type: 'disk'
            id: 2
            guid: 18356832546025361907
            path: '/dev/gptid/47066bc8-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
        children[3]:
            type: 'disk'
            id: 3
            guid: 2767404159066817754
            path: '/dev/gptid/47f2954a-61ba-11e7-857b-000423aad13b'
            whole_disk: 1
            create_txg: 4
    features_for_read:
        com.delphix:hole_birth
        com.delphix:embedded_data

[ Voor 67% gewijzigd door consolefreak op 30-08-2017 11:55 ]

[chronoz]

Als ik een SLOG gebruik dan gaan alle writes (copy-on-write) toch naar deze SSD?

Waarom nemen dan zoveel mensen een SSD met zo'n lage maximale throughput als bijvoorbeeld de pricewatch: Intel DC S3500 (2,5") 80GB? Dat verhoogt de iops en non-sequential writes, maar wel een bottleneck op de maximale snelheid.

Ik had de https://www.amazon.de/gp/product/B0153P9SEK besteld voor €190 op Amazon Warehouse deals, maar geen DC-versie. Beter annuleren dan?

[ Voor 14% gewijzigd door chronoz op 30-08-2017 09:32 ]

[Paul]

Bij mijn weten gaan alleen de synchronous writes naar je ZIL (en daarmee SLOG als je die hebt). Nou neem je over het algemeen alleen een SLOG als je veel sync writes hebt, maar zo langzaam is die S3500 nu ook weer niet? 100 MB/sec schrijven, ja, als je ISO's overpompt dan is dat misschien een bottleneck (er vanuit gaande dat je dat synchronous doet en je netwerk geen bottleneck is) maar vanuit een applicatie 100 MB/sec schrijven is al behoorlijk heftig; over het algemeen wordt er meer gelezen dan geschreven.

[toelie]

Klopt, alle synced writes gaan naar de ZIL. Dit zijn bij standaard instellingen:
- Alle metadata writes
- Alle andere writes met sync flag (NFS, iSCSI, FCoE enz.)

SMB/Windows sharing is async en gaat niet via de ZIL.
De s3700 en in iets mindere mate de S3500 zijn ideale ZIL drives omdat ze snel zijn bij een queue depth van 1, zeer consistente performance hebben en een full path power failure protection (SSD data en user data). De S3700 kan daarnaast idioot veel writes aan en is nog een stukje sneller dan de s3500.

[ Voor 4% gewijzigd door toelie op 30-08-2017 12:46 ]

[FireDrunk]

toelie schreef op woensdag 30 augustus 2017 @ 12:44:
Klopt, alle synced writes gaan naar de ZIL. Dit zijn bij standaard instellingen:
- Alle metadata writes
- Alle andere writes met sync flag (NFS, iSCSI, FCoE enz.)

SMB/Windows sharing is async en gaat niet via de ZIL.
De s3700 en in iets mindere mate de S3500 zijn ideale ZIL drives omdat ze snel zijn bij een queue depth van 1, zeer consistente performance hebben en een full path power failure protection (SSD data en user data). De S3700 kan daarnaast idioot veel writes aan en is nog een stukje sneller dan de s3500.

Dit klopt aardig, maar is iets te kort door de bocht. Dat iets Async binnen komt, wil niet zeggen dat ZFS het async wegschrijft, dit kan je namelijk forceren.

Je kan de optie sync=always aanzetten op een filesystem, dan gaan dus wel *alle* writes via je SLOG.
Dat wil je eigenlijk nooit, maar kan voor hele specifieke toepassingen nodig zijn.

PS: Voor de rest klopt je verhaal helemaal, en dat is exact de reden om voor een DC-Series SSD te gaan

[ Voor 5% gewijzigd door FireDrunk op 30-08-2017 14:45 ]

[CurlyMo]

consolefreak schreef op woensdag 30 augustus 2017 @ 09:28:
Ik neem aan dat je zpool import bedoeld?

code:

zpool import 7886055630418215460

Werkt dat niet?

Ik denk dat we daar nu niet zoveel meer aan hebben, rsync kan het niet recoveren denk ik ik heb nu al geleerd en ga voor een nieuwe opstelling zeker gebruik maken van snapshots en zfs send/recv. Maar voor nu helpt dat niet echt natuurlijk

Behalve dat voor ons zichtbaar is wat er daadwerkelijk onder de motorkap is gebeurt.

Wellicht interesant om te weten, sinds de data weg is van banaan is er géén scrub uitgevoerd of nieuwe data weggeschreven op de pool aldaar. En nog wat meer informatie, "

Om je data dan nog te herstellen moet je wel erg veel expertise hebben in zdb. Die hebben we hier op het forum volgens mij niet.

[BCC]

Ik wil mijn offsite backup server fysiek kleiner maken. Er zitten 3 disks in.. Is er een nas oid die ik hiervoor kan genruiken? Performance is niet boeiend.

[ Voor 5% gewijzigd door BCC op 03-09-2017 08:05 ]

[CurlyMo]

BCC schreef op zondag 3 september 2017 @ 08:04:
Ik wil mijn offsite backup server fysiek kleiner maken. Er zitten 3 disks in.. Is er een nas oid die ik hiervoor kan genruiken? Performance is niet boeiend.

Wat is precies je vraag? Je wilt een NAS van een tweaker hiervoor gebruiken tijdelijk?

[BCC]

Sorry, nee ik heb hier in de meterkast een bak staan die mijn offsite ZFS backup doet. Dat werkt prima, maar hij is nogal groot. Aangezien ik net een 10" rack in de meterkast heb neergehangen ben ik naar een pctje / nas op zoek waar 3 disks in passen, die ZFS doet en ongeveer in een 10" rack past. Een HP microserver is een optie denk ik, maar wel wat prijzig. Een raspberry is denk ik te licht hiervoor?

[CurlyMo]

BCC schreef op zondag 3 september 2017 @ 11:56:
Sorry, nee ik heb hier in de meterkast een bak staan die mijn offsite ZFS backup doet. Dat werkt prima, maar hij is nogal groot. Aangezien ik net een 10" rack in de meterkast heb neergehangen ben ik naar een pctje / nas op zoek waar 3 disks in passen, die ZFS doet en ongeveer in een 10" rack past. Een HP microserver is een optie denk ik, maar wel wat prijzig. Een raspberry is denk ik te licht hiervoor?

ZFS wil je niet of een 32bit systeem draaien. De RPi 3 is dan wel 64 bit, de software erop niet.

[Quindor]

Sinds Crashplan Home Family (Unlimited cloud backup voor maximaal 10 PC's) gaat stoppen ben ik gaan kijken naar alternatieven hiervoor. Helaas blijken bij alle unlimited providers andere limieten te hebben, of het een stuk duurder te maken. Om die reden ben ik gaan kijken om het eventueel zelf te kosten en uit te rekenen wat dat kost.

Uiteindelijk blijkt het neerzetten van "goedkope" hardware en dat te delen met enkele mensen (vrienden/family) een stuk goedkoper. Hoe dan ook, dit heb ik allemaal in het Het Online Backup Topic al besproken, inclusief alle tutorials die ik er voor geschreven heb om zelf een multi-tenant, multi-client omgeving op te zetten.

Kijkende naar hardware ben ik op zoek gegaan een zo simpel/zuinig/goedkoop doosje om dit doel te vervullen. Uiteindelijk ben ik op een kleine Apollo Lake Mini-PC uitgekomen gecombineerd met een extern USB3 5x SATA600 disk cabinet van Orico (Orico 9558U3). De "server" heeft een low-power Quad-Core met x64 ondersteuning en 4GB ram. Ook zit er standaard 32GB eMMC onboard en heb je de mogelijkheid om M.2 en een 2.5" SSD toe te voegen als je zou willen. Verder beschikt het doosje over meerdere USB3 poorten.

Ik gebruik hetzelfde type cabinet inmiddels al enkele maanden zelf in combinatie met ZFS aan mijn normale server. Hierin zitten 5x 2TB disks waar ik geen ruimte meer voor had IN de server omdat daar inmiddels grotere disks in zitten en de 2TB disks zijn inmiddels 7 jaar oud. Deze draaien storj dus worden daadwerkelijk 24Hr per dag gebruikt voor redelijk verkeer en hebben in de laatste 2 a 3 maanden nog geen enkel issue gehad. Performance ligt tussen de 200MB/sec en 300MB/sec gemiddeld tijdens testen. Vandaar dat ik het wel durf voor te stellen.

Maar iemand in het backup topic maakte de opmerking het ook eens in dit topic te gooien. En het lijkt me wel een interessante discussie, voor ~120 euro heb je 5 bays erbij wat een stuk goedkoper is dan het intern huisvesten over het algemeen. Ik weet zelf al wel dat dit geen enterprise waardige oplossing gaat zijn, maar is puur bedoeld als storage om backups op te vangen. Ik ben van plan er een 5x 10TB RAIDz2 mee te draaien aangezien random I/O performance niet heel erg belangrijk gaat zijn.

Wat meer informatie over het doosje, intern is het een JMICRON controller die een USB3 - SATA bridge vormt met ondersteuning voor UASP (USB Attached SCSI). Het OS heeft dus een vrij directe connectie met de disks en ziet ook 5 aparte disks.

Binnen het OS ziet je per bay een device link zoals het volgende:
quindor@quinnas:/dev/disk/by-id$ ll usb*
_{lrwxrwxrwx 1 root root 9 Aug 27 20:55 usb-JMicron_Generic_DISK00_0123456789ABCDEF-0:0 -> ../../sdg
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK00_0123456789ABCDEF-0:0-part1 -> ../../sdg1
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK00_0123456789ABCDEF-0:0-part9 -> ../../sdg9
lrwxrwxrwx 1 root root 9 Aug 27 20:55 usb-JMicron_Generic_DISK01_0123456789ABCDEF-0:1 -> ../../sdi
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK01_0123456789ABCDEF-0:1-part1 -> ../../sdi1
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK01_0123456789ABCDEF-0:1-part9 -> ../../sdi9
lrwxrwxrwx 1 root root 9 Aug 27 20:55 usb-JMicron_Generic_DISK02_0123456789ABCDEF-0:2 -> ../../sdj
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK02_0123456789ABCDEF-0:2-part1 -> ../../sdj1
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK02_0123456789ABCDEF-0:2-part9 -> ../../sdj9
lrwxrwxrwx 1 root root 9 Aug 27 20:55 usb-JMicron_Generic_DISK03_0123456789ABCDEF-0:3 -> ../../sdk
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK03_0123456789ABCDEF-0:3-part1 -> ../../sdk1
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK03_0123456789ABCDEF-0:3-part9 -> ../../sdk9
lrwxrwxrwx 1 root root 9 Aug 27 20:55 usb-JMicron_Generic_DISK04_0123456789ABCDEF-0:4 -> ../../sdl
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK04_0123456789ABCDEF-0:4-part1 -> ../../sdl1
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK04_0123456789ABCDEF-0:4-part9 -> ../../sdl9}

quindor@quinnas:/dev/disk/by-id$ dmesg | grep JMicron
[ 1.817986] usb 4-1: Manufacturer: JMicron
[ 1.828439] scsi 7:0:0:0: Direct-Access JMicron Generic DISK00 0103 PQ: 0 ANSI: 6
[ 1.830329] scsi 7:0:0:1: Direct-Access JMicron Generic DISK01 0103 PQ: 0 ANSI: 6
[ 1.831996] scsi 7:0:0:2: Direct-Access JMicron Generic DISK02 0103 PQ: 0 ANSI: 6
[ 1.833632] scsi 7:0:0:3: Direct-Access JMicron Generic DISK03 0103 PQ: 0 ANSI: 6
[ 1.835297] scsi 7:0:0:4: Direct-Access JMicron Generic DISK04 0103 PQ: 0 ANSI: 6


Ik ben benieuwd wat jullie er van vinden, puur als discussie of dit goed genoeg kan werken of niet.

[ Voor 6% gewijzigd door Quindor op 05-09-2017 22:59 ]

[duiveltje666]

Quindor schreef op dinsdag 5 september 2017 @ 22:35:
Sinds Crashplan Home Family (Unlimited cloud backup voor maximaal 10 PC's) gaat stoppen ben ik gaan kijken naar alternatieven hiervoor. Helaas blijken bij alle unlimited providers andere limieten te hebben, of het een stuk duurder te maken. Om die reden ben ik gaan kijken om het eventueel zelf te kosten en uit te rekenen wat dat kost.

Uiteindelijk blijkt het neerzetten van "goedkope" hardware en dat te delen met enkele mensen (vrienden/family) een stuk goedkoper. Hoe dan ook, dit heb ik allemaal in het Het Online Backup Topic al besproken, inclusief alle tutorials die ik er voor geschreven heb om zelf een multi-tenant, multi-client omgeving op te zetten.

Kijkende naar hardware ben ik op zoek gegaan een zo simpel/zuinig/goedkoop doosje om dit doel te vervullen. Uiteindelijk ben ik op een kleine Apollo Lake Mini-PC uitgekomen gecombineerd met een extern USB3 5x SATA600 disk cabinet van Orico (Orico 9558U3). De "server" heeft een low-power Quad-Core met x64 ondersteuning en 4GB ram. Ook zit er standaard 32GB eMMC onboard en heb je de mogelijkheid om M.2 en een 2.5" SSD toe te voegen als je zou willen. Verder beschikt het doosje over meerdere USB3 poorten.

Ik gebruik hetzelfde type cabinet inmiddels al enkele maanden zelf in combinatie met ZFS aan mijn normale server. Hierin zitten 5x 2TB disks waar ik geen ruimte meer voor had IN de server omdat daar inmiddels grotere disks in zitten en de 2TB disks zijn inmiddels 7 jaar oud. Deze draaien storj dus worden daadwerkelijk 24Hr per dag gebruikt voor redelijk verkeer en hebben in de laatste 2 a 3 maanden nog geen enkel issue gehad. Performance ligt tussen de 200MB/sec en 300MB/sec gemiddeld tijdens testen. Vandaar dat ik het wel durf voor te stellen.

Maar iemand in het backup topic maakte de opmerking het ook eens in dit topic te gooien. En het lijkt me wel een interessante discussie, voor ~120 euro heb je 5 bays erbij wat een stuk goedkoper is dan het intern huisvesten over het algemeen. Ik weet zelf al wel dat dit geen enterprise waardige oplossing gaat zijn, maar is puur bedoeld als storage om backups op te vangen. Ik ben van plan er een 5x 10TB RAIDz2 mee te draaien aangezien random I/O performance niet heel erg belangrijk gaat zijn.

Wat meer informatie over het doosje, intern is het een JMICRON controller die een USB3 - SATA bridge vormt met ondersteuning voor UASP (USB Attached SCSI). Het OS heeft dus een vrij directe connectie met de disks en ziet ook 5 aparte disks.

Binnen het OS ziet je per bay een device link zoals het volgende:
quindor@quinnas:/dev/disk/by-id$ ll usb*
_{lrwxrwxrwx 1 root root 9 Aug 27 20:55 usb-JMicron_Generic_DISK00_0123456789ABCDEF-0:0 -> ../../sdg
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK00_0123456789ABCDEF-0:0-part1 -> ../../sdg1
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK00_0123456789ABCDEF-0:0-part9 -> ../../sdg9
lrwxrwxrwx 1 root root 9 Aug 27 20:55 usb-JMicron_Generic_DISK01_0123456789ABCDEF-0:1 -> ../../sdi
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK01_0123456789ABCDEF-0:1-part1 -> ../../sdi1
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK01_0123456789ABCDEF-0:1-part9 -> ../../sdi9
lrwxrwxrwx 1 root root 9 Aug 27 20:55 usb-JMicron_Generic_DISK02_0123456789ABCDEF-0:2 -> ../../sdj
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK02_0123456789ABCDEF-0:2-part1 -> ../../sdj1
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK02_0123456789ABCDEF-0:2-part9 -> ../../sdj9
lrwxrwxrwx 1 root root 9 Aug 27 20:55 usb-JMicron_Generic_DISK03_0123456789ABCDEF-0:3 -> ../../sdk
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK03_0123456789ABCDEF-0:3-part1 -> ../../sdk1
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK03_0123456789ABCDEF-0:3-part9 -> ../../sdk9
lrwxrwxrwx 1 root root 9 Aug 27 20:55 usb-JMicron_Generic_DISK04_0123456789ABCDEF-0:4 -> ../../sdl
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK04_0123456789ABCDEF-0:4-part1 -> ../../sdl1
lrwxrwxrwx 1 root root 10 Aug 27 20:55 usb-JMicron_Generic_DISK04_0123456789ABCDEF-0:4-part9 -> ../../sdl9}

quindor@quinnas:/dev/disk/by-id$ dmesg | grep JMicron
[ 1.817986] usb 4-1: Manufacturer: JMicron
[ 1.828439] scsi 7:0:0:0: Direct-Access JMicron Generic DISK00 0103 PQ: 0 ANSI: 6
[ 1.830329] scsi 7:0:0:1: Direct-Access JMicron Generic DISK01 0103 PQ: 0 ANSI: 6
[ 1.831996] scsi 7:0:0:2: Direct-Access JMicron Generic DISK02 0103 PQ: 0 ANSI: 6
[ 1.833632] scsi 7:0:0:3: Direct-Access JMicron Generic DISK03 0103 PQ: 0 ANSI: 6
[ 1.835297] scsi 7:0:0:4: Direct-Access JMicron Generic DISK04 0103 PQ: 0 ANSI: 6


Ik ben benieuwd wat jullie er van vinden, puur als discussie of dit goed genoeg kan werken of niet.

Werken zal het zeker , maar imho 4 GB Ram is wel erg weinig ...

[CurlyMo]

duiveltje666 schreef op woensdag 6 september 2017 @ 01:51:
Werken zal het zeker , maar imho 4 GB Ram is wel erg weinig ...

Een offsite backup hoeft niet veel performance te leveren dus is 4GB al prima.

[FireDrunk]

Ziet er netjes uit! Ben vooral benieuwd hoe die JMicron controllers zich over lange tijd gaan gedragen. Ik heb die dingen ooit eens gebruikt via JMicron USB3->Sata chipjes icm ZFS, en dat was niet zo'n succes. Bij een Scrub donderde de chipjes in elkar vanwege te hoge load, en kreeg ik timeouts terug.

Ben heel benieuwd of ze dat intussen opgelost hebben

[duiveltje666]

Bigs schreef op maandag 28 augustus 2017 @ 10:00:
[...]


Hier ook Zabbix.. super lomp wel:

code:

UserParameter=zpool.status,sudo zpool list -H -o health poolnaam | grep -q "ONLINE" && echo 1 || echo 0
UserParameter=zpool.iops.read,sudo zpool iostat 1 2 | tail -1 | awk '{ print $4 }'
UserParameter=zpool.iops.write,sudo zpool iostat 1 2 | tail -1 | awk '{ print $5 }'

Als ik het nu zou maken zou ik LLD gebruiken om pools te ontdekken en ipv een 1 of 0 de tekst achter 'state' in Zabbix loggen. Maar dat komt misschien ngo

LLD templateje scoren?

[Quindor]

@CurlyMo
De offsite backup hoeft inderdaad niet heel performant te zijn, vandaar ook de keuze voor RAIDz2, heel zeker, maar vooral random, niet heel erg snel. De server komt toevallig achter een 500/500 lijn te hangen bij mijn ouders thuis, maar dat had net zo goed 150/15 kunnen zijn, uiteindelijk is de beperkende kant toch de upload aan de andere kant.

Dus als de storage 50MB/sec haalt, is het meer dan genoeg.

@FireDrunk Interessant! Zoals ik al aangaf, tot nu toe gaat het bij degene die ik nu heb prima, geen read of CRC errors. Maar zal voor dat ik het "in productie" neem het zeker eens testen met een paar TB test data en dan een scrub!

De reacties vallen me alleszins mee, aangezien ik persoonlijk eigenlijk ook prima weet dat de kwaliteit van ZFS uiteindelijk staat of valt bij de controller die er tussen zit en dat daarom moederbord poorten of LSI kaarten in IT mode de enige keuze zijn normaal gesproken.

Ik zal mijn praktijk resultaten zeker eventjes delen zodra alles binnen is! (De eerste 3x 10TB disks since inmiddels door een surface verify heen, andere 2 en de rest van de hardware is onderweg).

[consolefreak]

CurlyMo schreef op woensdag 30 augustus 2017 @ 15:44:
[...]

code:

zpool import 7886055630418215460

Werkt dat niet?

Nee Ik heb het ondertussen opgegeven met ananas, twee nieuw schijven erbij in, nieuwe raid-z3 opgebouwd zonder encryptie ditmaal en hij draait als een zonnetje. Wat dan wel vreemd is dat 4 devices nog wel gezien worden door GELI.

Ik ben van een oude pool nu de data aan't kopieren, die schijven had ik apart gelegd in de kast. Als ik het tot nu toe bekijk, mis ik van de meest kritische data niet heel veel. Geluk bij een ongeluk.

Om je data dan nog te herstellen moet je wel erg veel expertise hebben in zdb. Die hebben we hier op het forum volgens mij niet.

Ik heb wat onderzoek zitten doen, net het blijkt dat UFS explorer het een en ander schijnt te kunnen herstellen op ZFS. Volgens de website http://www.ufsexplorer.com/download_stdr.php is ZFS ondersteund,
ik ben erg benieuwd want 120 euro is mijn data wel waard Ik zal testen met de trail versie op mijn backup server banaan en kijken wat er nog kan. Mijn ervaringen zal ik hier delen natuurlijk.

[CurlyMo]

consolefreak schreef op woensdag 13 september 2017 @ 12:11:
[...]
Nee Ik heb het ondertussen opgegeven met ananas, twee nieuw schijven erbij in, nieuwe raid-z3 opgebouwd zonder encryptie ditmaal en hij draait als een zonnetje. Wat dan wel vreemd is dat 4 devices nog wel gezien worden door GELI.

Ik vind het zo apart dat er weer twee weken overheen gaan voordat je reageert. Ik zou een nieuw topic op dit forum hebben geopend om samen te proberen je data terug te halen. Op deze manier kan niemand je helpen.