Het grote ZFS topic

[jadjong]

FireDrunk schreef op zondag 16 december 2018 @ 11:45:
Tja, de locatie van devices is daar minder gefixeerd dan op andere platforms. Dat maakt het allemaal iets lastiger.

Wel vaag dat je die c6t1d0 niet mag weghalen. Dat zou ik wel verwachten. Misschien moet je eerst de replace stoppen?

Met de schijven terug naar hun oude huis het volgende tafereel:

code:

  replacing-5                ONLINE       0     0 8.16M
              c0t5000C50064D75FECd0    ONLINE       0     0     0
              c0t5000C50064D75FECd0p0  ONLINE       0     0     0

Nog 66 uur en ik weet of het gelukt is. De SSD is wel weg.

[Bananenplant]

Ik heb een vraagje over zfs send en zfs recv. Ik heb FreeNAS en heb daarop periodic snapshots ingesteld zodat ik spullen kan terughalen als er iets misgaat. Deze snapshots worden naar verloop van tijd opgeruimd. Ik heb nu al een paar pogingen gedaan om datasets naar een externe HDD te schrijven met zfs send en zfs recv. Waar ik telkens tegenaan loop is dat met een incrementele update ik de melding krijg dat mijn destination gewijzigd zou zijn, dit terwijl ik daar helemaal niets aan veranderd heb.

Wat ik doe om de initiële kopie te maken:

zfs send -R pool/dataset@snapshot1 | zfs recv -F usbpool/dataset

Incrementele backups doe ik zo:

zfs send -R -i snapshot1 pool/dataset@snapshot2 | zfs recv usbpool/dataset

Hierbij zijn snapshot1, snapshots2, etc. recursieve snapshots van de hele pool. Deze worden ook met een periodic snapshot task gemaakt, maar blijven lang genoeg bewaard in relatie tot de frequentie van backups doen.

Ik probeerde eerder ditzelfde te doen met mijn gehele pool. Daar raakte iocage van in de war, wat mogelijk zou verklaren dat er naar de usbpool geschreven wordt. Maar met de losse datasets kan dat niet het geval zijn omdat ik de dataset met mijn jails helemaal niet heb meegenomen. Mijn vermoeden is nu dat het komt omdat er in pool snapshots zijn weggegooid die nog wel in usbpool bestaan en ik daarom de melding krijg dat usbpool "gewijzigd" zou zijn. Als ik -vF toevoeg aan de zfs recv krijg ik inderdaad een lijst gedestroyde snapshots als output, wat suggereert dat het goed zou gaan. Maar als ik vervolgens een directory diff in beide pools missen er in usbpool hele directory's .

Wat doe ik fout ?

[CurlyMo]

Bananenplant schreef op dinsdag 18 december 2018 @ 12:00:
Wat doe ik fout ?

Kan je wat meer output geven. Een lijst van je bron snapshots, een lijst van je doel snapshots en de output van je commando's.

[A1AD]

met een 5*4TB in RAIDZ2.
1 4TB schijf offline gebracht en vervangen met een 6TB schijf en replace gestart.
De overige 4 4TB schijven zijn via LUKS geëncrypteerd, de nieuwe niet (op termijn wil ik de andere 4TBs allemaal vervangen voor non LUKS 6TB, dit is de eerste)

De replace gestart rond de middag ergens maar, de resilver blijkt telkens opnieuw te starten:

code:

root@pve:~# zpool status bds
  pool: bds
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
    continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Tue Dec 25 00:26:24 2018
    53,5M scanned out of 12,6T at 5,35M/s, 687h31m to go
    8,60M resilvered, 0,00% done
config:

    NAME                                            STATE     READ WRITE CKSUM
    bds                                             DEGRADED     0     0     0
      raidz2-0                                      DEGRADED     0     0     0
        dm-name-disk1.1                             ONLINE       0     0     0
        disk2.1                                     ONLINE       0     0     0
        dm-name-disk3.1                             ONLINE       0     0     0
        replacing-3                                 DEGRADED     0     0     0
          dm-name-disk4.1                           OFFLINE      0     0     0
          ata-WDC_WD60EFRX-68L0BN1_WD-WX61D48DL8AH  ONLINE       0     0     0  (resilvering)
        dm-name-disk5.1                             ONLINE       0     0     0

errors: No known data errors
root@pve:~# zpool status bds
  pool: bds
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
    continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Tue Dec 25 00:27:11 2018
    9,25M scanned out of 12,6T at 9,25M/s, 397h37m to go
    0B resilvered, 0,00% done
config:

    NAME                                            STATE     READ WRITE CKSUM
    bds                                             DEGRADED     0     0     0
      raidz2-0                                      DEGRADED     0     0     0
        dm-name-disk1.1                             ONLINE       0     0     0
        disk2.1                                     ONLINE       0     0     0
        dm-name-disk3.1                             ONLINE       0     0     0
        replacing-3                                 DEGRADED     0     0     0
          dm-name-disk4.1                           OFFLINE      0     0     0
          ata-WDC_WD60EFRX-68L0BN1_WD-WX61D48DL8AH  ONLINE       0     0     0
        dm-name-disk5.1                             ONLINE       0     0     0

errors: No known data errors

root@pve:~# zpool status bds
  pool: bds
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
    continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Tue Dec 25 00:32:58 2018
    36,5M scanned out of 12,6T at 7,29M/s, 504h12m to go
    2,86M resilvered, 0,00% done
config:

    NAME                                            STATE     READ WRITE CKSUM
    bds                                             DEGRADED     0     0     0
      raidz2-0                                      DEGRADED     0     0     0
        dm-name-disk1.1                             ONLINE       0     0     0
        disk2.1                                     ONLINE       0     0     0
        dm-name-disk3.1                             ONLINE       0     0     0
        replacing-3                                 DEGRADED     0     0     0
          dm-name-disk4.1                           OFFLINE      0     0     0
          ata-WDC_WD60EFRX-68L0BN1_WD-WX61D48DL8AH  ONLINE       0     0     0  (resilvering)
        dm-name-disk5.1                             ONLINE       0     0     0

errors: No known data errors

De 4TB's zijn allemaal SMART ok (testen worden frequent uitgevoerd) en dit is de SMART van de nieuwe 6TB schijf (nog geen effectieve SMART test uitgevoerd):

code:

root@pve:~# smartctl -a /dev/disk/by-id/ata-WDC_WD60EFRX-68L0BN1_WD-WX61D48DL8AH
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.15.18-9-pve] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Red
Device Model:     WDC WD60EFRX-68L0BN1
Serial Number:    WD-WX61D48DL8AH
LU WWN Device Id: 5 0014ee 2657b382b
Firmware Version: 82.00A82
User Capacity:    6.001.175.126.016 bytes [6,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5700 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2, ACS-3 T13/2161-D revision 3b
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Tue Dec 25 00:34:34 2018 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                    was never started.
                    Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                    without error or no self-test has ever 
                    been run.
Total time to complete Offline 
data collection:        ( 1904) seconds.
Offline data collection
capabilities:            (0x7b) SMART execute Offline immediate.
                    Auto Offline data collection on/off support.
                    Suspend Offline collection upon new
                    command.
                    Offline surface scan supported.
                    Self-test supported.
                    Conveyance Self-test supported.
                    Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                    power-saving mode.
                    Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                    General Purpose Logging supported.
Short self-test routine 
recommended polling time:    (   2) minutes.
Extended self-test routine
recommended polling time:    ( 673) minutes.
Conveyance self-test routine
recommended polling time:    (   5) minutes.
SCT capabilities:          (0x303d) SCT Status supported.
                    SCT Error Recovery Control supported.
                    SCT Feature Control supported.
                    SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   100   253   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   100   253   021    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       1
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       9
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       1
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       0
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       7
194 Temperature_Celsius     0x0022   121   121   000    Old_age   Always       -       31
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Dit zijn de andere schijven:

code:

lrwxrwxrwx 1 root root 9 dec 24 14:51 /dev/disk/by-id/ata-ST4000VN000-1H4168_Z304NVRN -> ../../sda
lrwxrwxrwx 1 root root 9 dec 24 14:51 /dev/disk/by-id/ata-ST4000VN000-1H4168_Z306C70G -> ../../sdc
lrwxrwxrwx 1 root root  9 dec 24 14:51 /dev/disk/by-id/ata-WDC_WD40EFRX-68WT0N0_WD-WCC4E4LRJ6JP -> ../../sde
lrwxrwxrwx 1 root root  9 dec 24 14:51 /dev/disk/by-id/ata-WDC_WD40EFRX-68WT0N0_WD-WCC4E4LRJ7SF -> ../../sdb
lrwxrwxrwx 1 root root  9 dec 25 00:36 /dev/disk/by-id/ata-WDC_WD60EFRX-68L0BN1_WD-WX61D48DL8AH -> ../../sdd
lrwxrwxrwx 1 root root 10 dec 25 00:36 /dev/disk/by-id/ata-WDC_WD60EFRX-68L0BN1_WD-WX61D48DL8AH-part1 -> ../../sdd1
lrwxrwxrwx 1 root root 10 dec 25 00:36 /dev/disk/by-id/ata-WDC_WD60EFRX-68L0BN1_WD-WX61D48DL8AH-part9 -> ../../sdd9

/dev/mapper

code:

lrwxrwxrwx 1 root root       7 dec 24 14:51 disk1.1 -> ../dm-2
lrwxrwxrwx 1 root root       7 dec 24 14:51 disk2.1 -> ../dm-3
lrwxrwxrwx 1 root root       7 dec 24 14:51 disk3.1 -> ../dm-4
lrwxrwxrwx 1 root root       7 dec 24 14:51 disk5.1 -> ../dm-5

Ik heb met dit systeem al verschillende keren een 4TB schijf vervangen zonder problemen. Ik vermoed dat de nieuwe 6TB schijf niet helemaal ok is?

Heeft hier iemand al ervaring mee? Zou ik een SMART test starten op de nieuwe schijf tijdens een replace?
Zou herstarten helpen?

Ik ben benieuwd wat de guru's als tip hebben.

edit:
Ik heb de nieuwe schijf zpool detached en alles blijkt weer vlot te werken. De scrub loopt nu ook netjes:

code:

root@pve:~/utils/scripts# zpool status bds 
  pool: bds
 state: DEGRADED
status: One or more devices has been taken offline by the administrator.
    Sufficient replicas exist for the pool to continue functioning in a
    degraded state.
action: Online the device using 'zpool online' or replace the device with
    'zpool replace'.
  scan: scrub in progress since Tue Dec 25 01:19:42 2018
    20,4G scanned out of 12,6T at 82,7M/s, 44h23m to go
    0B repaired, 0,16% done
config:

    NAME                 STATE     READ WRITE CKSUM
    bds                  DEGRADED     0     0     0
      raidz2-0           DEGRADED     0     0     0
        dm-name-disk1.1  ONLINE       0     0     0
        disk2.1          ONLINE       0     0     0
        dm-name-disk3.1  ONLINE       0     0     0
        dm-name-disk4.1  OFFLINE      0     0     0
        dm-name-disk5.1  ONLINE       0     0     0

errors: No known data errors

SMART test op de nieuwe schijf is gestart

Edit2: long smart zonder fouten, replace en weer hetzelfde fenomeen. Resilver herstart steeds en ZFS performantie zakt volledig in elkaar (andere Pools krijgen ook timeouts) tot ik de 6TB detach....

Ik probeer morgen eens met een andere 6TB schijf. Moeilijk te begrijpen...

Edit3: net met de 6TB schijf een aparte pool (test) aangemaakt en data van de 1ne naar de andere pool kopiëren gaat perfect tegen 130MB/s plus een scrub op de test pool loopt wel vlot. Dan begrijp ik al helemaal niet waarom een replace niet werkt. Met deze test sluit ik dan toch al slechte bekabeling uit en lijkt de disk toch performant genoeg te zijn.

ZFS heeft toch geen weet van de onderliggende LUKS encryptie? Het enige verschil tov de andere disks in de main pool BDS is dat de nieuwe 6TB niet LUKS encryted is...

Dus effe samenvatting:
Nieuwe 6TB schijf SMART long test ok
getest met aanmaken van "single disk pool".
Data kopiëren naar de 6TB schijf tegen 130MB/s
Scrub op de test pool tegen verwachte snelheid.

Maar diezelfde schijf toegevoegen aan bestaande RaidZ2 pool laat het resilveren steeds herstarten en Krijgen we timeouts op alles wat met ZFS te maken heeft.

Ik vrees dat een andere schijf weinig verschil gaat uitmaken.

To test:
- eens LUKS encrypten zoals de rest in BDS pool
- andere schijf
-...??

Final edit:
whaaaat, disk LUKS encrypted en resilver gaat zoals het hoort:

code:

root@pve:~/utils/disks# zpool status bds
  pool: bds
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
    continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Wed Dec 26 10:19:11 2018
    209G scanned out of 12,6T at 211M/s, 17h7m to go
    41,3G resilvered, 1,62% done
config:

    NAME                   STATE     READ WRITE CKSUM
    bds                    DEGRADED     0     0     0
      raidz2-0             DEGRADED     0     0     0
        dm-name-disk1.1    ONLINE       0     0     0
        disk2.1            ONLINE       0     0     0
        dm-name-disk3.1    ONLINE       0     0     0
        replacing-3        DEGRADED     0     0     0
          dm-name-disk4.1  OFFLINE      0     0     0
          disk4.2          ONLINE       0     0     0  (resilvering)
        dm-name-disk5.1    ONLINE       0     0     0

errors: No known data errors

Hoe valt dat te verklaren Een LUKS encrypted pool kan ik dus niet omzetten naar non luks encrypted disks

A1AD wijzigde deze reactie 26-12-2018 10:36 (226%)

[Borromini]

Ik heb een vraagje. Ik heb een udev rule die een (eS-ATA) mirror disk in een zpool online brengt via een script. Script is simpel:

code:

#!/bin/bash

/bin/sleep 2m
/sbin/zpool online ichi ata-Hitachi_HDS5C4040ALE630_PL2331LAG7XXXX

Ik ben begonnen met een 'wachttijd' van 10s, maar dat zorgt er ook niet voor dat 'zpool online' de schijf echt online brengt. Op de een of andere manier toont die schijf als 'OFFLINE' maar begint de pool wel te resilveren (wat goed is). Ik heb ondertussen een ruime marge (2') waarbinnen de mirror disk online gebracht wordt; alleen wordt ie daarna als UNAVAIL weergegeven Ik vermoed dat dit komt omdat er al een resilver op bezig is?

Niettemin lijkt hij vrolijk verder te resilveren, al is het aantal gescande GB verschillend van het aantal resilvered - maar dat heeft (vermoed ik) te maken met het feit dat ik de resilver al een paar keer onderbroken heb.

code:

$ sudo zpool status ichi
  pool: ichi
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Fri Dec 28 20:10:39 2018
        95,6G scanned out of 3,39T at 111M/s, 8h38m to go
        33,5G resilvered, 2,76% done
config:

        NAME                                            STATE     READ WRITE CKSUM
        ichi                                            DEGRADED     0     0     0
          mirror-0                                      DEGRADED     0     0     0
            ata-Hitachi_HDS5C4040ALE630_PL2331LAG7XXXX  ONLINE       0     0     0
            ata-Hitachi_HDS5C4040ALE630_PL2331LAG7XXXX  UNAVAIL      0     0     0  (resilvering)

Het bizarre is namelijk: als ik het script zelf handmatig aanroep als root, dan wordt de schijf gewoon wel als ONLINE weergegeven daarna.

Ik ben dus in de war . Heeft iemand hier ervaring mee?

[FireDrunk]

Wie of wat start het script normaal?

[Borromini]

Udev, en dat heeft ook gewoon root-rechten vziw. Ik dacht eerst dat nog niet alles 'gesetteld' was wanneer udev de aangesloten schijf detecteert en had daarom die sleep in het script toegevoegd. Maar die wachttijd lijkt weinig of geen verschil te maken.

[FireDrunk]

Die sleep vertraagd denk ik udev zelf. Heb je het scriptje op de specifieke disk hangen in een udev rule?

[CurlyMo]

In zou in udev ook zeker geen dingen als sleep hangen. Dat verwart je OS alleen maar.

[Borromini]

Udev-regel ziet er zo uit:


code:

# cat /etc/udev/rules.d/75-esata-zfs.rules 
ACTION=="add", KERNEL=="sd?", ENV{ID_SERIAL_SHORT}=="PL2331LAG7XXXX", RUN+="/usr/local/sbin/testscript"

Wacht udev dan tot het script gedraaid heeft?

Borromini wijzigde deze reactie 29-12-2018 10:30 (5%)

[CurlyMo]

Borromini schreef op zaterdag 29 december 2018 @ 10:29:

code:

# cat /etc/udev/rules.d/75-esata-zfs.rules 
ACTION=="add", KERNEL=="sd?", ENV{ID_SERIAL_SHORT}=="PL2331LAG7XXXX", RUN+="/usr/local/sbin/testscript"

Waarschijnlijk wel.

Wat is de reden dat die eSata schijf niet gewoon beschikbaar is tijdens het booten?

[Borromini]

Die is niet permanent aangesloten. Dus ik zou dan eigenlijk alles in het script op de achtergrond moeten laten draaien - of een scriptje laten monitoren voor de schijf in /dev en op basis daarvan alles afhandelen, los van udev.

Borromini wijzigde deze reactie 29-12-2018 11:54 (31%)

[Joni]

Heeft iemand recente ervaring met de P20 IT firmware voor de LSI SAS2308 controller i.c.m. ZFS? Onder andere in dit topic is terug te vinden dat de P20 firmware serieuze bugs bevat. Dit zijn echter wel berichten van een paar jaar oud en het lijkt erop dat de problemen opgelost zijn in versie 20.00.04.00.

Ik wil namelijk de controller op een Supermicro X9 board flashen naar IT mode voor gebruik met ZFS onder Ubuntu en Supermicro biedt alleen nog de P20 firmware aan (20.00.07.00).

[FireDrunk]

Ik heb al jaren een ZFS pool op een 2308 correctie: 3008. Nooit last mee.
Zou niet eens weten welke firmware er op staat, denk P19.

FireDrunk wijzigde deze reactie 29-12-2018 22:15 (9%)

[CurlyMo]

Borromini schreef op zaterdag 29 december 2018 @ 11:53:
Die is niet permanent aangesloten. Dus ik zou dan eigenlijk alles in het script op de achtergrond moeten laten draaien - of een scriptje laten monitoren voor de schijf in /dev en op basis daarvan alles afhandelen, los van udev.

Dan moet je ook zorgen dat je pool an-sich niet geïmporteerd wordt tijdens het booten.

[Timmy_87]

Hoi Tweakers,

Even een korte vraag.

Ik heb zojuist een nieuwe NAS gebouwd (ZFS opzet) met OS Freenas.
Nu heb ik op een aantal externe harde schijven (EXT4) data staan die ik graag op mijn nas zou willen zetten. Dit is helaas iets lastiger dan ik dacht....

Het gaat om zo;n 3TB in totaal

gr
Timmy

[Giesber]

Timmy_87 schreef op zondag 30 december 2018 @ 11:13:
Hoi Tweakers,

Even een korte vraag.

Ik heb zojuist een nieuwe NAS gebouwd (ZFS opzet) met OS Freenas.
Nu heb ik op een aantal externe harde schijven (EXT4) data staan die ik graag op mijn nas zou willen zetten. Dit is helaas iets lastiger dan ik dacht....

Het gaat om zo;n 3TB in totaal

gr
Timmy

Ik kijk precies over de vraag heen .

Ik gok dat je de externe schijven aan een PC/laptop wil hangen, en vervolgens de data naar de nas wil kopiëren?

Je kan een share opzetten, ik herinner mij deze thread van even geleden waarin heel wat informatie daarover gepost is.

Je kan ook de FTP service opzetten, en via een FTP client verbinden om de data over te zetten.

Je zou zelfs een plugin kunnen installeren om er een private cloud omgeving van te maken (NextCloud bijvoorbeeld).

Het gemakkelijkste zal zijn om het te doen op de manier waarop je in de toekomst graag je NAS wil benaderen.

[Borromini]

CurlyMo schreef op zondag 30 december 2018 @ 00:15:
[...]

Dan moet je ook zorgen dat je pool an-sich niet geïmporteerd wordt tijdens het booten.

De pool draait ook OK in een degraded state (met één lid van de mirror intern en altijd online). Bekijk het als een poor man's hotswap.

[Nielson]

Timmy_87 schreef op zondag 30 december 2018 @ 11:13:
Ik heb zojuist een nieuwe NAS gebouwd (ZFS opzet) met OS Freenas. Nu heb ik op een aantal externe harde schijven (EXT4) data staan die ik graag op mijn nas zou willen zetten. Dit is helaas iets lastiger dan ik dacht....

Wat lukt er niet dan? Je kunt de schijven toch gewoon aan je nas hangen en zo de data direct kopiëren?

/edit: Ah, ik zie nu dat EXT4 niet helemaal lekker wordt ondersteunt in FreeNAS, dus dat is misschien toch niet zo'n handige manier.

Nielson wijzigde deze reactie 30-12-2018 12:50 (13%)

[CurlyMo]

Borromini schreef op zondag 30 december 2018 @ 12:25:
[...]

De pool draait ook OK in een degraded state (met één lid van de mirror intern en altijd online). Bekijk het als een poor man's hotswap.

Ok, maar dat is toch niet je doel? Of wel?

---

Nielson schreef op zondag 30 december 2018 @ 12:47:
[...]
/edit: Ah, ik zie nu dat EXT4 niet helemaal lekker wordt ondersteunt in FreeNAS, dus dat is misschien toch niet zo'n handige manier.

Zou moeten werken in FreeBS, maar dan alleen readonly. Dat is voor dit doel prima.[quote]

This driver can also be used to access ext3 and ext4 file systems. However, ext3 journaling and extended attributes are not supported. Support for ext4 is read-only.

https://www.freebsd.org/doc/handbook/filesystems-linux.html

CurlyMo wijzigde deze reactie 30-12-2018 14:19 (50%)

[Borromini]

CurlyMo schreef op zondag 30 december 2018 @ 14:10:
[...]

Ok, maar dat is toch niet je doel? Of wel?

Jawel. Het is niet zo orthodox, maar het idee is de tweede schijf van de mirror periodiek automatisch aan te koppelen om te laten resilveren.

[CurlyMo]

Borromini schreef op zondag 30 december 2018 @ 15:04:
[...]

Jawel. Het is niet zo orthodox, maar het idee is de tweede schijf van de mirror periodiek automatisch aan te koppelen om te laten resilveren.

Aha, dus je hebt een 'poor mans backup' bedacht. Zou je niet liever willen backuppen zoals het bedoeld is voordat we met je meedenken over de huidige implementatie werkend te krijgen?

[Borromini]

Dit is niet voor kritieke data, maar biedt wel het voordeel dat via de checksumming fouten hersteld kunnen worden, terwijl het toch een zuinige setup blijft.

[CurlyMo]

Borromini schreef op zondag 30 december 2018 @ 16:29:
Dit is niet voor kritieke data, maar biedt wel het voordeel dat via de checksumming fouten hersteld kunnen worden, terwijl het toch een zuinige setup blijft.

Weet je zeker dat dat zo werkt? Want volgens mij ziet ZFS vooral een onbetrouwbare pool.

[FireDrunk]

@Borromini Checksum controle kan je ook krijgen door ZFS send en receive te gebruiken voor je backups.
Dat is er meer voor gemaakt.

[Borromini]

Hoe krijg je die checksumming dan? Ik ben met send/recv aan het spelen voor een ander project, maar heb dat nog nergens zien opduiken. Als er corruptie optreedt heb je nog altijd een kopie nodig om te corrigeren. Dat heb ik met die tweede schijf (op eS-ATA) wel.

Borromini wijzigde deze reactie 31-12-2018 10:59 (32%)

[Dj Neo Ziggy]

Ik zit met een probleem wat oplosbaar is, alleen de vraag hoe en de efficiëntste.
Ik heb een oude nas uit 2008 met 4 schijven. Deze staat in raid 10. Nu staat een van deze schijven te klapperen. Het is een WD green die al 8 jaar staat te draaien.

Nu mocht in een nieuwe server uitkiezen (iets nieuwer, iets meer ecc geheugen) en heb daarbij nieuwe schijven gekocht.

Hoe ga ik de data overzetten zonder daar een windows machine tussen te laten?
Ga ik
1. een push/pull config maken?
2. trek ik werkende schijven eruit en dan die vervolgens te importeren naar de nieuwe schijven?

Qua ruimte past het aan data.

[CurlyMo]

Dj Neo Ziggy schreef op maandag 31 december 2018 @ 11:24:
Hoe ga ik de data overzetten zonder daar een windows machine tussen te laten?
Ga ik
1. een push/pull config maken?
2. trek ik werkende schijven eruit en dan die vervolgens te importeren naar de nieuwe schijven?

Qua ruimte past het aan data.

De oude server is ook ZFS? Zo ja, gewoon huidige schijven overzetten naar nieuwe NAS en gelijk de gare vervangen door nieuwe schijf.

[CurlyMo]

Borromini schreef op maandag 31 december 2018 @ 10:58:
Hoe krijg je die checksumming dan? Ik ben met send/recv aan het spelen voor een ander project, maar heb dat nog nergens zien opduiken. Als er corruptie optreedt heb je nog altijd een kopie nodig om te corrigeren. Dat heb ik met die tweede schijf (op eS-ATA) wel.

Besef je ook dat al je menselijke fouten ook naar de eSata schijf worden overgenomen. Het is dus geen backup.

[Borromini]

Dat besef ik. Het is me alleen te doen om de integriteit van de bestanden, ik wil ze 'gaaf' houden zolang ik ze heb.

[FireDrunk]

Is copies=2 dan geen optie voor je?

[CurlyMo]

Borromini schreef op maandag 31 december 2018 @ 14:04:
Dat besef ik. Het is me alleen te doen om de integriteit van de bestanden, ik wil ze 'gaaf' houden zolang ik ze heb.

Als je een daadwerkelijk backup hebt, dan zet je toch handmatig de corrupte bestanden terug wanneer nodig. Live checksum reparatie heb je nu ook al niet aangezien de pool voornamelijk degraded is.

[CH4OS]

Ik zit mijzelf weer wat te verdiepen in monitoring van disks, mede omdat een HDD in mijn desktop wat kuren begint te vertonen. Een jaar geleden (of eigenlijk 2 nu we in 2019 zitten...) ook al gevraagd hoe en wat, maar niet echt een duidelijk antwoord gekregen. In de tussentijd zie ik ook in het topic wel 'mijn scripts' voorbij komen, maar verder helaas ook niet veel meer.

Ik ben op zoek naar monitoring van mijn ZFS pool en de disks die er in zitten. Nu kreeg ik alleen Zabbix en Nagios (al zijn er nog meer monitoring tools te vinden), maar is er niets wat specifiek ZFS monitoren kan? Zelf heb ik in het verleden al eens met Nagios gewerkt, dat is an sich een fijn pakket, maar zijn hier dan niet extra scripts voor nodig? En zo ja, welke raden jullie mij dan aan? Het liefste heb ik een webinterface waarmee ik het kan bijhouden.

Ik heb zelf de ZFS pool in een Debian VM geinstalleerd staan, mocht dat wat uitmaken.

Ook kwam ik in het topic ZFS Monitor tegen, maar zoals gezegd, ik heb het liefst iets webbased. En ZFS Monitor laat niet de SMART-status per disk zien.

CH4OS wijzigde deze reactie 02-01-2019 00:32 (17%)

[dcm360]

Prometheus kan zowel data uit ZFS als SMART-data verzamelen en daar leuke dingen mee doen. Mijn ervaring houdt echter wel op bij eens een keer de tools installeren en kijken wat daar uit kwam.

[FireDrunk]

Prometheus is wel met een kanon op een mug schieten.
Smartd (de daemon van smartmontools) kan al een heleboel. Als je het mailadres van root goed instelt, en je zorgt dat je uitgaande mail hebt, krijg je gewoon keurig van smartmontools mail als er iets mis is met je schijven.

Daarnaast ZED goed inrichten qua mail, en je krijgt keurig mail van ZFS bij een pool failure.

Over failures gesproken, zo werkt dat:

This message was generated by the smartd daemon running on:

   host name:  nas
   DNS domain: prov.io

The following warning/error was logged by the smartd daemon:

Device: /dev/sdl [SAT], ATA error count increased from 3 to 4

Device info:
Hitachi HDS724040ALE640, S/N:PK1331PAH2UZTS, WWN:5-000cca-22bcf61d2, FW:MJAOA3B0, 4.00 TB

For details see host's SYSLOG.

You can also use the smartctl utility for further investigation.
The original message about this issue was sent at Mon Sep 17 22:33:05 2018 CEST
Another message will be sent in 24 hours if the problem persists.

impact: Fault tolerance of the pool may be compromised.
    eid: 328
  class: statechange
  state: FAULTED
   host: nas
   time: 2019-01-01 17:09:22+0100
  vpath: /dev/disk/by-partlabel/7K4000-PK1331PAH2UZTS
  vguid: 0x3644DAAFA9BA3427
   pool: 0x2514FFE3D63D68CE

Goed begin van het nieuwe jaar...

[Borromini]

Da's jammer. Is het een schijf op leeftijd? HGST is doorgaans heel betrouwbaar spul 😊

Ik krijg hier zelfs mailtjes van de ZFS scrubs btw

[dcm360]

Gloednieuw zal die schijf wel niet zijn, zo te zien is dat type schijf al 2 jaar niet echt meer te krijgen. Maar ook betrouwbare schijven houden er wel een keer mee op. Ik heb schijven die het na ongeveer 7 jaar aan draaiuren nog prima doen, maar ik heb denk ik geen raid-setje waarvan alle schijven oud zijn (vaak zijn het n-1 oude schijven plus een wat jongere). Bij mij staan er op dit moment een schijf van Samsung uit 2011 en een Toshiba uit 2014 op de nominatielijst om vervangen te worden. Beiden veroorzaken nu mailtjes van smartd en zed, die alleen mailtjes sturen als er iets niet in orde is.

[FireDrunk]

Schijven zijn gekocht in April 2015, dus net geen 4 jaar oud. Hebben 24/7 gedraaid, dus ik gok ruim 30.000 uur aangestaan.

Deze schijf 'bokt' al een paar maanden, eerste melding in Augustus (smart error), zfs schopte de schijf er meteen uit. Gewoon weer 'online' gegooid, en draaide vrolijk verder. Tweede melding in November, zelfde verhaal.

En nu dus een 3e melding. Op zich is het een soort one-of fout die gebeurt op de kabel (smart error), en geen bad sector. Dus het is misschien zelfs wel op te lossen met een nieuwe kabel, of zelfs een resocket van de kabel. Maar na een 'zpool online <dev>' doet het ding het gewoon weer, dus meh

Staat niet echt (hele) belangrijke data op, en het is RAIDZ2, dus ach, gewoon weer zpool online denk ik

[CH4OS]

FireDrunk schreef op woensdag 2 januari 2019 @ 08:10:
Prometheus is wel met een kanon op een mug schieten.

Voor mij is dat an sich geen probleem, dan kan ik eventueel/wellicht andere zaken er ook in hangen om te monitoren. Heb nu namelijk niets aan monitoring.

CH4OS wijzigde deze reactie 02-01-2019 18:05 (6%)

[FireDrunk]

Is Netdata (https://github.com/netdata/netdata) niks voor je? Kan ook veel.
Je kan custom alerts maken, en out of the box doet het al _heel_ veel.

Zo krijg ik (zeer) regelmatig mail als mijn server te druk is (zowel qua CPU, Memory als Disk IO).



Is een stuk compacter en meer all-in-one dan Prometheus.
Ik ken prometheus vrij goed. Het is meer een Enterprise oplossing dan iets voor thuis.
Voordat het ding echt monitored en logged moet je echt wel wat configuratie doen.

Netdata is wat dat betreft kleiner. Grootste verschil is dat netdata geen opslag van metrics doet.
(Het heeft daar een prometheus endpoint voor )

Netdata heeft ook ondersteuning voor ZFS trouwens:


En dat is nog niet alles, bijvoorbeeld:

Hoe zie je dat je ARC groot is

FireDrunk wijzigde deze reactie 02-01-2019 18:18 (80%)

[iTeV]

CH4OS schreef op woensdag 2 januari 2019 @ 00:26:
Zelf heb ik in het verleden al eens met Nagios gewerkt, dat is an sich een fijn pakket, maar zijn hier dan niet extra scripts voor nodig? En zo ja, welke raden jullie mij dan aan?

Zelf check ik de health van ZFS en die van de disken d.m.v icinga2 i.c.m de volgende check plugins:
- https://github.com/nihlaeth/Nagios_check_smartmon;
- https://github.com/zlacelle/nagios_check_zfs_linux

Zo ben ik er recent achtergekomen dat die eerste plugin best wel nuttig is

PROBLEM: SMART_/dev/sda on <zfsdoos> is CRITICAL: /dev/sda: CRITICAL: there is a problem with bad sectors on the drive. Reallocated_Sector_Ct:1, Reallocated_Event_Count:0, Current_Pending_Sector:0, Offline_Uncorrectable:0

monitoring++

Het liefste heb ik een webinterface waarmee ik het kan bijhouden.

Als je iemand bent van de kekke grafiekjes en singlestats, zou je eens kunnen kijken naar grafana i.c.m prometheus/telegraf.

[CH4OS]

Dankzij de monitoring die ik nu heb, is het mij opgevallen dat er nogal veel in gebruik is op mijn ZFS pool:

Nu verbaasd het mij een beetje dat er een pool is van 21,8TB en er "maar" 16.3TB gealloceerd is. Na wat rekenen kan de vrije ruimte nog wel kloppen, maar ik begrijp even niet waarom er zo'n verschil is tussen size en allocated.

Vor de specs van mijn server, zie gallery: CH4OS en klik dan VMWare 2.0 open.

De WD Red disks heb ik in ZFS draaien, momenteel zijn dit twee zraid1 sets., via de IBM M1015 controller in HBA mode, dat ik met passthrough aan een VM doorgeef.

Mis ik iets, zie ik iets over het hoofd? Graag wat tips en tricks. Ook gekeken naar zfs garbage collection, maar kon zo gauw geen how toof andere resource vinden die dat even uitlegt.

EDIT:
Via de commandline manual kom ik ook eigenlijk niets bruikbaars tegen, dus ik denk dat ik misschien dingen aanhaal waar ikzelf niets voor hoef te doen of haal ik dingen wellicht door elkaar?

CH4OS wijzigde deze reactie 09-01-2019 22:01 (16%)

[RudolfR]

@CH4OS
Volgens mij wordt met 'allocated' eigenlijk 'in use' bedoeld.

Volgens 'man zpool' (op Ubuntu)

-o props Comma-separated list of properties to display. See the "Properties" section for a list of valid properties. The default list is "name, size, used, available, fragmentation,
expandsize, capacity, dedupratio, health, altroot"

[CH4OS]

RudolfR schreef op woensdag 9 januari 2019 @ 22:02:
@CH4OS
Volgens mij wordt met 'allocated' eigenlijk 'in use' bedoeld.

Volgens 'man zpool' (op Ubuntu)

Doe ik zfs list, krijg ik dat ik 11,9T in gebruik heb;
Dus dat lijkt te kloppen, met een pool van 16TB en 5TB vrij. Ik denk dat dat stuk dus wel klopt, maar hoe ik het gat tussen de 21TB en 16TB kan oplossen weet ik even niet.

CH4OS wijzigde deze reactie 09-01-2019 22:07 (20%)

[dcm360]

Je hebt bruto 24TB, dat is 21.8TiB en dat toont `zpool list`. Met raidZ1 gebruik je een kwart voor parity, dus `zfs list` welke netto hoeveelheden toont houdt driekwart over. Dus 11.9TiB netto in gebruik kost 16.3TiB aan bruto opslag in jouw geval, dus dat matcht redelijk met de verwachting. Zover was je ook al denk ik, dus jouw vraag beantwoord ik er vermoedelijk niet mee. Ik vraag me eigenlijk meer af waar je naar op zoek bent, aangezien alles binnen de verwachting optelt.

[CH4OS]

@dcm360 Ik vond de ruimte tussen totaal en allocated nogal veel. Maar het is dus goed, mooi zo.
Dan moet ik even verder kijken naar opschoon mogelijkheden. Ik had ook wat gezien over garbage collection, maar als ik daarover mezelf verder wil informeren zit ik gauw vast; gebeurd dat in ZFS al automatisch oid?

[dcm360]

CH4OS schreef op woensdag 9 januari 2019 @ 23:34:
@dcm360 Ik vond de ruimte tussen totaal en allocated nogal veel. Maar het is dus goed, mooi zo.

Meer vrije ruimte is nooit verkeerd Wel geldt ook in dit geval dat het een bruto hoeveelheid is, en dat je dus maar voor 75% van deze hoeveelheid aan ruimte kan gebruiken en de rest opgaat aan parity.

Dan moet ik even verder kijken naar opschoon mogelijkheden. Ik had ook wat gezien over garbage collection, maar als ik daarover mezelf verder wil informeren zit ik gauw vast; gebeurd dat in ZFS al automatisch oid?

Op dit punt is mijn kennis over BTRFS wat uitgebreider dan over ZFS, maar dat komt geloof ik omdat ZFS er nogal beperkte of geen mogelijkheden voor heeft. Interessante is wel dat ik ZFS meer gebruik, maar dat ik dergelijke tools harder nodig had bij BTRFS om het werkend te houden, dus ik zou het maar als pluspunt voor ZFS beschouwen.

[FireDrunk]

@CH4OS Wat bedoel je met Garbage Collection? Ala TRIM? Of iets anders?

ZFS doet nog geen defragmentatie, en geen TRIM. Er staat een groot Pull Request open op de github repo, maar daar zitten nog wat bugs in. Het staat hoog op de agenda bij de volgende ZFS meeting. Het is eergister besproken:

Bron:
https://docs.google.com/d...BVsjAYoLIFZAnWHhV-BM/edit

TRIM Support:
Currently two implementations. One already merged in FreeBSD and another one in PRs to illumos and Linux originating from Nexenta.
FreeBSD users have seen some performance improvements. Same for some Nexenta folks.
The common pattern being that this is very vendor specific and having TRIM on can boost or degrade performance.
The complexity that the TRIM change introduces is fairly significant at the same time, so hard evidence is needed to convince going through with those PRs.
Conclusion: We can continue with this once we have some hard data on its behavior and how it helps from existing users of TRIM.

Qua defragmentatie heb ik al maanden niets substantieels voorbij zien komen (helaas).

[oddish2211]

Ik heb een apart probleempje.

Ik had een 8 disk RAIDZ2 array welke een wel erg lage schrijf/leessnelheid had, denk aan +- 60MB/s. SMART van alle disks gaven eigenlijk geen problemen aan, extended test ging goed & er waren geen checksum etc. fouten in ZFS. Na wat benchmarks van losse disks kwam ik erachter dat 1 disk een wel erg lage schrijfsnelheid had bij random IO.

Disk vervangen en alles werkte als een zonnetje, tot dat na een dag alle disks en de pool opeens checksum errors spuwden in ZFS. DIt genereerde een hoop perisistent errors welke de meerdere scrubs niet op konden lossen.

Gelukkig had ik van de belangrijke data een backup, dus ik kon de hele pool gewoon weggooien en opnieuw een pool maken. Dat leverde de volgende data op waar ik niet echt uit kom.

- Ik heb een nieuwe RAIDZ2 pool gemaakt met 8 disks, nadat ik hier weer data op zette kwam er na een scrub een hele berg (4K+) checksum errors op de disks en op de pool.
- Daarna heb ik 8 aparte stripe pools gemaakt met compressie uit om uit te kunnen vinden welke disk de problemen gaf, ik heb iedere pool bijna compleet volgeschreven met dd en gescrubt. Hier kwamen geen checksum errors uit.

Ik kan nu niet echt de vinger op het probleem leggen. Als het een probleem was met mijn FreeNAS VM, HBA, SAS kabels of geheugen dan had ik met de losse striped pools toch ook problemen moeten hebben?

Ik heb de volgende hardware in gebruik:
8x Dell branded WD WD4000FYYZ schijven.
Dell H730p mini HBA passed through naar een FreeNAS VM.
16GB ECC geheugen, waarvan 8 GB voor de VM.

[CurlyMo]

Heb je al een geheugentest gedaan?

[oddish2211]

CurlyMo schreef op zaterdag 12 januari 2019 @ 14:02:
Heb je al een geheugentest gedaan?

Nog niet, memtest86+ staat wel op de planning.
Maar, mijn centos host geeft aan dat multi-bit ECC enabled is & edac-util geeft het volgende:
mc0: csrow0: 0 Uncorrected Errors
mc0: csrow0: CPU_SrcID#0_Ha#0_Chan#0_DIMM#0: 0 Corrected Errors

- edit

Nu wel, en memtest86+ heeft meerdere passes succesvol afgerond.

oddish2211 wijzigde deze reactie 13-01-2019 13:42 (8%)

[FireDrunk]

Kapotte controller misschien? Wordt het ding misschien te warm?

[oddish2211]

Dat zou inderdaad nog kunnen, al probeer ik van de week wel eerst kabels naar de backplane te vervangen. Meteen de h730p vervangen is helaas een beetje prijzig.

[HyperBart]

Zo, ik meld me ook nog maar eens

Ik draai al een tijdje enkele jaren een NAS/server sinds zijn installatie op Ubuntu 14.04. Superstabiel, nooit omkijken naar gehad, wekelijkse scrub & logging en zeer uitgebreide SMART historiek in tekstfiles. Geen blipje problemen mee...

Eens per zoveel tijd besluit ik dan toch om even wat bij te blijven en de nodige updates te doen. In dit geval een upgrade naar een branch die iets actiever onderhouden wordt. Ik wens dus te landen op Ubuntu 18.10 of 18.04, mij is het eender eigenlijk.

Een van de belangrijkste dingen is het ZFS gedeelte. Zijn er mensen met gelijkaardige ervaringen of advies waar je op moet letten? Ik heb al begrepen dat ik een interim-upgrade naar 16.04 moet doen en dat er wat veranderd is mbt upstart/systemd...

[FireDrunk]

#YOLO

[CurlyMo]

HyperBart schreef op maandag 14 januari 2019 @ 12:38:
Zo, ik meld me ook nog maar eens

Als je root pool ook ZFS is vooral even een volledige snapshot draaien voor je upgrade. Dan kan er niks mis gaan (als je je snapshots niet verknalt).

[oddish2211]

Okee, ik heb wat interessants ontdekt na een paar vragen op reddit.
Wanneer ik mijn H730p niet passthrough naar mijn FreeNAS VM, maar naar een CentOS 7 VM met de ZOL dkms modules geinstalleerd dan werkt alles prima.

Het lijkt erop dat het of aan de versie van ZFS onder FreeNAS ligt of een incompatibiliteit tussen FreeNAS en mijn H730p.

[FireDrunk]

Ligt het niet aan de firmware versie? FreeBSD heeft wel een history van firmware issues met bepaalde HBA's.

[matty___]

Grappig. ABI change in Linux 5.0 maakt ZoL onbruikbaar.

Nu FreeBSD heeft besloten over te gaan op de ZoL codebase is dit weer niet echt handig voor de verdere ontwikkeling van ZFS.

https://lore.kernel.org/[e-mail]/

As it stands, v5.0 removes the ability from non-GPL modules to use
the FPU or SIMD instructions and that kills ZFS on Linux. This isn't
hurting Oracle, they're not using OpenZFS, it's only hurting ZoL users.

matty___ wijzigde deze reactie 15-01-2019 12:59 (46%)

[oddish2211]

FireDrunk schreef op dinsdag 15 januari 2019 @ 11:31:
Ligt het niet aan de firmware versie? FreeBSD heeft wel een history van firmware issues met bepaalde HBA's.

Helaas draai ik de laatste versie van de HBA firmware.
Gelukkig heb ik niet perse een behoefte om bij FreeNAS te blijven, NFS + Samba zijn toch zo opgezet onder CentOS.

[HyperBart]

Voor diegene die ooit van 14.04 naar 18.04 wil gaan, dankzij wat blijkt de uitgebreide testen en betrouwbaarheid van LTS-releases was updaten relatief eenvoudig (althans voor ZFS related zaken). Ik had wat issues met een stukje software van upstart naar systemd te krijgen maar met hulp van @FireDrunk zeer snel terug gefixed.

Van 14.04 naar 16.04

# Export ZFS Pool first - may need to switch to single user mode for this
zfs umount -a; zpool export <poolname>
# Remove old ZFS stuff
apt-get remove ubuntu-zfs zfs-doc spl-dkms
apt-get autoremove
add-apt-repository --remove ppa:zfs-native/stable

# upgrade time!
do-release-upgrade

apt install zfsutils-linux

#reboot

van 16.04 naar 18.04:

do-release-upgrade

#importen van je pools

HyperBart wijzigde deze reactie 17-01-2019 15:20 (20%)

[FireDrunk]

[brederodekater]

Misschien een beetje offtopic - maar weet misschien iemand waar CiPHER tegenwoordig is? Vond z'n inzichten altijd heel interessant, best een groot gemis de afgelopen jaren

[FireDrunk]

Hij is aan de vrouw.

[CurlyMo]

FireDrunk schreef op vrijdag 18 januari 2019 @ 08:13:
Hij is aan de vrouw.

Heb je dan niet juist de behoefte om zo nu en dan hier rond te hangen?

[matty___]

FireDrunk schreef op vrijdag 18 januari 2019 @ 08:13:
Hij is aan de vrouw.

Heeft die geen NAS nodig?

[FireDrunk]

Aangaande TRIM support in ZFS:

YouTube: January 2019 OpenZFS Leadership Meeting

FireDrunk wijzigde deze reactie 21-01-2019 15:34 (3%)

[HyperBart]

brederodekater schreef op donderdag 17 januari 2019 @ 21:34:
Misschien een beetje offtopic - maar weet misschien iemand waar CiPHER tegenwoordig is? Vond z'n inzichten altijd heel interessant, best een groot gemis de afgelopen jaren

Ik had nog niet door dat ie al een tijdje zijn mod-jas aan de haak had gehangen.

[HyperBart]

Maakt er hier iemand gebruik van ZFS op Ubuntu en hdparm om disks in spindown te zetten na een idle?

Bij een van mijn eerste builds had ik een hdparm.conf file die juist behandeld werd maar ergens along the road is dit gestopt en moet ik manueel de commando's uitvoeren na een reboot zodat de disks na 20 min in spindown gaan (zie hieronder). Het rare hieraan is dat vanaf het moment dat ik de commando's activeer ik niet lang er na regelmatig over mijn hele pool (1 vdev, 10 disks) checksum errors zie opdruiken.

Ik doe iedere week een scrub en log ook heel uitgebreid SMART waardes overview, SMART waardes per disk heel uitgebreid, CRC's, zpool status'en. Op aanvraag kan ik die er wel bij zetten, dan moet ik er alleen wat serienummers uit halen.

Ik heb hier indertijd samen met @FireDrunk eens naar gekeken maar toen vonden we ook niet direct iets. omdat het vaak maar om 0B gaat en cksum errors maak ik me er ook niet al te veel zorgen in, ZFS vertrouw ik door en door en vangt dit netjes op maar het gaat net zo lang goed tot het fout gaat natuurlijk .

De omgeving is nu ook anders, server staat in een koele kamer en het probleem is 1 op 1 reproduceerbaar als ik spindown aan zet.

command_line {
    hdparm -S 240 /dev/disk/by-partlabel/disk1-
    hdparm -S 240 /dev/disk/by-partlabel/disk2-
    hdparm -S 240 /dev/disk/by-partlabel/disk3-
    hdparm -S 240 /dev/disk/by-partlabel/disk4-
    hdparm -S 240 /dev/disk/by-partlabel/disk5-
    hdparm -S 240 /dev/disk/by-partlabel/disk6-
    hdparm -S 240 /dev/disk/by-partlabel/disk7-
    hdparm -S 240 /dev/disk/by-partlabel/disk8-
    hdparm -S 240 /dev/disk/by-partlabel/disk9-
    hdparm -S 240 /dev/disk/by-partlabel/disk10-
}

  pool: stavanger
 state: ONLINE
status: One or more devices has experienced an unrecoverable error.  An
        attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
        using 'zpool clear' or replace the device with 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-9P
  scan: scrub repaired 0B in 13h44m with 0 errors on Tue Jan 22 01:03:28 2019
config:

        NAME                 STATE     READ WRITE CKSUM
        stavanger            ONLINE       0     0     0
          raidz2-0           ONLINE       0     0     0
            disk1-XXXXXXXX   ONLINE       0     0     0
            disk2-XXXXXXXX   ONLINE       0     0     0
            disk3-XXXXXXXX   ONLINE       0     0     0
            disk4-XXXXXXXX   ONLINE       0     0     1
            disk5-XXXXXXXX   ONLINE       0     0     0
            disk6-XXXXXXXX   ONLINE       0     0     0
            disk7-XXXXXXXX   ONLINE       0     0     0
            disk8-XXXXXXXX   ONLINE       0     0     0
            disk9-XXXXXXXX   ONLINE       0     0     0
            disk10-XXXXXXXX   ONLINE       0     0     0
        cache
          PART-EVO250-L2ARC  ONLINE       0     0     0

HyperBart wijzigde deze reactie 23-01-2019 13:01 (11%)

[Q]

Ik heb zelf alleen maar ellende gehad met ZFS + spindown maar die ervaring is van jaren geleden. Werd het niet juist afgeraden om ZFS te combineren met spindown?

[FireDrunk]

Mwoh, ik heb er zelf nooit problemen mee ondervonden, anders dan dat het traag werd. In (toendertijd nog) een pool van 10 disks, werden de disks sequentieel opgespint, Dat vinden niet alle applicaties en gebruikers leuk (en vooral dat laatste)

[Joni]

Joni schreef op zaterdag 29 december 2018 @ 19:02:
Heeft iemand recente ervaring met de P20 IT firmware voor de LSI SAS2308 controller i.c.m. ZFS? Onder andere in dit topic is terug te vinden dat de P20 firmware serieuze bugs bevat. Dit zijn echter wel berichten van een paar jaar oud en het lijkt erop dat de problemen opgelost zijn in versie 20.00.04.00.

Ik wil namelijk de controller op een Supermicro X9 board flashen naar IT mode voor gebruik met ZFS onder Ubuntu en Supermicro biedt alleen nog de P20 firmware aan (20.00.07.00).

Om hier nog op terug te komen: 20.00.07.00 werkt hier zonder problemen onder zowel OmniOSce r151022 als Ubuntu 18.10. De problemen met de eerste release lijken dus inderdaad opgelost.

[Q]

FireDrunk schreef op donderdag 24 januari 2019 @ 07:52:
Mwoh, ik heb er zelf nooit problemen mee ondervonden, anders dan dat het traag werd. In (toendertijd nog) een pool van 10 disks, werden de disks sequentieel opgespint, Dat vinden niet alle applicaties en gebruikers leuk (en vooral dat laatste)

Ja dat was het probleem, met 24 disks ging dat dus mis 😅

[Koenoe]

Met permissie.

Ik heb onlangs mijn oude Asus ncch-dl workstation terug gekregen.

Specs:

2 Xeons 774,
4gb ECC geheugen.
Adaptec 2410sa RAID kaartje
Radeon 4670 AGP.

Er zit 4 hotswaps aan de voorkant, die gekoppeld zijn aan de Adaptec raid kaart.

Ik wil hiermee oefenen/leren om met ZFS om te gaan. Linux ervaring heb ik een beetje vanuit vroeger. De RAID kaart accepteert maximaal 1TB schijven met een max van 2TB per volume. Doet er niet toe volgens mij, want eigenlijk is ZFS over een hardware RAID een slecht idee. Legacy/JBOD mode moet het dan toch worden (tenzij mensen zelfs dit afraden).

Mijn vraag is eigenlijk welk OS het verstandigst is om te gebruiken? Is het verstandiger, dan wel handiger om FreeBSD te gebruiken of voldoet een Linux OS (Fedora/Mint/Ubuntu/Suse) ook?

Ik heb 4 x 1TB schijven, voor zover ik begrijp is het verstandigst om RAID-Z1 te gebruiken (tenminste dan behoud ik de meeste TB's).

[Brahiewahiewa]

Koenoe schreef op woensdag 30 januari 2019 @ 20:25:

...Ik wil hiermee oefenen/leren om met ZFS om te gaan.

...Ik heb 4 x 1TB schijven, voor zover ik begrijp is het verstandigst om RAID-Z1 te gebruiken (tenminste dan behoud ik de meeste TB's).

Ik zou zeggen: oefen vooral met meerdere RAID varianten en gebruik de opgedane ervaring om een serieuze storage op te zetten

[Koenoe]

Brahiewahiewa schreef op woensdag 30 januari 2019 @ 20:38:
[...]

Ik zou zeggen: oefen vooral met meerdere RAID varianten en gebruik de opgedane ervaring om een serieuze storage op te zetten

De serieuze storage is er al wel eigenlijk. Tenminste, qua omvang. Op 2 locaties 11TB+ aan opslag. Dit wordt dan gevoed om de zoveel tijd met usb overdracht en (t.z.t) "gecontroleerd" met FreeFileSync (even vloeken in de kerk). Zoals ik al aangaf is dit mijn oude workstation, dus qua "gewone" RAIDs heb ik ook wel het een en andere ervaring (ook slechte).

Ik begreep alleen dat voor RAID-z2 ik tenminste 5 schijven nodig heb. M.a.w. qua RAID's heb ik dan maar 2 keuzes m.b.t. ZFS. Mirroring en RAID-z1.

[CurlyMo]

Koenoe schreef op woensdag 30 januari 2019 @ 21:04:
[...]
Ik begreep alleen dat voor RAID-z2 ik tenminste 5 schijven nodig heb. M.a.w. qua RAID's heb ik dan maar 2 keuzes m.b.t. ZFS. Mirroring en RAID-z1.

RAIDZ2 zegt 2 parity schijven. Dat kan dus theoretisch al bij een pool 3 schijven. Ik draai het met 4 schijven.

[Rolfie]

Ik heb een leuke. Mijn systemboard van mijn oude nas is overleden. Deze vervangen voor een supermicro X10SRL-F.
Uit eindelijk nieuwe installatie van FreeNAS gedaan, en database gerestored.

Nu heeft alleen mijn data volume een probleem. Het bestaat uit een RAIDZ2 volume.
Momenteel krijg ik de volgend zpool status te zien.


code:

    NAME                                            STATE     READ WRITE CKSUM
    volume                                          DEGRADED     0     0   106
      raidz2-0                                      DEGRADED     0     0   212
        gptid/2200e743-cc9e-11e3-b527-60a44ccf9647  DEGRADED     0     0     0  too many errors
        gptid/59cd44cd-cf7e-11e6-aab1-60a44ccf9647  DEGRADED     0     0     0  too many errors
        gptid/8e7f5e12-2a5e-11e7-b0fa-60a44ccf9647  DEGRADED     0     0    17  too many errors
        gptid/241f097d-cc9e-11e3-b527-60a44ccf9647  ONLINE       0     0    32
        gptid/afd88b75-9009-11e7-9a28-60a44ccf9647  DEGRADED     0     0     0  too many errors
        gptid/98949ee9-2735-11e7-9bf4-60a44ccf9647  DEGRADED     0     0    10  too many errors

Niet goed....

Machine uitgezet kabels opnieuw aangedrukt, en machine weer aangezet.

Ik krijg nu geen errors op mijn disks, maar


code:

    NAME                                            STATE     READ WRITE CKSUM 
volume                                              DEGRADED     0     0   171
      raidz2-0                                      DEGRADED     0     0   342
        gptid/2200e743-cc9e-11e3-b527-60a44ccf9647  ONLINE       0     0     0 
        gptid/59cd44cd-cf7e-11e6-aab1-60a44ccf9647  DEGRADED     0     0     0  too many errors
        gptid/8e7f5e12-2a5e-11e7-b0fa-60a44ccf9647  DEGRADED     0     0     0  too many errors
        gptid/241f097d-cc9e-11e3-b527-60a44ccf9647  ONLINE       0     0     0
        gptid/afd88b75-9009-11e7-9a28-60a44ccf9647  DEGRADED     0     0     0  too many errors
        gptid/98949ee9-2735-11e7-9bf4-60a44ccf9647  DEGRADED     0     0    10  too many errors

Heb een backup gelukkig van mijn meeste data op dit volume, maar ik wil toch graag mijn data zien te behouden indien mogelijk. Er zijn wat files corrupt, maar geen kritische data tot nu toe.

Ik zit te denken aan eventueel defecte SATA kabels?
Misschien Defect systemboard? SATA controller?
Ik heb nog 4 SSD's liggen, ik zou eventueel de harddisken los kunnen koppelen en een SSD raid volume maken.

[CurlyMo]

Rolfie schreef op vrijdag 1 februari 2019 @ 17:29:
Ik heb een leuke. Mijn systemboard van mijn oude nas is overleden. Deze vervangen voor een supermicro X10SRL-F.
Uit eindelijk nieuwe installatie van FreeNAS gedaan, en database gerestored.

Nu heeft alleen mijn data volume een probleem. Het bestaat uit een RAIDZ2 volume.

Wat is de status na een scrub? Heb je al een memtest gedraaid?

[Rolfie]

CurlyMo schreef op vrijdag 1 februari 2019 @ 17:30:
Wat is de status na een scrub? Heb je al een memtest gedraaid?

Scrub heb ik nog niet gedaan. Aangezien de POOL na een paar minuten offline gaat. Te veel checksum errors en de counters nog steeds opliepen.
Memory niet gedaan. Is wel 128GB ECC memory, zou dus niet fout mogen gaan.

Update:
Andere SATA PCI controller geprobeerd -> Zelfde errors
Andere SATA kabels gebruikt met onboard sata controller => Zelfde errors
RAIDZ2 met 4 SSD aangemaakt met onboard SATA controller => Werkt goed.
SCRUB heeft geen effect.

Vreemde is dat de errors voornamelijk op de CKSUM oplopen. Niet op de harddisks.


code:

    NAME                                            STATE     READ WRITE CKSUM 
volume                                              DEGRADED     0     0   [b]171[/b]
      raidz2-0                                      DEGRADED     0     0   [b]342[/b]

Lijkt dus te zitten in het RAIDZ2 volume?

Lijkt er trouwens wel op dat ik de data nog kan benaderen.... Helemaal vreemd.

Rolfie wijzigde deze reactie 01-02-2019 20:12 (48%)

[Emcee]

Iemand ervaring met deze NAS? De orico OS800-BK
Een 8 bay nas met de optie om freenas te laten installeren.

http://www.orico.cc/goods.php?id=6902

Komt met 8Gb geheugen (ECC?). Aan de krappe kant met ZFS?

Emcee wijzigde deze reactie 08-02-2019 21:05 (18%)

[CurlyMo]

Emcee schreef op vrijdag 8 februari 2019 @ 21:01:
Iemand ervaring met deze NAS? De orico OS800-BK
Een 8 bay nas met de optie om freenas te laten installeren.

http://www.orico.cc/goods.php?id=6902

Komt met 8Gb geheugen (ECC?). Aan de krappe kant met ZFS?

Om die 8Gb hoef het niet te laten. Verder geen ervaring met die kast.

[InflatableMouse]

Hey even snel een vraagje over het creeren van een pool op nvme ssd's.

Ik ben mijn server aan het herinrichten en heb er nu 2 256GB nvme SSD's inzitten waar ik een mirror op wil zetten.

Wat is de ashift waarde die ik moet gebruiken op deze schijfjes (Samsung MZVPV256 en een MZVLB256).

Waar of hoe vind je de juiste ashift waarde die je moet gebruiken?

Zoeken vind ik eigenlijk alleen wat mensen proef ondervindelijk voor hun nuttig vinden.

Alvast bedankt.

Na wat meer en beter zoeken vind ik pdf datasheets van vergelijkbare ssd's, 512 byte sectors. Er van uitgaande dat mijn schijfjes hetzelfde zijn kan ik ashift dus weglaten? Is dat de juiste conclusie?

InflatableMouse wijzigde deze reactie 09-02-2019 17:07 (17%)

[CurlyMo]

InflatableMouse schreef op zaterdag 9 februari 2019 @ 16:34:
Waar of hoe vind je de juiste ashift waarde die je moet gebruiken?

Een smartctl geeft je de sector sizes:

code:

Model Family:     Western Digital Red
...
Sector Sizes:     512 bytes logical, 4096 bytes physical

Daarvoor geldt dus een ashift van 12.

Nu mijn SSD's:

code:

Model Family:     Crucial/Micron MX1/2/300, M5/600, 1100 Client SSDs
...
Sector Sizes:     512 bytes logical, 4096 bytes physical

Idem dito dus.

Check even of de output bij jou hetzelfde is. Zo ja, dan een ashift van 12 zo niet dan 9.

[InflatableMouse]

CurlyMo schreef op zaterdag 9 februari 2019 @ 17:41:
[...]

Een smartctl geeft je de sector sizes:

code:

Model Family:     Western Digital Red
...
Sector Sizes:     512 bytes logical, 4096 bytes physical

Daarvoor geldt dus een ashift van 12.

Nu mijn SSD's:

code:

Model Family:     Crucial/Micron MX1/2/300, M5/600, 1100 Client SSDs
...
Sector Sizes:     512 bytes logical, 4096 bytes physical

Idem dito dus.

Check even of de output bij jou hetzelfde is. Zo ja, dan een ashift van 12 zo niet dan 9.

oke, dank je.

De nvme drives geven die parameter niet weer. Ik ben nu een beetje aan het testen of ik met wat simpele benchmarks iets kan meten tussen geen ashift, ashift 12 en ashift 13. Totaal geen verschil tot nu.

[InflatableMouse]

Ben happy!

Ging een keer mis met mountpoints (wat een bitch is dat zeg!) maar nu gelukt, Arch Linux met rootfs op ZFS:


code:

# zpool status
  pool: backup
 state: ONLINE
  scan: none requested
config:

    NAME                                            STATE     READ WRITE CKSUM
    backup                                          ONLINE       0     0     0
      raidz1-0                                      ONLINE       0     0     0
        ata-HGST_HDS724040ALE640_PK1331PAJDDT4S     ONLINE       0     0     0
        ata-Hitachi_HDS724040ALE640_PK2331PAH32XHT  ONLINE       0     0     0
        ata-Hitachi_HDS724040ALE640_PK2381PAH5JKKT  ONLINE       0     0     0
    logs
      mirror-1                                      ONLINE       0     0     0
        nvme0n1p4                                   ONLINE       0     0     0
        nvme1n1p4                                   ONLINE       0     0     0
    cache
      nvme1n1p2                                     ONLINE       0     0     0

errors: No known data errors

  pool: data
 state: ONLINE
  scan: none requested
config:

    NAME                                            STATE     READ WRITE CKSUM
    data                                            ONLINE       0     0     0
      raidz1-0                                      ONLINE       0     0     0
        ata-HGST_HDN724040ALE640_PK1334PBGXH9XS     ONLINE       0     0     0
        ata-Hitachi_HUS724040ALE640_PK2331PAG7HBAT  ONLINE       0     0     0
        ata-Hitachi_HUS724040ALE640_PK1331PAG80D8S  ONLINE       0     0     0
    logs
      mirror-1                                      ONLINE       0     0     0
        nvme0n1p3                                   ONLINE       0     0     0
        nvme1n1p3                                   ONLINE       0     0     0
    cache
      nvme0n1p2                                     ONLINE       0     0     0

errors: No known data errors

  pool: zroot
 state: ONLINE
  scan: none requested
config:

    NAME           STATE     READ WRITE CKSUM
    zroot          ONLINE       0     0     0
      mirror-0     ONLINE       0     0     0
        nvme0n1p1  ONLINE       0     0     0
        nvme1n1p1  ONLINE       0     0     0

errors: No known data errors

Edit:
Ik heb alleen 1 gek probleem en dat is dat pools data en backup niet automatisch gemount worden. Ik heb volgens mij de juiste services enabled en de cachefile property gezet.

iemand idee hoe ik die pools automatisch moet laten mounten na een reboot?

InflatableMouse wijzigde deze reactie 10-02-2019 15:57 (5%)

[dutch_warrior]

Een vraagje: Is het nog steeds aan te raden om GPT partities aan te maken met een offset (voor alignment) op je disk en dan de zpool op te bouwen op basis van partlabel?

Heb dat in het verleden wel altijd gedaan eigenlijk een beetje zoals firedrunk ooit op zijn blog had beschreven.
Lees er echter nu wat wisselende informatie over en kan geen recente goed onderbouwde informatie vinden over waarom ik geen partlabels meer zou moeten gebruiken.

In veel discussies haalt iemand performance hits aan bij gepetitioneerde schijven maar voor zover ik weet was dat vooral een ding bij Solaris en had dat te maken met het niet gebruiken van disk cache als er partities op de schijf aanwezig waren?

dutch_warrior wijzigde deze reactie 10-02-2019 22:28 (11%)

[CurlyMo]

dutch_warrior schreef op zondag 10 februari 2019 @ 22:27:
Een vraagje: Is het nog steeds aan te raden om GPT partities aan te maken met een offset (voor alignment) op je disk en dan de zpool op te bouwen op basis van partlabel?

Het is hier ooit aan bod gekomen dat HDD fabrikanten zich aan onderlinge conventies houden voor sector groottes van verschillende HDD formaten. Het zou dus niet meer nodig moeten zijn.

[dutch_warrior]

CurlyMo schreef op zondag 10 februari 2019 @ 22:29:
[...]

Het is hier ooit aan bod gekomen dat HDD fabrikanten zich aan onderlinge conventies houden voor sector groottes van verschillende HDD formaten. Het zou dus niet meer nodig moeten zijn.

Ok thanks. Vond het wel prettig om in de partlabels specifieke bays aan te duiden echter was het soms wel omslachtig als een andere beheerder iets met de pools moest doen.
Ga ik voor deze setup toch even kijken naar disk-id, dat vereist iets minder configuratie dus maakt het misschien weer makkelijker overdraagbaar .

[InflatableMouse]

ZFS needs to be able to trigger the device's onboard cache to flush when a synchronous write is requested, to ensure that the write is really on stable storage before returning to the application. It can only do this if it controls the whole device. If using a slice, ZFS cannot issue the cache flush and you risk losing data during an unexpected shutdown.

Kan iemand dit bevestigen danwel ontkrachtigen met een min of meer betrouwbare bron?

Ik heb 2 pools van 3 schijven in RAIDZ en ik heb 4 nvme ssd's van 240GB waar ik verschillende dingen op kwijt wil:
+/- 170GB OS mirrored
64GB L2ARC per pool, striped (2 x 32GB of 4 x 16GB?)
+/- 1 a 2GB SLOG per pool.

Ik worstel een beetje met wat de beste manier is om het te verdelen, als ik SLOG alleen een complete disk kan geven door bovenstaande, is het compleet zonde want dan ben ik meteen 2 x 240GB kwijt waar maar hooguit een GB van gebruikt gaan worden. Met sync=always kan je alle schrijf acties door je ZIL laten lopen maar en dan is groter misschien wel de moeite?

Wat zijn de ideeen? iemand hier ervaring mee?

[GioStyle]

De grote hamvraag is natuurlijk: wat voor data heb je en wat doe je er mee?

[Brent]

Ubuntu ontwikkelaars onderzoeken zfs als root voor desktops als optie, misschien zelfs standaard in 20.04 LTS:

https://www.phoronix.com/...tu-Desktop-ZFS-Root-Again

[InflatableMouse]

GioStyle schreef op donderdag 14 februari 2019 @ 13:47:
De grote hamvraag is natuurlijk: wat voor data heb je en wat doe je er mee?

Vanalles. Diverse web applicaties, databases, containers, VM's met en zonder zvols, NFS en SMB shares.

Maar ik zoek eigenlijk voornamelijk antwoord op de vraag over dat flushen, dat bepaalt in grote mate hoe het ingericht dient te worden.

[GioStyle]

InflatableMouse schreef op donderdag 14 februari 2019 @ 14:23:
[...]


Vanalles. Diverse web applicaties, databases, containers, VM's met en zonder zvols, NFS en SMB shares.

Maar ik zoek eigenlijk voornamelijk antwoord op de vraag over dat flushen, dat bepaalt in grote mate hoe het ingericht dient te worden.

Daar heb ik geen antwoord op.

Maar als je sync=always doet dan gaan volgens mij alle schrijfacties via je slog. Dan wil je toch juist een aparte device, zodat je niet binnen no time je write cycles hebt opgebrand.

GioStyle wijzigde deze reactie 14-02-2019 14:45 (24%)

[InflatableMouse]

GioStyle schreef op donderdag 14 februari 2019 @ 14:44:
[...]


Daar heb ik geen antwoord op.

Maar als je sync=always doet dan gaan volgens mij alle schrijfacties via je slog. Dan wil je toch juist een aparte device, zodat je niet binnen no time je write cycles hebt opgebrand.

Ik kan in theorie 1 complete nvme ssd per pool als zil inzetten en sync=always aanzetten.

Of het nuttig is betwijfel ik en aangezien de work load zo divers is, is het niet echt van te voren te bepalen.

[CurlyMo]

Brent schreef op donderdag 14 februari 2019 @ 14:00:
Ubuntu ontwikkelaars onderzoeken zfs als root voor desktops als optie, misschien zelfs standaard in 20.04 LTS:

https://www.phoronix.com/...tu-Desktop-ZFS-Root-Again

Zijn er nog mensen die geen zfs-on-root draaien dan ?

[Brent]

CurlyMo schreef op donderdag 14 februari 2019 @ 15:05:
[...]

Zijn er nog mensen die geen zfs-on-root draaien dan ?

[FireDrunk]

Echt niet, nergens voor nodig...

[CurlyMo]

FireDrunk schreef op donderdag 14 februari 2019 @ 16:02:
Echt niet, nergens voor nodig...

Ik vind het heerlijk en ook al paar keer nodig gehad voor updates die toch misgaan en volledige ZFS backups van mijn root pool. Bij brand of diefstal ben je zo weer online zonder alles weer te hoeven configureren.

[FireDrunk]

Redenen genoeg, het is meer PEBKAC