Het grote ZFS topic

[CurlyMo]

nero355 schreef op donderdag 3 november 2022 @ 14:13:
[...]

Het is dus altijd veel beter om niet de kapotte HDD offline te halen en te vervangen door een nieuwe HDD maar gewoon die kapotte te laten zitten totdat de boel weer resilvered is i.c.m. de nieuwe HDD en daarna kan je veilig de kapotte HDD offline halen!

Dat is alles...

Als je een replace doet dan wordt de oude schijf automatisch uit de pool verwijderd. Dus je hoeft niet meer expliciet offline e.d. te doen.

[CurlyMo]

Sando schreef op donderdag 3 november 2022 @ 14:48:
[...]

Dat lijkt mij ook, maar volgens de man pages kan het niet met raidz vdevs. Weet je zeker dat je niet in de war bent met mirror vdevs? Of is de manual onhandig geschreven?

Ik begrijp niet goed wat je beschrijft. Is het voorbeeld hier Sando in "Het grote ZFS topic" wat je daadwerkelijk ziet of wat je zou willen zien?

Zover ik weet kan wat je daar schetst helemaal niet.

root@pve:/# zpool create foo raidz /tmp/a /tmp/b mirror /tmp/c /tmp/d
root@pve:/# zpool status foo
  pool: foo
 state: ONLINE
config:

        NAME        STATE     READ WRITE CKSUM
        foo         ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            /tmp/a  ONLINE       0     0     0
            /tmp/b  ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            /tmp/c  ONLINE       0     0     0
            /tmp/d  ONLINE       0     0     0

errors: No known data errors

Oftewel, je krijgt niet een halve RAID51

Andere poging via zpool attach:

root@pve:/# zpool create foo raidz /tmp/a /tmp/b /tmp/c
root@pve:/# zpool status foo
  pool: foo
 state: ONLINE
config:

        NAME        STATE     READ WRITE CKSUM
        foo         ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            /tmp/a  ONLINE       0     0     0
            /tmp/b  ONLINE       0     0     0
            /tmp/c  ONLINE       0     0     0

errors: No known data errors
root@pve:/# zpool attach -f foo /tmp/a /tmp/d
cannot attach /tmp/d to /tmp/a: can only attach to mirrors and top-level disks

[Sando]

CurlyMo schreef op donderdag 3 november 2022 @ 14:59:
[...]

Ik begrijp niet goed wat je beschrijft. Is het voorbeeld hier Sando in "Het grote ZFS topic" wat je daadwerkelijk ziet of wat je zou willen zien? Zover ik weet kan wat je daar schetst helemaal niet.

Dat is wat ik zou willen zien, wat ik denk dat logisch zou zijn, of iets in die buurt. Bedankt voor de tests. Ik ben verder gaan zoeken en kom op Serverfault deze vraag tegen. Hij beantwoordt impliciet mijn vraag en geeft @nero355 en @RobertMe gelijk. Een van de antwoorden laat ook zien hoe dat er uit zou zien:

code:

    NAME                     STATE     READ WRITE CKSUM
    test                     DEGRADED     0     0     0
      raidz1-0               DEGRADED     0     0     0
        8480467682579886773  OFFLINE      0     0     0  was /dev/md0
        md1                  ONLINE       0     0     0
        replacing-2          ONLINE       0     0     0
          md2                ONLINE       0     0     0
          md3                ONLINE       0     0     0  (resilvering)

(Let niet op de OFFLINE, dat gaat over een ongerelateerd deel van de vraag.)
Maar dat is op Solaris. Ik gebruik ZFS on Linux (ZoL). Als ik een voorbeeld kan vinden van iemand die dat doet op Linux, dan zou ik me zekerder voelen.

[ Voor 3% gewijzigd door Sando op 03-11-2022 15:12 ]

[RobertMe]

Ik heb vorige week een een disk vervangen met een replace:

sudo zpool replace -f tank ata-WDC_WD80EMAZ-<knip> ata-WDC_WD180EDGZ-<knip>

Dat op Proxmox dus ZoL.

Dat was dan gewoon een vervanging / upgrade. Niet een "de oude is wellicht niet betrouwbaar is en ik wil al dan niet met beide naast elkaar draaien". Einde resilver was de oude disk ook meteen uit de pool gegooid en klaar.

Dat de man page stelt dat het identiek is aan een attach + detach dat vervolgens weer niet kan op raidz is dan wel vaag.

[dcm360]

Sando schreef op donderdag 3 november 2022 @ 15:11:
[...]


Dat is wat ik zou willen zien, wat ik denk dat logisch zou zijn, of iets in die buurt. Bedankt voor de tests. Ik ben verder gaan zoeken en kom op Serverfault deze vraag tegen. Hij beantwoordt impliciet mijn vraag en geeft @nero355 en @RobertMe gelijk. Een van de antwoorden laat ook zien hoe dat er uit zou zien:

code:

    NAME                     STATE     READ WRITE CKSUM
    test                     DEGRADED     0     0     0
      raidz1-0               DEGRADED     0     0     0
        8480467682579886773  OFFLINE      0     0     0  was /dev/md0
        md1                  ONLINE       0     0     0
        replacing-2          ONLINE       0     0     0
          md2                ONLINE       0     0     0
          md3                ONLINE       0     0     0  (resilvering)

(Let niet op de OFFLINE, dat gaat over een ongerelateerd deel van de vraag.)
Maar dat is op Solaris. Ik gebruik ZFS on Linux (ZoL). Als ik een voorbeeld kan vinden van iemand die dat doet op Linux, dan zou ik me zekerder voelen.

Een replace met ZoL doet precies dit. Vaak genoeg gezien, maar zo ver ik kan vinden heb ik er nooit een screenshot of kopie van gemaakt.

[Compizfox]

Compizfox schreef op dinsdag 6 september 2022 @ 10:20:
Het lijkt toch wel aan die SSD te liggen. Nu met de mirror klapt dezelfde (eerste) SSD er nog steeds uit.

Omdat ik nu een mirror heb, blijft het systeem online en kan ik de logs inzien:

code:

Sep 06 01:21:45 eos kernel: ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
Sep 06 01:21:45 eos kernel: ACPI BIOS Error (bug): Could not resolve symbol [\_SB.PCI0.SAT0.SPT2._GTF.DSSP], AE_NOT_FOUND (20210730/psargs-330)
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Local Variables are initialized for Method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Arguments are initialized for method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: ACPI Error: Aborting method \_SB.PCI0.SAT0.SPT2._GTF due to previous error (AE_NOT_FOUND) (20210730/psparse-529)
Sep 06 01:21:45 eos kernel: ata3.00: supports DRM functions and may not be fully accessible
Sep 06 01:21:45 eos kernel: ACPI BIOS Error (bug): Could not resolve symbol [\_SB.PCI0.SAT0.SPT2._GTF.DSSP], AE_NOT_FOUND (20210730/psargs-330)
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Local Variables are initialized for Method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Arguments are initialized for method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: ACPI Error: Aborting method \_SB.PCI0.SAT0.SPT2._GTF due to previous error (AE_NOT_FOUND) (20210730/psparse-529)
Sep 06 01:21:45 eos kernel: ata3.00: supports DRM functions and may not be fully accessible
Sep 06 01:21:45 eos kernel: ata3.00: configured for UDMA/133
Sep 06 01:56:07 eos kernel: perf: interrupt took too long (2501 > 2500), lowering kernel.perf_event_max_sample_rate to 79750
Sep 06 02:11:17 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3.00: disabled
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: rejecting I/O to offline device
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 400779512 op 0x1:(WRITE) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=2 offset=204661190656 size=8192 flags=180880
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958312 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958632 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958848 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45521010688 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89962336 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45522796544 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89962376 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45522817024 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 1051152 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 400779584 op 0x1:(WRITE) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=2 offset=204661227520 size=4096 flags=180880
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=270336 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 488395792 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=249520726016 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 488396304 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=249520988160 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45520736256 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45520900096 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: ata3.00: detaching (SCSI 2:0:0:0)
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Synchronizing SCSI cache
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Synchronize Cache(10) failed: Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Stopping disk
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Start/Stop Unit failed: Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Sep 06 06:12:39 eos kernel: ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)

Ik ga nog even wat kabels omwisselen om die uit te sluiten en anders maar die drive RMAen...

Ik dacht dat ik van dit probleem af was omdat ik heel lang nergens last van had nadat ik twee van die SSDs in een mirror gegooid had, maar vandaag was het toch weer raak...

Blijkbaar faalden beide SSDs tegelijk (!?) want opnieuw werd de hele root pool suspended: "Pool 'rpool' has encountered an uncorrectable I/O failure and has been suspended."

Het gekke is dat ik na een power cycle ook niet meer van de SSDs kon booten... Hierom dacht ik dat ze helemaal naar de getver waren, maar nadere inspectie wijst uit dat de partities (incl. de EFI system partitions) gewoon in orde zijn. Toch kan ik niet van de SSDs zelf meer booten (wel d.m.v. de "rescue boot"-functie op de install USB-stick).

Wat kan er hier gebeurd zijn?

[nero355]

Sando schreef op donderdag 3 november 2022 @ 14:48:
Dat lijkt mij ook, maar volgens de man pages kan het niet met raidz vdevs.

Weet je zeker dat je niet in de war bent met mirror vdevs? Of is de manual onhandig geschreven?

Sando schreef op donderdag 3 november 2022 @ 15:11:
Dat is wat ik zou willen zien, wat ik denk dat logisch zou zijn, of iets in die buurt. Bedankt voor de tests. Ik ben verder gaan zoeken en kom op Serverfault deze vraag tegen. Hij beantwoordt impliciet mijn vraag en geeft @nero355 en @RobertMe gelijk. Een van de antwoorden laat ook zien hoe dat er uit zou zien:

code:

    NAME                     STATE     READ WRITE CKSUM
    test                     DEGRADED     0     0     0
      raidz1-0               DEGRADED     0     0     0
        8480467682579886773  OFFLINE      0     0     0  was /dev/md0
        md1                  ONLINE       0     0     0
        replacing-2          ONLINE       0     0     0
          md2                ONLINE       0     0     0
          md3                ONLINE       0     0     0  (resilvering)

(Let niet op de OFFLINE, dat gaat over een ongerelateerd deel van de vraag.)
Maar dat is op Solaris. Ik gebruik ZFS on Linux (ZoL). Als ik een voorbeeld kan vinden van iemand die dat doet op Linux, dan zou ik me zekerder voelen.

Negeer al die meuk en doe gewoon wat wij zeggen : Dat werkt gewoon! Ook onder ZFS on Linux

Als je me niet gelooft dan moet je maar de Search van dit topic bovenaan erbij pakken!

CurlyMo schreef op donderdag 3 november 2022 @ 14:51:
Als je een replace doet dan wordt de oude schijf automatisch uit de pool verwijderd. Dus je hoeft niet meer expliciet offline e.d. te doen.

Dat wist ik effe niet meer... Thnx!

Compizfox schreef op donderdag 3 november 2022 @ 17:50:
Ik dacht dat ik van dit probleem af was omdat ik heel lang nergens last van had nadat ik twee van die SSDs in een mirror gegooid had, maar vandaag was het toch weer raak...

Blijkbaar faalden beide SSDs tegelijk (!?) want opnieuw werd de hele root pool suspended: "Pool 'rpool' has encountered an uncorrectable I/O failure and has been suspended."

Het gekke is dat ik na een power cycle ook niet meer van de SSDs kon booten... Hierom dacht ik dat ze helemaal naar de getver waren, maar nadere inspectie wijst uit dat de partities (incl. de EFI system partitions) gewoon in orde zijn. Toch kan ik niet van de SSDs zelf meer booten (wel d.m.v. de "rescue boot"-functie op de install USB-stick).

Wat kan er hier gebeurd zijn?

Klote man...

Het enige wat ik kan bedenken is een firmware issue met die Crucial MX500 dingen, want IMHO was de laatste fatsoenlijke Crucial de M500 dan wel de M500 DC en was alles daarna één grote "Meh..." en hooguit leuk voor de gamertjes en zo...

[orvintax]

Compizfox schreef op donderdag 3 november 2022 @ 17:50:
[...]

Ik dacht dat ik van dit probleem af was omdat ik heel lang nergens last van had nadat ik twee van die SSDs in een mirror gegooid had, maar vandaag was het toch weer raak...

Blijkbaar faalden beide SSDs tegelijk (!?) want opnieuw werd de hele root pool suspended: "Pool 'rpool' has encountered an uncorrectable I/O failure and has been suspended."

Het gekke is dat ik na een power cycle ook niet meer van de SSDs kon booten... Hierom dacht ik dat ze helemaal naar de getver waren, maar nadere inspectie wijst uit dat de partities (incl. de EFI system partitions) gewoon in orde zijn. Toch kan ik niet van de SSDs zelf meer booten (wel d.m.v. de "rescue boot"-functie op de install USB-stick).

Wat kan er hier gebeurd zijn?

+1 voor firmware issues. Ik zou ook even wat opzoekwerk doen over je SDDs en je overige hardware. Ik heb iets vergelijkbaars meegemaakt en toen kwam het door de chipset van mijn toenmalige zelfbouw server. Die vonden mijn SSDs niet zo leuk.

[Sando]

De replace gebeurt inderdaad netjes zonder de oude te offlinen. Maar ik heb toch een foutje gemaakt door de devices ipv de ID's in te typen. De oude verwijst netjes naar /dev/disk/by-id, maar de nieuwe verwijst naar de tijdelijke /dev/sdh. Zie path:

code:

children[2]:
    type: 'replacing'
    id: 2
    children[0]:
        type: 'disk'
        path: '/dev/disk/by-id/ata-ST10...'
        devid: 'ata-ST10000...'
        phys_path: 'pci-0000:00:1f.2-ata-5'
        whole_disk: 1
    children[1]:
        type: 'disk'
        path: '/dev/sdh1'
        devid: 'ata-TOSHIBA...'
        phys_path: 'pci-0000:00:14.0-usb-0:2.1:1.0-scsi-0:0:0:0'
        whole_disk: 1

code:

NAME                  STATE     READ WRITE CKSUM
xena                  ONLINE       0     0     0
  raidz1-0            ONLINE       0     0     0
    ata-WDC_WD10...   ONLINE       0     0     0
    ata-WDC_WD10...   ONLINE       0     0     0
    replacing-2       ONLINE       0     0     0
      ata-ST10...     ONLINE       0     0     0
      sdh             ONLINE       0     0     0  (resilvering)
    ata-ST10...       ONLINE       0     0     0

/dev/sdh is een tijdelijke locatie. Kan ik dat na de resilver nog aanpassen naar /dev/by-id/...?

[CurlyMo]

Sando schreef op vrijdag 4 november 2022 @ 13:38:
/dev/sdh is een tijdelijke locatie. Kan ik dat na de resilver nog aanpassen naar /dev/by-id/...?

Niks om je zorgen om te maken.

[RobertMe]

Sando schreef op vrijdag 4 november 2022 @ 13:38:
De replace gebeurt inderdaad netjes zonder de oude te offlinen. Maar ik heb toch een foutje gemaakt door de devices ipv de ID's in te typen. De oude verwijst netjes naar /dev/disk/by-id, maar de nieuwe verwijst naar de tijdelijke /dev/sdh. Zie path:

code:

children[2]:
    type: 'replacing'
    id: 2
    children[0]:
        type: 'disk'
        path: '/dev/disk/by-id/ata-ST10...'
        devid: 'ata-ST10000...'
        phys_path: 'pci-0000:00:1f.2-ata-5'
        whole_disk: 1
    children[1]:
        type: 'disk'
        path: '/dev/sdh1'
        devid: 'ata-TOSHIBA...'
        phys_path: 'pci-0000:00:14.0-usb-0:2.1:1.0-scsi-0:0:0:0'
        whole_disk: 1

code:

NAME                  STATE     READ WRITE CKSUM
xena                  ONLINE       0     0     0
  raidz1-0            ONLINE       0     0     0
    ata-WDC_WD10...   ONLINE       0     0     0
    ata-WDC_WD10...   ONLINE       0     0     0
    replacing-2       ONLINE       0     0     0
      ata-ST10...     ONLINE       0     0     0
      sdh             ONLINE       0     0     0  (resilvering)
    ata-ST10...       ONLINE       0     0     0

/dev/sdh is een tijdelijke locatie. Kan ik dat na de resilver nog aanpassen naar /dev/by-id/...?

Wat @CurlyMo aangeeft. Niks om je zorgen over te maken normaliter. De vdevs hebben allemaal een uniek ID en ZFS scant in principe de schijven als die een vdev mist.
En als je het voor de show wilt doen. Volgens mij kun je de pool exporteren en dan opnieuw importeren met een "flag" dat die de by-id variant moet gebruiken.

[ocf81]

Ik zie nu dat ik van TrueNAS Core naar TrueNAS Scale kan overstappen door naar een ander release channel te schakelen.

Ik wil graag mijn NAS overzetten, maar het moet niet ten koste gaan van de toegang van de backup NAS en de iSCSI toegang voor Proxmox.

Ik ben dus benieuwd of iemand dit al heeft geprobeerd. Vooral wat betreft de iSCSI in relatie met Proxmox ben ik benieuwd of er nog valkuilen zijn.

[orvintax]

ocf81 schreef op zaterdag 12 november 2022 @ 16:07:
Ik zie nu dat ik van TrueNAS Core naar TrueNAS Scale kan overstappen door naar een ander release channel te schakelen.

Ik wil graag mijn NAS overzetten, maar het moet niet ten koste gaan van de toegang van de backup NAS en de iSCSI toegang voor Proxmox.

Ik ben dus benieuwd of iemand dit al heeft geprobeerd. Vooral wat betreft de iSCSI in relatie met Proxmox ben ik benieuwd of er nog valkuilen zijn.

Waarom wil je overstappen? Als je TrueNAS puur voor storage gebruikt zou ik dat namelijk niet doen.

[ocf81]

orvintax schreef op zondag 13 november 2022 @ 17:37:
[...]

Waarom wil je overstappen? Als je TrueNAS puur voor storage gebruikt zou ik dat namelijk niet doen.

Omdat mijn NAS veel te krachtig is voor alleen een NAS, maar ik merk dat ik totaal niet uit de voeten kan met de virtualisatieopties in TrueNAS Core. Ik zou liever met kvm werken, aangezien ik dat beter begrijp.

[orvintax]

ocf81 schreef op zondag 13 november 2022 @ 18:02:
[...]

Omdat mijn NAS veel te krachtig is voor alleen een NAS, maar ik merk dat ik totaal niet uit de voeten kan met de virtualisatieopties in TrueNAS Core. Ik zou liever met kvm werken, aangezien ik dat beter begrijp.

Aaahzo. Vanwege je opmerking over Proxmox ging ik er van uit dat je daar op deed virtualizeren.

Ik heb enkel ervaring met het exporten van een Core config en importeren in Scale en dat ging voor mij vlekkeloos. Maar ik maak geen gebruik van shares.

Verder moet ik wel toevoegen dat ik het virtualiseren in Scale nog altijd vrij belabberd vind. Daarom dat ik ook exclusief van apps/containers gebruik maak.

[nero355]

ocf81 schreef op zondag 13 november 2022 @ 18:02:
Omdat mijn NAS veel te krachtig is voor alleen een NAS, maar ik merk dat ik totaal niet uit de voeten kan met de virtualisatieopties in TrueNAS Core. Ik zou liever met kvm werken, aangezien ik dat beter begrijp.

Waarom sloop je dan niet gewoon alles en begin je met Proxmox als basis en bouw je de NAS meuk later erbij

[ocf81]

nero355 schreef op zondag 13 november 2022 @ 19:42:
[...]

Waarom sloop je dan niet gewoon alles en begin je met Proxmox als basis en bouw je de NAS meuk later erbij

orvintax schreef op zondag 13 november 2022 @ 19:14:
[...]

Aaahzo. Vanwege je opmerking over Proxmox ging ik er van uit dat je daar op deed virtualizeren.

Ik heb enkel ervaring met het exporten van een Core config en importeren in Scale en dat ging voor mij vlekkeloos. Maar ik maak geen gebruik van shares.

Mijn opstelling is nu dat ik vanaf mijn NAS via iSCSI de Proxmox VM's van shared storage voorzie. Dat maakt het migreren van VM's tussen hosts in mijn clustertje makkelijker. Ik ben wat terughoudend met het virtualiseren van de NAS. Dat is een extra laag waar dingen fout kunnen gaan, en dat wil ik vermijden. De data op mijn NAS vind ik daar te belangrijk voor. Maar ik wil graag wel de rekenkracht van de NAS beter in gaan zetten. Wellicht dat ik ooit de hardware vervang en dan het moederbord in een andere kast stop, maar dat kost ook weer geld, dus dat is nu even niet aan de orde. Wellicht toch maar weer eens verdiepen in de virtualisatie van Core.

orvintax schreef op zondag 13 november 2022 @ 19:14:
[...]
Verder moet ik wel toevoegen dat ik het virtualiseren in Scale nog altijd vrij belabberd vind. Daarom dat ik ook exclusief van apps/containers gebruik maak.

Ik vraag het vooral omdat ik nu niet duidelijk kan krijgen hoe de iSCSI implementatie van Scale samenwerkt met Proxmox. Daar lees ik wat gemengde verhalen over.

[orvintax]

ocf81 schreef op zondag 13 november 2022 @ 19:46:
[...]


[...]

Mijn opstelling is nu dat ik vanaf mijn NAS via iSCSI de Proxmox VM's van shared storage voorzie. Dat maakt het migreren van VM's tussen hosts in mijn clustertje makkelijker. Ik ben wat terughoudend met het virtualiseren van de NAS. Dat is een extra laag waar dingen fout kunnen gaan, en dat wil ik vermijden. De data op mijn NAS vind ik daar te belangrijk voor. Maar ik wil graag wel de rekenkracht van de NAS beter in gaan zetten. Wellicht dat ik ooit de hardware vervang en dan het moederbord in een andere kast stop, maar dat kost ook weer geld, dus dat is nu even niet aan de orde. Wellicht toch maar weer eens verdiepen in de virtualisatie van Core.


[...]

Ik vraag het vooral omdat ik nu niet duidelijk kan krijgen hoe de iSCSI implementatie van Scale samenwerkt met Proxmox. Daar lees ik wat gemengde verhalen over.

Maar ik neem aan dat je een goede backup strategie hebt? Het virtualiseren van TrueNAS is iets wat vele mensen doen. Zeker in samenwerking met Proxmox is dat erg populair in de homelab community. Maar waarom maak je van die NAS geen Proxmox node en beheer je die data vanuit Proxmox? Proxmox heeft een integratie met ZFS voor je opslag en omdat het nu een gewone node is kun je er ook op virtualizeren zoals je dat gewend bent.

[ Voor 4% gewijzigd door orvintax op 13-11-2022 22:42 ]

[ocf81]

orvintax schreef op zondag 13 november 2022 @ 22:40:
[...]

Maar ik neem aan dat je een goede backup strategie hebt?

Er is een 2e backup machine welke elke nacht een replication van de NAS doet.

orvintax schreef op zondag 13 november 2022 @ 22:40:
Het virtualiseren van TrueNAS is iets wat vele mensen doen. Zeker in samenwerking met Proxmox is dat erg populair in de homelab community. Maar waarom maak je van die NAS geen Proxmox node en beheer je die data vanuit Proxmox? Proxmox heeft een integratie met ZFS voor je opslag en omdat het nu een gewone node is kun je er ook op virtualizeren zoals je dat gewend bent.

Dat is wel een gedachte waar ik soms mee speel. Ik blijf echter toch huiverig voor het niet beschikbaar hebben van mijn gegevens door bijv. een probleem met Proxmox, het voegt toch weer een point of failure toe. Dat maakt dat ik deze stap maar blijf uitstellen.

[orvintax]

ocf81 schreef op maandag 14 november 2022 @ 11:12:
[...]

Er is een 2e backup machine welke elke nacht een replication van de NAS doet.


[...]

Dat is wel een gedachte waar ik soms mee speel. Ik blijf echter toch huiverig voor het niet beschikbaar hebben van mijn gegevens door bijv. een probleem met Proxmox, het voegt toch weer een point of failure toe. Dat maakt dat ik deze stap maar blijf uitstellen.

Je wilt backups niet gebruiken, maar ik ben van mening dat je toch iets met je data moet kunnen doen. Misschien iets om aan te werken.

Over die node, je voegt geen point of failure toe, maar vervangt er een. Ik heb het over TrueNAS volledig achterwege te laten en van je NAS een Proxmox node te maken. Dan heb je misschien een probleem met Proxmox, maar nu met TrueNAS..

[FireDrunk]

ocf81 schreef op zondag 13 november 2022 @ 19:46:
[...]


[...]

Mijn opstelling is nu dat ik vanaf mijn NAS via iSCSI de Proxmox VM's van shared storage voorzie. Dat maakt het migreren van VM's tussen hosts in mijn clustertje makkelijker. Ik ben wat terughoudend met het virtualiseren van de NAS. Dat is een extra laag waar dingen fout kunnen gaan, en dat wil ik vermijden. De data op mijn NAS vind ik daar te belangrijk voor. Maar ik wil graag wel de rekenkracht van de NAS beter in gaan zetten. Wellicht dat ik ooit de hardware vervang en dan het moederbord in een andere kast stop, maar dat kost ook weer geld, dus dat is nu even niet aan de orde. Wellicht toch maar weer eens verdiepen in de virtualisatie van Core.


[...]

Ik vraag het vooral omdat ik nu niet duidelijk kan krijgen hoe de iSCSI implementatie van Scale samenwerkt met Proxmox. Daar lees ik wat gemengde verhalen over.

In theorie kan je dat allemaal in Proxmox zelf ook. Het is gewoon een Debian linux systeem met KVM en een web UI. Onderwater heeft het gewoon support voor ZFS, Samba, NFS etc.

(Of je dat wil is een tweede, maar technisch gezien zou het kunnen )

[eheijnen]

Was even bezig met een replace scenario te testen om een mirror te vergroten. Als ik de replace uitvoer wordt de opgegeven schijf uit de pool verwijderd en vervangen met de nieuwe.

Kijk ik met gparted naar de schijf die uit de pool is gehaald dan laat gparted zien dat het om een zfs volume gaat met pool naam X.

Haal ik vervolgens de schijven van de actieve pool X uit de machine en laat de andere zitten dan krijg ik deze via "zpool import" niet zichtbaar.

Is het mogelijk om deze schijf weer als pool te importeren? Of is dit na een replace niet meer mogelijk? Wil deze eigenlijk als backup houden omdat er na de uitbreiding nog een bewerking aan het volume gedaan moet worden (action: Enable all features using 'zpool upgrade').

[ Voor 3% gewijzigd door eheijnen op 21-11-2022 11:28 ]

[Bramus2000]

Probleem

Ik heb XigmaNas draaien met een ZFS pool. Nu heb ik mijn pool volgeschreven, Ondertussen reeds files gedelete, maar pool blijft vol aangeven.
Al wat gegoogled, dus ik weet dat volle ZFS pools een probleem zijn, maar ik vind niet onmiddellijk de gepaste oplossing. Heeft hier iemand een simpele fix voor?

Alvast bedankt!

[Thralas]

Heb je snapshots van de dataset waarvan je files delete? Wat laat zfs list -t all zien?

[nero355]

Bramus2000 schreef op vrijdag 16 december 2022 @ 14:09:
Nu heb ik mijn pool volgeschreven, Ondertussen reeds files gedelete, maar pool blijft vol aangeven.

Hoe groot is je gereserveerde ruimte op de Pool

Check dit effe : Dadona in "Het grote ZFS topic"
Voor meer info zie : Zoeken naar "slop space" in "Het grote ZFS topic"

[jeanj]

Ik heb disken met een oude zpool weer eens ingebouwd omdat ik wat dat wil redden. Ik heb xigmanas live usb gebruikt om te booten, maar ik kan via de webinterface de pool niet zichtbaar krijgen. Ik kan de disks opvoeren maar heb geen idee hoe verder.
Wel heb ik via de commandline een zpool import -f kunnen doen, maar nog steeds niets zichtbaar in de web interface.

Weet iemand hoe ik de zpool zichtbaar krijg in de web interface?

Update: Inmiddels gevonden onder Schijven > ZFS > Pools > Hulpmiddelen. Echter omdat ik al een import had gedaan lukte dat niet meer. ik heb toen de wbgui in sync gebracht met de echte status, als ik het goed heb zat het onder Schijven > ZFS > Pools > Informatie

[ Voor 23% gewijzigd door jeanj op 19-12-2022 10:04 ]

[HyperBart]

Hier even verder om het topic daar niet te vervuilen.

Q schreef op donderdag 12 januari 2023 @ 20:12:
[...]


Voor veel van die andere oorzaken zoals Controllers, PSU, memory, daarom draai je als je werkelijk om dit soort onderwerpen geeft en werkelijk dit spelletje wilt spelen (data integriteit is super belangrijk) dan draai je met ECC. Controllers en PSUs, dat scenario zie ik niet realistisch gezien.

ECC dan sowieso, ik volg je wel.

Maar pas op, ik lees nu ondertussen ook al een paar jaar mee op Reddit en zie hier soms ook topics voorbij komen: als er iets misgaat op storage dan is het meestal de disk individueel waarbij SMART of andere dingen het kunnen melden OF de controller OF problemen met PSU.

Dat zie je dan door een "wide shot" aan CKSUM/READ/WRITE errors.

Zou gewone RAID dan ook niets zien dat er iets mis is? Goh, geen idee, dat laat ik in het midden, zal er maar weer net van af hangen.
Heb ik liever ZFS dan omdat ik dan geniet van die integriteit en garanties? Ja, voor mij wel.

Ik heb wel eens gezocht op succesverhalen van ZFS waarbij silent data corruptie werd vastgesteld. In al deze voorbeelden was er spraken van hobbyisten die liepen te knoeien / fouten aan het maken waren en het had niets te maken met ZFS.

Zelf heeft ZFS mij na tientallen scrubs over 10+ jaar en petabyte+ aan data transfers nog nooit gered, nog nooit iets gevonden.

Storage is extreem betrouwbaar, mad respect. Silent data corruptie blijft iets wat vooral een statistisch ding is waar je mee rekening wilt houden als je racks vol schijven hebt.

Daar moet ik je wel gelijk in geven, in al die jaren doe ik hier wekelijkse scrubs, dat is begonnen bij mijn HP N40L met 5 x 4TB 10 à 12 jaar geleden tot alle arrays daar tussen in tot de array van vandaag met 6 x 12TB.
Het is bewonderenswaardig hoe weinig disks zelf liggen te bokken of vuile data teruggeven. Moet je bedenken dat we vandaag met disks upwards of 18TB zitten . Ja dat is echt chique want men daar van technologie neerzet.

Ik heb in al die tijd wel eens wat verdwaalde CKSUM errors of disks gehad die begonnen falen en ik durf toch te zeggen dat ik niet loop te knoeien en toen heb ik dit ergens meegemaakt: HyperBart in "Het grote ZFS topic" .

Geen idee wat er toen mis ging, monitoring gaf wat berichtjes en ik heb het toch kunnen opvolgen en dat is wel een ease of mind die ik niet heb met klassieke mdraid of hardware RAID controllers.

Ik blijf bij mijn punt: consumenten hoeven zich niet druk te maken over silent data corruptie. De kans dat ze dit tegen komen is onwijs klein. Dus een Synology of QNAP is ook prima spul voor hen. Of iets zelfbouw met Unraid of vergelijkbare oplossingen.

Laat consumenten zich maar druk maken over backups en redundancy. Ik durf te wedden dat zoveel mensen een NAS draaien en dan de backups niet goed geregeld hebben, een 100x groter risico dan silent data corruptie.

Als iemand toch graag ZFS wil toepassen prima natuurlijk, moeten mensen zelf weten. Maar het moet allemaal een beetje in perspectief geplaatst worden.

Dat perspectief snap ik wel en daar volg ik je ook wel in, HDD's wil ik nog heel wat krediet geven qua betrouwbaarheid. Want anders dan had die Pino die ooit voorspelde dat bij het volledig inlezen van een HDD je altijd een omgevallen bit ging hebben met die URE's nu veel meer outputs gekregen van zpool status'en waar 1 of meerdere read/write/cksums op terug kwamen.

Maar in zijn geheel vertrouw ik hardware niet genoeg om zonder ZFS te gaan. Wat ergens ook contradictorisch is want in mijn dagelijks werk gebruik je ook continu hardware en gaan daar ook bits en bytes door die je wel vertrouwt, de kansen zijn misschien dermate klein maar de moeite die ik moet doen om ZFS te draaien is dan ook weer even klein dat ik het echt geen probleem vind en ik het ook iedereen blijf aanraden als je wat zelfbouw NAS of goedkopere NAS wil doen.

Laat consumenten zich maar druk maken over backups en redundancy. Ik durf te wedden dat zoveel mensen een NAS draaien en dan de backups niet goed geregeld hebben, een 100x groter risico dan silent data corruptie.

Sinds een klein jaartje is dat hier ook wel OK . Ik had wat oude backups koud liggen maar sinds kort draait er hier in een apart gebouw een dagelijkse syncoid op een hardenend Ubuntu 22.04 LTS die via snapshots alles binnen neemt van de NAS/hoofdserver en wordt de power de rest van de tijd mechanisch afgesloten van die backup server. Offline backups ftw

[Q]

HyperBart schreef op maandag 16 januari 2023 @ 16:57:
Hier even verder om het topic daar niet te vervuilen.


[...]

ECC dan sowieso, ik volg je wel.

Maar pas op, ik lees nu ondertussen ook al een paar jaar mee op Reddit en zie hier soms ook topics voorbij komen: als er iets misgaat op storage dan is het meestal de disk individueel waarbij SMART of andere dingen het kunnen melden OF de controller OF problemen met PSU.

Dat zie je dan door een "wide shot" aan CKSUM/READ/WRITE errors.

Zou gewone RAID dan ook niets zien dat er iets mis is? Goh, geen idee, dat laat ik in het midden, zal er maar weer net van af hangen.
Heb ik liever ZFS dan omdat ik dan geniet van die integriteit en garanties? Ja, voor mij wel.

Dat je dan liever ZFS draait is prima, maar dat is precies het punt: andere oplossingen hadden misschien net zo goed errors kunnen geven. Het is nooit een gecontroleerd experiment in die anekdotes.

Ik heb in al die tijd wel eens wat verdwaalde CKSUM errors of disks gehad die begonnen falen en ik durf toch te zeggen dat ik niet loop te knoeien en toen heb ik dit ergens meegemaakt: HyperBart in "Het grote ZFS topic" .

Geen idee wat er toen mis ging, monitoring gaf wat berichtjes en ik heb het toch kunnen opvolgen en dat is wel een ease of mind die ik niet heb met klassieke mdraid of hardware RAID controllers.

Als het gewoon bad sectors zijn - wat het in 99.99% van de gevallen is - dan zou MDADM gewoon de disk uit de array gooien bij lees errors.

Maar in zijn geheel vertrouw ik hardware niet genoeg om zonder ZFS te gaan. Wat ergens ook contradictorisch is want in mijn dagelijks werk gebruik je ook continu hardware en gaan daar ook bits en bytes door die je wel vertrouwt, de kansen zijn misschien dermate klein maar de moeite die ik moet doen om ZFS te draaien is dan ook weer even klein dat ik het echt geen probleem vind en ik het ook iedereen blijf aanraden als je wat zelfbouw NAS of goedkopere NAS wil doen.

Voor de meeste mensen is hun dagelijkse computer eentje zonder ZFS en ECC geheugen dus alles moet uiteindelijk in een context gezien worden.

Persoonlijk zou ik mensen om die reden niet per definitie ZFS aanraden voor een NAS. Het start allemaal met die context: hun kennis en ervaring, hun behoeften. En daaruit vloeit voort of het gewoon een Synology/QNAP wordt of zelfbouw. En als het zelfbouw wordt, dat ze dan ook goed snappen dat ZFS voordelen en nadelen heeft. En willen die mensen wel systeembeheer zijn thuis?

En ik blijf bij mijn punt dat de risico's die door ZFS worden afgedekt veel kleiner zijn dan het risico van memory bit flips, dus ik vind ECC geheugen - als je zelfbouw doet - iets van hogere prioriteit dan de keuze voor ZFS. Alsof je de achterdeur op slot doet maar de voordeur open laat staan.

Als je zelfbouw doet heb je juist de kans om niet zozeer kosten te besparen maar om iets te bouwen wat nog robuuster is dan een Synology/Qnap. En die oplossing bestaat in mijn ogen uiteindelijk uit ECC geheugen met ZFS.

Sinds een klein jaartje is dat hier ook wel OK . Ik had wat oude backups koud liggen maar sinds kort draait er hier in een apart gebouw een dagelijkse syncoid op een hardenend Ubuntu 22.04 LTS die via snapshots alles binnen neemt van de NAS/hoofdserver en wordt de power de rest van de tijd mechanisch afgesloten van die backup server. Offline backups ftw

Dat is stukken beter dan de meeste mensen of bedrijven hun backups realiseren

[nero355]

Q schreef op dinsdag 17 januari 2023 @ 13:31:
En willen die mensen wel systeembeheer zijn thuis?

Het probleem daar is het hedendaagse GoT of beter gezegd Tweakers.net wat veel te bekend is geraakt bij Jan en alleman en je daardoor veel meer doorsnee consumenten op GoT ziet die vaak advies voor een kant en klare NAS willen i.p.v. meteen de DIY kant op te gaan...

Want wat zie je heel vaak :
- Consumentje koopt QNAP/Synology/whatever NAS.
- Is helemaal dolblij in het begin!
- Maar dan komt dat eene moment waarop Consumentje wat meer wil doen dan ermee mogelijk is en dan begint dus ook gelijk de ellende...

Terwijl je op een DIY NAS alle vrijheid hebt en ermee kan doen en laten wat je maar wilt, maar dat type Tweaker is met uitsterven bedreigd tegenwoordig dus überhaupt die optie overwegen komt pas veeeel later als het al mis is gegaan!

[Q]

@nero355 Ik kom niet veel op GoT meer maar ik heb geen problemen met de inwas aan 'normale mensen' die geen tech achtergrond hebben die hier voor advies komen.

Dat advies is altijd beperkt tot wat voor kant-en-klare NAS ze moeten kopen, de DIY is realistisch gezien voor deze mensen niet een goed advies. Want als er wat mis gaat hebben ze al moeite zat met een kant-en-klaar systeem dat hun zelfs zoveel mogelijk helpt, laat staan een DIY NAS setup. Daar zijn ze niet mee geholpen.

Als ze meer willen kan dat vaak ook helemaal prima op zo'n consumenten NAS, het zijn tegenwoordig kleine thuis servers. Persoonlijk zou ik aanraden om dan gewoon maar een Raspberry Pi of een oude laptop in te zette voor dat "meer" dan dat ze teveel met een NAS gaan knoeien.

Persoonlijk ben ik zelfs eigenlijk tegen het installeren van extra software op een NAS, alleen maar weer meer risico en problemen. Er was een reden waarom we in de ICT altijd rollen zoveel mogelijk gescheiden hielden op separate machines.

Uiteindelijk denk ik dat je - als je je eigen tijd ook als kosten meerekent - een DIY NAS maken uiteindelijk ook een prijzige aangelegenheid is en iets wat je echt moet willen omdat je bepaalde doelen voor ogen hebt die je niet kunt realiseren met een Synology/QNAP.

Sommige mensen zijn wel bereid om een flinke zooi aan tech te leren en ook de boel stuk te maken zodat ze kunnen leren hoe ze het moeten repareren als er eens wat mis gaat. Deze groep was altijd al klein en dat is prima verder.

Persoonlijk denk ik dat veel mensen om de verkeerde redenen voor een DIY NAS gaan, zoals "het is goedkoper" dan een kant-en-klare-NAS. Niet als je tijd wat waard is, en niet als je vervolgens niet weet hoe je storingen / problemen moet verhelpen omdat je geen Linux/FreeBSD beheerst en ik denk dat dit ook geldt als je TrueNAS of iets van dien aard draait.

Maar nee, dan ga je een DIY NAS bouwen op de goedkoopste crappy consumenten hardware want 'goedkoop' en dan ZFS draaien want "dat is veilig". Yeah, sure. Ik zou mijn geld liever zetten op een Synology/QNAP in dat geval.

Als je nou zegt, ik vind het leuk om een DIY NAS te bouwen, ik wil er tijd in stoppen om wat te leren, ik wil ook iets bouwen wat die consumenten-gear overstijgt in betrouwbaarheid, dan zeg ik: goede insteek. Dat betekent knappe hardware met ECC geheugen (ja, daar is hij weer) en ZFS want dan bouw je iets robuusts. Mogelijk dicht in de buurt of zelfs duurder dan een Synology/Qnap maar dan heb je iets wat - mits je eigen kennis en ervaring toereikend is - nog veiliger is voor je data dan een kant-en-klare-NAS.

Nou genoeg geschreven, kortom ik denk dat ik er allemaal wat anders naar kijk en ook milder ben over de niet-tweaker maar ach.

[joker1977]

Q schreef op donderdag 19 januari 2023 @ 14:42:
Als ze meer willen kan dat vaak ook helemaal prima op zo'n consumenten NAS, het zijn tegenwoordig kleine thuis servers. Persoonlijk zou ik aanraden om dan gewoon maar een Raspberry Pi of een oude laptop in te zette voor dat "meer" dan dat ze teveel met een NAS gaan knoeien.

Grotendeels met je eens behalve met bovenstaande. Als je ziet dat je tegenwoordig op de meeste NAS-devices ook al Docker kan draaien dan is het risico beperkt als je dat toevoegt aan je NAS.

[nero355]

joker1977 schreef op donderdag 19 januari 2023 @ 15:00:
Grotendeels met je eens behalve met bovenstaande. Als je ziet dat je tegenwoordig op de meeste NAS-devices ook al Docker kan draaien dan is het risico beperkt als je dat toevoegt aan je NAS.

Het probleem is dat er ook gebruikers zijn die :
- Een NAS hebben die geen Docker Containers kan draaien, maar dat wel willen en geen bal aan het OS kunnen aanpassen, want allemaal van die embedded BusyBox toestanden!
- Soms iets willen doen dat i.c.m. Docker niet eens mogelijk is en dan dus eigenlijk een DIY NAS nodig hebben of toch die losse Raspberry Pi of een Intel Atom/Celeron/Pentium NUC achtig gebakje!

En daar denken dus heel weinig mensen VOORAF over en doen maar een beetje wat de rest ook doet, maar dus niet altijd handig uitpakt...


_{#IkWilMijnGoTvan15jaarOfZoGeledenTerug!}

[joker1977]

nero355 schreef op donderdag 19 januari 2023 @ 15:44:
[...]

Het probleem is dat er ook gebruikers zijn die :
- Een NAS hebben die geen Docker Containers kan draaien, maar dat wel willen en geen bal aan het OS kunnen aanpassen, want allemaal van die embedded BusyBox toestanden!
- Soms iets willen doen dat i.c.m. Docker niet eens mogelijk is en dan dus eigenlijk een DIY NAS nodig hebben of toch die losse Raspberry Pi of een Intel Atom/Celeron/Pentium NUC achtig gebakje!

En daar denken dus heel weinig mensen VOORAF over en doen maar een beetje wat de rest ook doet, maar dus niet altijd handig uitpakt...

Is dat zo? Misschien wel, maar mensen die "in de race zijn voor een NAS" weten meestal wel waarvoor ze die willen aanschaffen. Dan is het gewoon je eigen domme fout als je een type koopt wat niet kan wat je wilt, klaar.

Daarnaast is het zo dat ik meteen claim dat elke NAS dockers kan draaien, ik claimde dat de installatie van "extra's" op hedendaagse NAS'en niet zo bezwaarlijk is, juist door dockers.


Ik kan niet echt een praktische toepassing bedenken van wat op een NAS draait wat niet met Dockers kan, maar wel op "bare-metal" van een NAS.

Ik heb een DIY-NAS en ben juist afgestapt van ZFS, trouwens.. het gebrek aan flexibiliteit en de honger naar RAM deden me dat beslissen. Ik snap de voordelen wel van ZFS, maar voor mijn privé situatie zijn de voordelen kleiner dan de nadelen. Dan maar weer naar mdadm

[nero355]

joker1977 schreef op donderdag 19 januari 2023 @ 18:07:
Is dat zo? Misschien wel, maar mensen die "in de race zijn voor een NAS" weten meestal wel waarvoor ze die willen aanschaffen. Dan is het gewoon je eigen domme fout als je een type koopt wat niet kan wat je wilt, klaar.

Van die laatste soort zijn er dus helaas meer dan van die eerste soort

Ik kan niet echt een praktische toepassing bedenken van wat op een NAS draait wat niet met Dockers kan, maar wel op "bare-metal" van een NAS.

Ik heb genoeg voorbeelden in het verleden gezien, maar ik ga ze nu niet allemaal opzoeken, sorry

Ik heb een DIY-NAS en ben juist afgestapt van ZFS, trouwens.. het gebrek aan flexibiliteit en de honger naar RAM deden me dat beslissen.
Ik snap de voordelen wel van ZFS, maar voor mijn privé situatie zijn de voordelen kleiner dan de nadelen. Dan maar weer naar mdadm

Honger naar RAM

Opzich prima hoor, maar ik ben wel benieuwd naar waar je tegenaan liep

[joker1977]

nero355 schreef op donderdag 19 januari 2023 @ 18:31:
[...]

Van die laatste soort zijn er dus helaas meer dan van die eerste soort


[...]

Ik heb genoeg voorbeelden in het verleden gezien, maar ik ga ze nu niet allemaal opzoeken, sorry


[...]

Honger naar RAM

Opzich prima hoor, maar ik ben wel benieuwd naar waar je tegenaan liep

Oh er zijn vast (legio) voorbeelden van dingen die je niet in een Docker kan draaien - maar voor de mensen die niet al te extreme eisen hebben en onkundig zijn, zal dat vast wel meehelpen.

Ik had vooral performance problemen met lage hoeveelheid vrij beschikbaar RAM tijdens de scrub-processen van ZFS. Op zich is normaliter de hoeveelheid geheugen niet een probleem, maar toen ik (tijdelijk) een aantal VM's moest draaien ging dat mis met ZFS scrubs, 1 groot performance drama..

Op een gegeven moment ga je (weer) eens je server opnieuw inrichten en ging ik eens nadenken... dan bedenk je je dat de grootste voordelen van ZFS helemaal niet interessant voor mij waren en je soms wel bepaalde zaken mist die niet eenvoudig mogelijk zijn bij ZFS (bv. makkelijk een drive aan een array toevoegen)

[Q]

@joker1977 Nu ben ik zelf altijd best kritisch of ZFS wel de juiste keuze is voor mensen, maar ik krijg in jouw geval het idee dat er meer aan de hand was. Nu ben jij van ZFS af en is het water onder de brug voor jouw, maar hoe zag je ZFS pool er uit, waren het mirrors of was het 1 of meer RAIDZ(2/3) vdevs?

[orvintax]

Q schreef op donderdag 19 januari 2023 @ 19:24:
@joker1977 Nu ben ik zelf altijd best kritisch of ZFS wel de juiste keuze is voor mensen, maar ik krijg in jouw geval het idee dat er meer aan de hand was. Nu ben jij van ZFS en is het water onder de brug voor jouw, maar hoe zag je ZFS pool er uit, waren het mirrors of was het 1 of meer RAIDZ(2/3) vdevs?

Mee eens, ik zou niet weten waarom RAM op eens een issue zou worden tijdens scrubs. Weinig RAM aan een ZFS systeem kan de performance zwaar belemmeren. Maar het lijkt mij dat waar ZFS RAM voor gebruikt (de ARC cache) dat die niet wordt aangeraakt tijdens scrubs. Aangezien scrubs zijn bedoeld voor de data integriteit op de array zelf.

Daarnaast als ik zo de usecase van OP lees, lijkt het me dat weinig RAM niet eens zo een issue had moeten zijn.

[joker1977]

Q schreef op donderdag 19 januari 2023 @ 19:24:
@joker1977 Nu ben ik zelf altijd best kritisch of ZFS wel de juiste keuze is voor mensen, maar ik krijg in jouw geval het idee dat er meer aan de hand was. Nu ben jij van ZFS af en is het water onder de brug voor jouw, maar hoe zag je ZFS pool er uit, waren het mirrors of was het 1 of meer RAIDZ(2/3) vdevs?

Het waren 3 : 1x mirror van 2 SSD's, 1x RAIDZ2 pool en 1x RAIDZ1 pool

Er is sindsdien wel het nodige anders geworden: Door een wijziging van omstandigheden/eisen en migratie naar "de cloud" heb ik een stuk minder behoefte aan veel veilige opslag thuis.

Ik dacht dat de matige performance aan te weinig RAM lag omdat de snelheid zo onderuit ging tijdens de scrubs toen ik tijdelijk meer RAM gebruikte met een paar VM's. Maar ik heb dat nooit goed onderzocht, ook omdat ik toen al wist dat het tijdelijk zou zijn. Het kan best zijn dat het iets anders is (geweest) - maar door wijzigende behoeftes geen zin gehad om dat uit te zoeken...

Nu heb ik hele andere eisen en is mijn DIY NAS eigenlijk niks meer (of minder) dan een simpele NAS waar een zwik foto's en andere media-bestanden op staan. Daarvoor is mijn huidige systeem redelijk goed gedimensioneerd, maar mocht ik meer storage nodig hebben dan kan ik met mdadm veel eenvoudiger uitbreiden dan bij ZFS kon.

Zoals gezegd was ik eigenlijk niet ontevreden over ZFS, totdat ik mijn use-case eerst tijdelijk moest aanpassen. En nu heb ik geen noodzaak meer voor ZFS.

[Q]

Klinkt toch meer als een random IOPs issue dan iets met ZFS. Je zou ook eens voor de lolz een mdadm scrub kunnen doen op de raid set waar je jouw vms/containers draait, maar ik snap dat er leukere dingen zijn om te doen.

Uiteindelijk is ZFS specifiek en storage in zijn algemeenheid behoorlijk complex. Juist omdat zoveel dingen elkaar beïnvloeden. Als je dan niet uren besteed aan het uitsluitend van oorzaken of testen van optimalisaties kan je teleurgesteld zijn in de (stock) performance. Wie doet dit in hun vrije tijd? Ik deed het als hobby maar normale mensen gaan toch al die moeite niet doen? En ik snap uit ervaring dat out of the box mdadm eigenlijk wel goed genoeg presteert. En hoeveel mensen hebben door dat op de eerste zondag van de maand een scrub loopt op mdadm?😆🌷

Edit: random iops performance van mdadm raid5/6 is veel beter dan die van raidz/z2 omdat je met een raidz(x) vdev Max random iops van 1 disk kan halen… Dit soort dingen zouden mensen eigenlijk niet eens moeten weten maar het kan wel flink uitmaken afhankelijk van de use case.

[ Voor 15% gewijzigd door Q op 20-01-2023 18:09 ]

[Funga]

De mogelijkheid om ZFS uit te breiden door de RAID-Z te verbreden lijkt eraan te komen:

https://github.com/openzfs/zfs/pull/12225

[orvintax]

Funga schreef op dinsdag 24 januari 2023 @ 15:48:
De mogelijkheid om ZFS uit te breiden door de RAID-Z te verbreden lijkt eraan te komen:

https://github.com/openzfs/zfs/pull/12225

Die mogelijkheid komt er al jaren aan No offense verder, snap dat een feature zoals dit lang duurt.

[Funga]

Ja maar inderdaad voor zo'n intrusive feature duurt dat een tijd. Dat is ook echt niet verkeerd. Corruptie op filesystems wil je niet. Expansion is sowieso een risicovol proces. Bij ZFS zou het relatief veilig kunnen, maar dan moet de code goed getest zijn. Zeer waarschijnlijk komen er ook nog bugs aan het licht zodra de expansion feature in een RC terecht komt en door een groter aantal mensen 'in het wild' wordt uitgeprobeerd.

Maar toch positieve signalen. Het lijkt erop dat het grootste nadeel voor niet-professionele gebruikers binnenkort verleden tijd is. Het is namelijk de meest gehoorde klacht bij mensen die ZFS willen op hun NAS.

[nero355]

Funga schreef op dinsdag 24 januari 2023 @ 16:49:
Het lijkt erop dat het grootste nadeel voor niet-professionele gebruikers binnenkort verleden tijd is.
Het is namelijk de meest gehoorde klacht bij mensen die ZFS willen op hun NAS.

Ik heb dat nooit echt begrepen eerlijk gezegd :

- Je koopt/bouwt een NAS met een X aantal HDD aansluitingen.
- Daarna besluit je ineens de boel uit te gaan breiden : Waarom ?!
- Bij een kant en klare NAS kan het vaak niet en bij een DIY NAS zal je vaak een HBA of één van die maffe SATA Controllers die raar in elkaar zijn geknutseld met meerdere Chips en Bridges en weet ik het wat allemaal erbij moeten kopen...

Terwijl je ook gewoon dankzij al die idioot grote HDD's die we tegenwoordig hebben alle 6 HDD's kan vervangen en daarna zal Automatic Expansion meteen starten die je meer ruimte geeft uiteindelijk = KLAAR!!!

Daarnaast heb ik zelfs bij peperdure professionele Hardware RAID Controllers dergelijke operaties vaak genoeg verkeerd zien gaan...

Waarom dan toch dat risico nemen


_{Disclaimer :
Vaak gebruikt men Mainstream moederborden die niet meer dan 6 SATA poorten hebben dus maar effe dat aantal HDD's aangenomen!}

[orvintax]

nero355 schreef op dinsdag 24 januari 2023 @ 19:24:
[...]

Ik heb dat nooit echt begrepen eerlijk gezegd :

- Je koopt/bouwt een NAS met een X aantal HDD aansluitingen.
- Daarna besluit je ineens de boel uit te gaan breiden : Waarom ?!
- Bij een kant en klare NAS kan het vaak niet en bij een DIY NAS zal je vaak een HBA of één van die maffe SATA Controllers die raar in elkaar zijn geknutseld met meerdere Chips en Bridges en weet ik het wat allemaal erbij moeten kopen...

Terwijl je ook gewoon dankzij al die idioot grote HDD's die we tegenwoordig hebben alle 6 HDD's kan vervangen en daarna zal Automatic Expansion meteen starten die je meer ruimte geeft uiteindelijk = KLAAR!!!

Daarnaast heb ik zelfs bij peperdure professionele Hardware RAID Controllers dergelijke operaties vaak genoeg verkeerd zien gaan...

Waarom dan toch dat risico nemen


_{Disclaimer :
Vaak gebruikt men Mainstream moederborden die niet meer dan 6 SATA poorten hebben dus maar effe dat aantal HDD's aangenomen!}

Waarom "ineens de boel uit te gaan breiden"? Omdat je simpelweg ruimte te kort komt. Ik heb in mijn server 8 bays waarvan nu 4 gevuld. Deze setup was/is voor mij logisch en kosten efficient. Nu kom ik wel na 4/5 jaar ruimte te kort, ik heb de 80% een paar dagen geleden gehit. Maar dat is eenvoudig op te lossen met 4 nieuwe disks in een nieuwe vdev om deze vervolgens toe te voegen aan de pool.

En dat is ook meteen wat ik wil meegeven aan de rest. Het is niet dat er geen mogelijkheid is om je pool uit te breiden. Tenzei je ook je sequentiele lees snelheid wilt upgraden is het wenselijker om een extra vdev toe te voegen aan je pool. Dit zorgt voor een hoger IOPS en afhankelijk van je opstelling, een hogere fout tolerantie.

Terwijl je ook gewoon dankzij al die idioot grote HDD's die we tegenwoordig hebben alle 6 HDD's kan vervangen

Dat kan inderdaad, maar helemaal voor de thuis Tweaker is dit ook weer niet kosten efficient. Dit zijn gewoon 6 werkende HDDs die je weg doet.

[Funga]

nero355 schreef op dinsdag 24 januari 2023 @ 19:24:
[...]

Ik heb dat nooit echt begrepen eerlijk gezegd :

- Je koopt/bouwt een NAS met een X aantal HDD aansluitingen.

Check, waarbij je natuurlijk ook al nadenkt over uitbreiding. Heeft je setup nog plaats voor een PCIe kaartje voor nog eens x aantal SATA poorten, of doe je het met USB3 adapters? Etc.

- Daarna besluit je ineens de boel uit te gaan breiden : Waarom ?!

Omdat je naast je pr0n ook je vrouw moet bedienen met haar woke porna, dat lijkt mij evident.

Oh ik voel me weer 14 op dit forum, heerlijk!

- Bij een kant en klare NAS kan het vaak niet

Mwahh ze kunnen dat toch allemaal? Veel mensen nemen toch zo'n qnap zodat ze er laten nog een paar schijven bij kunnen pleuren of heb ik dat verkeerd begrepen? Ik gebruik al die commerciele meuk niet, dus ik weet het eigenlijk niet. Maar mits er plaats is kunnen die dingen wel expanden toch?

en bij een DIY NAS zal je vaak een HBA of één van die maffe SATA Controllers die raar in elkaar zijn geknutseld met meerdere Chips en Bridges en weet ik het wat allemaal erbij moeten kopen...

Dat laatste valt wel mee, toch?

Zijn best wel wat leuke ASMedia chipjes die met heel weinig idle power heel veel SATA poorten leveren. Dit kaartje is wel geinig bijvoorbeeld al heeft het beperkte bandbreedte (1GB/s): uitvoering: Delock PCI Express Card > 10 x internal SATA 6 Gb/s - Low Profile....

Terwijl je ook gewoon dankzij al die idioot grote HDD's die we tegenwoordig hebben alle 6 HDD's kan vervangen en daarna zal Automatic Expansion meteen starten die je meer ruimte geeft uiteindelijk = KLAAR!!!

Ja maar wat voor pool heb je dan. Zonder redundantie zit je sowieso vast aan een 1:1 backup. Heb je RAID-Z of RAID-Z2/3 dan kun je als niet-professionele gebruiker voor kiezen om geen backup te nemen, want dat is duur. Dan backup je alleen je documenten en persoonlijke foto's bijvoorbeeld, maar niet al je data zoals dingen die je downloadt.

Daarnaast heb ik zelfs bij peperdure professionele Hardware RAID Controllers dergelijke operaties vaak genoeg verkeerd zien gaan...

Ik ook.

Maar hardware RAID is passé dat heeft Google al lang bewezen. Het kan nog leuk zijn voor legacy toepassingen. Softwarematige oplossingen zijn bijna altijd beter. Liever slimme software en domme goedkope hardware. Dat zijn moderne oplossingen.

Expansion is voor RAID controllers overigens sowieso veel risicovoller dan ZFS dat in theorie kan doen. ZFS weet welke data corrupt is en welke data dat niet is. Een RAID controller zal moeten kiezen tussen data en pariteit, als die niet consistent zijn dan is het iene-miene-mutte. Als je degraded draait zal de pariteit de data overschrijven, heb je wel pariteit dan zal de data de pariteit overschrijven. Weinig intelligentie hier... Doe je daarna een filesystem check op je Ext4 of NTFS dan kun je smullen van de errors, verloren bestanden en verdwenen directories discarded worden. Dat is geen fijn gezicht kan ik je vertellen. ZFS of Btrfs is wat dat betreft met self-healing echt een héél stuk fijner als je data serieus neemt.

Waarom dan toch dat risico nemen

Geld?!

Heel veel thuisgebruikers (niet-professionele gebruikers) hebben geen geld om twee keer een NAS te kopen en bij het expanden een 1:1 backup paraat te houden. Daarom willen ze expansion, zodat ze gewoon een schijf extra kunnen kopen en meer vrije ruimte hebben. Dan groei je door af en toe een schijf bij te kopen dat sluit uitstekend aan bij hun use case. Online cloud backup voor hun belangrijke data wat vaak veel minder gigabytes is, foto's en documenten eigenlijk.

En als het misgaat jammer dan. In sommige gevallen gaat het om torrents en dat soort spul wat mensen opnieuw kunnen downloaden. Ik zelf doe heel andere dingen dus gebruik bijna alleen SSDs, maar vroeger was ik een soort bibliotheek voor mijn vriendenkring; de goede oude tijden.

[nero355]

orvintax schreef op dinsdag 24 januari 2023 @ 21:16:
Waarom "ineens de boel uit te gaan breiden"? Omdat je simpelweg ruimte te kort komt.

Dan heb je dus in het begin/vooraf de boel verkeerd ingecalculeerd IMHO

Ik heb in mijn server 8 bays waarvan nu 4 gevuld. Deze setup was/is voor mij logisch en kosten efficient. Nu kom ik wel na 4/5 jaar ruimte te kort, ik heb de 80% een paar dagen geleden gehit. Maar dat is eenvoudig op te lossen met 4 nieuwe disks in een nieuwe vdev om deze vervolgens toe te voegen aan de pool.

Dat vind ik dus raar : Waarom niet gewoon meteen alle 8 bays benutten

Dan had je nu ook meer ruimte gehad...

En dat is ook meteen wat ik wil meegeven aan de rest. Het is niet dat er geen mogelijkheid is om je pool uit te breiden. Tenzei je ook je sequentiele lees snelheid wilt upgraden is het wenselijker om een extra vdev toe te voegen aan je pool. Dit zorgt voor een hoger IOPS en afhankelijk van je opstelling, een hogere fout tolerantie.

Dat dan weer wel!

Dat kan inderdaad, maar helemaal voor de thuis Tweaker is dit ook weer niet kosten efficient. Dit zijn gewoon 6 werkende HDDs die je weg doet.

Die je weer kan verkopen of ergens anders voor kan gebruiken...

Funga schreef op dinsdag 24 januari 2023 @ 21:38:
Check, waarbij je natuurlijk ook al nadenkt over uitbreiding. Heeft je setup nog plaats voor een PCIe kaartje voor nog eens x aantal SATA poorten, of doe je het met USB3 adapters? Etc.

Zolang je maar bereid bent daarop een extra VDEV aan te maken...

Omdat je naast je pr0n ook je vrouw moet bedienen met haar woke porna, dat lijkt mij evident.

Oh ik voel me weer 14 op dit forum, heerlijk!

Onder dat motto : "The Internet is for pr0n!" Je persoonlijke Cloud en nog GRATIS ook!

Mwahh ze kunnen dat toch allemaal? Veel mensen nemen toch zo'n qnap zodat ze er laten nog een paar schijven bij kunnen pleuren of heb ik dat verkeerd begrepen? Ik gebruik al die commerciele meuk niet, dus ik weet het eigenlijk niet. Maar mits er plaats is kunnen die dingen wel expanden toch?

Maar waarom zou je die dus niet meteen helemaal volproppen

Dat laatste valt wel mee, toch?

Nee, want je zegt het zelf al :

Zijn best wel wat leuke ASMedia chipjes die met heel weinig idle power heel veel SATA poorten leveren. Dit kaartje is wel geinig bijvoorbeeld al heeft het beperkte bandbreedte (1GB/s): uitvoering: Delock PCI Express Card > 10 x internal SATA 6 Gb/s - Low Profile....

Dat PCIe kaartje en dat merk in het algemeen is gewoon TROEP!

Ja maar wat voor pool heb je dan. Zonder redundantie zit je sowieso vast aan een 1:1 backup.
Heb je RAID-Z of RAID-Z2/3 dan kun je als niet-professionele gebruiker voor kiezen om geen backup te nemen, want dat is duur.
Dan backup je alleen je documenten en persoonlijke foto's bijvoorbeeld, maar niet al je data zoals dingen die je downloadt.

Download troep kan je vaak bij verlies sowieso nog een keer downloaden en ik mag hopen dat je persoonlijke data op drie plekken staat, waarbij je het liefst ook nog een plek buiten je huis hebt die je kan vertrouwen dus geen Apple iCloud/Google Drive/Dropbox/enz.

Ik ook.

Maar hardware RAID is passé dat heeft Google al lang bewezen. Het kan nog leuk zijn voor legacy toepassingen. Softwarematige oplossingen zijn bijna altijd beter. Liever slimme software en domme goedkope hardware. Dat zijn moderne oplossingen.

Expansion is voor RAID controllers overigens sowieso veel risicovoller dan ZFS dat in theorie kan doen.

Dat zeg je goed : In theorie!

ZFS weet welke data corrupt is en welke data dat niet is. Een RAID controller zal moeten kiezen tussen data en pariteit, als die niet consistent zijn dan is het iene-miene-mutte. Als je degraded draait zal de pariteit de data overschrijven, heb je wel pariteit dan zal de data de pariteit overschrijven. Weinig intelligentie hier... Doe je daarna een filesystem check op je Ext4 of NTFS dan kun je smullen van de errors, verloren bestanden en verdwenen directories discarded worden. Dat is geen fijn gezicht kan ik je vertellen. ZFS of Btrfs is wat dat betreft met self-healing echt een héél stuk fijner als je data serieus neemt.

Maar toen was er wat met :
- Je geheugen.
- De SATA poorten.
- De HBA/AHCI zelf.
- Of één van de Controllers van de HDD's zelf...

Geld?!

Heel veel thuisgebruikers (niet-professionele gebruikers) hebben geen geld om twee keer een NAS te kopen en bij het expanden een 1:1 backup paraat te houden. Daarom willen ze expansion, zodat ze gewoon een schijf extra kunnen kopen en meer vrije ruimte hebben. Dan groei je door af en toe een schijf bij te kopen dat sluit uitstekend aan bij hun use case. Online cloud backup voor hun belangrijke data wat vaak veel minder gigabytes is, foto's en documenten eigenlijk.

En als het misgaat jammer dan. In sommige gevallen gaat het om torrents en dat soort spul wat mensen opnieuw kunnen downloaden.

Om de zoveel tijd één HDD vervangen en daarmee je ruimte uitbreiden is geen RAID situatie meer IMHO

[Funga]

Euh ja Nero (Dutch Power Cows? Jezus dat lang geleden zeg.. Optimal Golum Ruler of wat was het ook alweer? My god bijna een ander tijdperk )

.. je begrijpt dat normale consumenten niet gelijk 3 koppen willen neerleggen, maar liever met anderhalve kop beginnen en over de jaren elke keer een schijfje erbij pleuren. Dat is prima toch? Zodra ze hun echt belangrijke spul online backuppen - encrypted hoop ik - dan zitten ze best prima vind ik. Het zijn geen enterprise klanten. Die kopen gelijk het goede spul.

Even naar mijzelf kijkend. Nu staat er zeker 96TiB niets te doen op het moment, maar wel spinnende. Dat had beter gekund. Ik heb op dit moment niet zoveel meer behoefte aan data. Het is op de groei gekocht. Ik wilde 16+3 = 19 disks in mijn RAID-Z3 pool. Dat is gelukt .

Stel je hebt een oudere NAS met veel schijven, kan het lonen die door een NAS met minder of slechts één schijf te vervangen, en dan de oude NAS als 1:1 backup gebruiken . 6 oude schijven backuppen 1 nieuwe schijf. Prima toch? De idle power gaat zo flink naar beneden en dus ook de kosten. En een offline backup is een goede bescherming voor je data. Zeker in combinatie met snapshots als je dat ook automatiseert dan is dat een hele goede oplossing voor thuisgebruikers en powerusers idem. Enterprise is altijd weer anders, andere belangen andere systemen.

Oh en ASMedia is prima wat mij betreft, heb jij slechte ervaringen? JMicron is meer de periferie maar ASMedia houdt zich aardig aan de standaarden en produceert deftige chips die erg low idle power zijn en toch superbetaalbaar. Dus juist heel erg interessant voor "jullie" thuisgebruikers lijkt mij?!

[Paul]

nero355 schreef op dinsdag 24 januari 2023 @ 23:28:
Dan heb je dus in het begin/vooraf de boel verkeerd ingecalculeerd IMHO

Je bedoelt 4 jaar geleden toen ik het ding kocht? Mag ik jouw glazen bol lenen, de mijne is stuk...

Dat vind ik dus raar : Waarom niet gewoon meteen alle 8 bays benutten

Geld? Energie? Geen mogelijkheid meer tot uitbreiden over?

Maar waarom zou je die dus niet meteen helemaal volproppen

Ik zal je introduceren met een concept waar je blijkbaar niet veel vanaf weet: Geld. Dat krijg je (of iig normale mensen) in ruil voor arbeid die ze verrichten (genaamd: werk) en daarvan heb je altijd te weinig

Alle gekheid op een stokje, ik kan iedere euro maar één keer uitgeven. Het leven is al duur genoeg, dan ga ik niet een hoop extra hardware kopen als dat niet nodig is.

Ik ben wel aan het overwegen mijn NAS te vervangen, want momenteel gebruikt het 70 Watt. Als ik dat met 50 naar beneden kan krijgen (wat me, na wat onderzoek, best realistisch lijkt, ook omdat ik niet zo heel veel TiB aan data heb) dan bespaar is € 350 per jaar en betaalt de vervanging zichzelf.

[RobertMe]

Paul schreef op woensdag 25 januari 2023 @ 10:27:
Ik ben wel aan het overwegen mijn NAS te vervangen, want momenteel gebruikt het 70 Watt. Als ik dat met 50 naar beneden kan krijgen (wat me, na wat onderzoek, best realistisch lijkt, ook omdat ik niet zo heel veel TiB aan data heb) dan bespaar is € 350 per jaar en betaalt de vervanging zichzelf.

Als die besparing komt uit 2,5" schijven zou ik daar wel mee opletten. Performance is toch merkbaar minder hij hogere IO loads (leuk voor bulk storage, maar ik zou geen Linux ISOtje er naartoe torrenten).
En daarnaast lijk ik hier twee defecte Seagate 5TB schijfjes te hebben die tegelijkertijd overleden zouden kunnen zijn ondanks aanschafdatum / ingebruikname waar een jaar tussen zit. Hingen aan een Orange Pi voor offsite backups.

En op stroomverbruik besparen door grote SSDs te nemen kan natuurlijk ook, is de besparing v.w.b. energieverbruik nog veel hoger. Kostenbesparing not so much

[nero355]

Funga schreef op woensdag 25 januari 2023 @ 00:56:
Euh ja Nero (Dutch Power Cows? Jezus dat lang geleden zeg.. Optimal Golum Ruler of wat was het ook alweer? My god bijna een ander tijdperk )

Ehm... [World Community Grid] hitparade van week 4

.. je begrijpt dat normale consumenten niet gelijk 3 koppen willen neerleggen, maar liever met anderhalve kop beginnen en over de jaren elke keer een schijfje erbij pleuren. Dat is prima toch? Zodra ze hun echt belangrijke spul online backuppen - encrypted hoop ik - dan zitten ze best prima vind ik. Het zijn geen enterprise klanten. Die kopen gelijk het goede spul.

Maar we hebben het hier over ECHTE Tweakers en dan wordt het een heel ander verhaal mag ik toch hopen

Even naar mijzelf kijkend. Nu staat er zeker 96TiB niets te doen op het moment, maar wel spinnende. Dat had beter gekund. Ik heb op dit moment niet zoveel meer behoefte aan data. Het is op de groei gekocht. Ik wilde 16+3 = 19 disks in mijn RAID-Z3 pool. Dat is gelukt .

Goed zo! Ik ben trots op je!

Stel je hebt een oudere NAS met veel schijven, kan het lonen die door een NAS met minder of slechts één schijf te vervangen, en dan de oude NAS als 1:1 backup gebruiken . 6 oude schijven backuppen 1 nieuwe schijf. Prima toch? De idle power gaat zo flink naar beneden en dus ook de kosten. En een offline backup is een goede bescherming voor je data. Zeker in combinatie met snapshots als je dat ook automatiseert dan is dat een hele goede oplossing voor thuisgebruikers en powerusers idem.

Helemaal mee eens!

Oh en ASMedia is prima wat mij betreft, heb jij slechte ervaringen? JMicron is meer de periferie maar ASMedia houdt zich aardig aan de standaarden en produceert deftige chips die erg low idle power zijn en toch superbetaalbaar. Dus juist heel erg interessant voor "jullie" thuisgebruikers lijkt mij?!

ASMedia = ASUS en daar ben ik niet echt een fan van en zou ik al helemaal niet mijn Storage aan toevertrouwen!

Hun ex-dochterbedrijf AsRock is ze IMHO ondertussen al lang voorbijgestreefd als het gaat om de algehele kwaliteit van de produkten!

Paul schreef op woensdag 25 januari 2023 @ 10:27:
Je bedoelt 4 jaar geleden toen ik het ding kocht? Mag ik jouw glazen bol lenen, de mijne is stuk...

Die heb ik niet, maar wel een fijne gewoonte om meer te kopen dan ik voorlopig nodig heb als het om opslag gaat!

Geld? Energie? Geen mogelijkheid meer tot uitbreiden over?

Ik zal je introduceren met een concept waar je blijkbaar niet veel vanaf weet: Geld. Dat krijg je (of iig normale mensen) in ruil voor arbeid die ze verrichten (genaamd: werk) en daarvan heb je altijd te weinig

Dan moet je dat "Elke keer je laatste cent uitgeven" gedrag afleren samen met nutteloze of overbodige dingen kopen en lekker SPAREN

Alle gekheid op een stokje, ik kan iedere euro maar één keer uitgeven. Het leven is al duur genoeg, dan ga ik niet een hoop extra hardware kopen als dat niet nodig is.

Dan gaan we richting een discussie over wat je nou echt nodig hebt in je leven en dan kan meteen die hele (DIY) NAS ook weg samen met een heleboel andere dingen...

Ik ben wel aan het overwegen mijn NAS te vervangen, want momenteel gebruikt het 70 Watt. Als ik dat met 50 naar beneden kan krijgen (wat me, na wat onderzoek, best realistisch lijkt, ook omdat ik niet zo heel veel TiB aan data heb) dan bespaar is € 350 per jaar en betaalt de vervanging zichzelf.

Als jij een NAS op 20 Watt kan draaien inclusief de HDD's dan zou ik dat best wel knap vinden, want vaak is dat zonder de HDD's of hooguit met maar 1 a 2 stuks of zo

RobertMe schreef op woensdag 25 januari 2023 @ 10:41:
En daarnaast lijk ik hier twee defecte Seagate 5TB schijfjes te hebben die tegelijkertijd overleden zouden kunnen zijn ondanks aanschafdatum / ingebruikname waar een jaar tussen zit. Hingen aan een Orange Pi voor offsite backups.

Het ging fout toen je een Seagate kocht!

[dcm360]

nero355 schreef op woensdag 25 januari 2023 @ 15:37:
[...]

Maar we hebben het hier over ECHTE Tweakers en dan wordt het een heel ander verhaal mag ik toch hopen


[...]

Goed zo! Ik ben trots op je!

Ik zie hier vooral de discussie over andermans portemonnee, met kritiek op degenen waarvan de portemonnee blijkbaar niet genoeg gevuld is. Maar is het juist niet de kunst van het tweaken om met zo weinig mogelijk uitgaven zo veel mogelijk neer te kunnen zetten?

ASMedia = ASUS en daar ben ik niet echt een fan van en zou ik al helemaal niet mijn Storage aan toevertrouwen!

Hun ex-dochterbedrijf AsRock is ze IMHO ondertussen al lang voorbijgestreefd als het gaat om de algehele kwaliteit van de produkten!

Leuk als je de keuze hebt, maar dan viel AM4 (exclusief X570) af, want de chipsets zijn van ASMedia. AM4 ontwijken was voor mij toch wel een akelig prijzige keuze geweest.

[nero355]

dcm360 schreef op woensdag 25 januari 2023 @ 15:48:
Ik zie hier vooral de discussie over andermans portemonnee, met kritiek op degenen waarvan de portemonnee blijkbaar niet genoeg gevuld is.

Maar is het juist niet de kunst van het tweaken om met zo weinig mogelijk uitgaven zo veel mogelijk neer te kunnen zetten?

Ik zie Storage als een hobby die als volgt gaat :
- Shitload aan geld sparen.
- Shitload aan Storage kopen samen met de rest van de hardware.

Maar misschien denk ik teveel vanuit een Storage showcase topic - 50+ TB storage systems achtig perspectief... Kan ook!

Leuk als je de keuze hebt, maar dan viel AM4 (exclusief X570) af, want de chipsets zijn van ASMedia. AM4 ontwijken was voor mij toch wel een akelig prijzige keuze geweest.

Dat is inderdaad een lastig verhaal, maar dus ook gelijk de reden dat ik weinig vertrouwen heb in het hele AM4 gedoe over het algemeen en het alleen zou kopen door hele scherpe aanbiedingen bij elkaar te shoppen, want als het dan misgaat dan ben je minder geld kwijt dan wanneer je overal de hoofdprijs voor betaalt

Stiekem vind ik wel zo'n uitvoering: ASRock DeskMini X300 dan wel uitvoering: ASRock DeskMini A300 dan wel uitvoering: ASRock DeskMini A300W best wel een geinig kastje als HTPC of Mini DIY NAS of zo i.c.m. een APU als de 2200G of iets dergelijks!

[CurlyMo]

nero355 schreef op woensdag 25 januari 2023 @ 16:00:
[...]

Ik zie Storage als een hobby die als volgt gaat :
- Shitload aan geld sparen.
- Shitload aan Storage kopen samen met de rest van de hardware.

Als we het hebben over financiële verstandigheid denk ik net als daarbij meer aan een logische hoeveelheid storage dat ik vrij te gebruiken heb. Als dat te vol raakt, dan heb ik gewoon te veel (meuk). Het bewaren van dingen als films en series valt bij mij dus onder onzin dat ik gewoon periodiek allemaal weer verwijder.

[RobertMe]

nero355 schreef op woensdag 25 januari 2023 @ 16:00:
[...]

Ik zie Storage als een hobby die als volgt gaat :
- Shitload aan geld sparen.
- Shitload aan Storage kopen samen met de rest van de hardware.

Jouw hobby hoeft niet andermans hobby te zijn.

offtopic:
Maar het aantal posts van je met "nero355 zijn mening is de enige toegestane mening" begint de laatste tijd wel heel erg toe te nemen. Waarbij je eerder deze week ook al een aanvaaring had in het Nvidia Shield topic met de "ik heb de beste wifi / netwerk kennis want zoek mijn naam maar eens op in het Netwerken subforum".

[Videopac]

nero355 schreef op woensdag 25 januari 2023 @ 16:00:
[...]

Ik zie Storage als een hobby die als volgt gaat :
- Shitload aan geld sparen.
- Shitload aan Storage kopen samen met de rest van de hardware.

Maar misschien denk ik teveel vanuit een Storage showcase topic - 50+ TB storage systems achtig perspectief... Kan ook!


[...]

Dat is inderdaad een lastig verhaal, maar dus ook gelijk de reden dat ik weinig vertrouwen heb in het hele AM4 gedoe over het algemeen en het alleen zou kopen door hele scherpe aanbiedingen bij elkaar te shoppen, want als het dan misgaat dan ben je minder geld kwijt dan wanneer je overal de hoofdprijs voor betaalt

Stiekem vind ik wel zo'n uitvoering: ASRock DeskMini X300 dan wel uitvoering: ASRock DeskMini A300 dan wel uitvoering: ASRock DeskMini A300W best wel een geinig kastje als HTPC of Mini DIY NAS of zo i.c.m. een APU als de 2200G of iets dergelijks!

Of je koopt een Asustor of QNAP NAS en zet daar Truenas op

[orvintax]

nero355 schreef op woensdag 25 januari 2023 @ 16:00:
[...]

Ik zie Storage als een hobby die als volgt gaat :
- Shitload aan geld sparen.
- Shitload aan Storage kopen samen met de rest van de hardware.

Maar misschien denk ik teveel vanuit een Storage showcase topic - 50+ TB storage systems achtig perspectief... Kan ook!


[...]

Dat is inderdaad een lastig verhaal, maar dus ook gelijk de reden dat ik weinig vertrouwen heb in het hele AM4 gedoe over het algemeen en het alleen zou kopen door hele scherpe aanbiedingen bij elkaar te shoppen, want als het dan misgaat dan ben je minder geld kwijt dan wanneer je overal de hoofdprijs voor betaalt

Stiekem vind ik wel zo'n uitvoering: ASRock DeskMini X300 dan wel uitvoering: ASRock DeskMini A300 dan wel uitvoering: ASRock DeskMini A300W best wel een geinig kastje als HTPC of Mini DIY NAS of zo i.c.m. een APU als de 2200G of iets dergelijks!

Mag ik vragen hoe je geld bespaard door meteen een 50TB server te bouwen als je denkt in de komende jaren maar 5TB nodig te hebben. Dat slaat financieel gezien gewoon als een tang op een varken.

[Paul]

nero355 schreef op woensdag 25 januari 2023 @ 15:37:
Dan moet je dat "Elke keer je laatste cent uitgeven" gedrag afleren samen met nutteloze of overbodige dingen kopen en lekker SPAREN

Wat denk je dat ik heb gedaan zodat ik een NAS kon kopen Ik ben hier niet degene die het uitgeeft aan meer dan dat er nodig is...

Als jij een NAS op 20 Watt kan draaien inclusief de HDD's dan zou ik dat best wel knap vinden, want vaak is dat zonder de HDD's of hooguit met maar 1 a 2 stuks of zo

Zoals ik zei, ik heb tegenwoordig lang niet zoveel data meer als vroeger

RobertMe schreef op woensdag 25 januari 2023 @ 10:41:
En op stroomverbruik besparen door grote SSDs te nemen kan natuurlijk ook, is de besparing v.w.b. energieverbruik nog veel hoger. Kostenbesparing not so much

Ligt er een beetje aan hoeveel data je hebt 2 TB SSD's zijn niet zo veel duurder dan 2 TB HDD's (zolang je SMR links laat liggen) maar schelen wel ongeveer € 25 aan stroom per jaar, dus dat heb je er in een jaar uit. Ga je naar 4 TB of groter dan gaat het wel hard ja.

[nero355]

RobertMe schreef op woensdag 25 januari 2023 @ 16:09:
Jouw hobby hoeft niet andermans hobby te zijn.

Prima, maar dat is toch wel een hele lange tijd het geval geweest als we het over ZFS hebben : Hele grote setups die aardig wat geld hebben gekost...

offtopic:
Maar het aantal posts van je met "nero355 zijn mening is de enige toegestane mening" begint de laatste tijd wel heel erg toe te nemen. Waarbij je eerder deze week ook al een aanvaaring had in het Nvidia Shield topic met de "ik heb de beste wifi / netwerk kennis want zoek mijn naam maar eens op in het Netwerken subforum".

offtopic:
Dat was meer omdat ik me ergerde aan die gast en kan je gerust negeren...

Verder mag je van mij doen wat je maar wilt, maar sommige denken VOORAF beter aanpakken kan je ongewenste resultaten ACHTERAF besparen

CurlyMo schreef op woensdag 25 januari 2023 @ 16:09:
Als we het hebben over financiële verstandigheid denk ik net als daarbij meer aan een logische hoeveelheid storage dat ik vrij te gebruiken heb. Als dat te vol raakt, dan heb ik gewoon te veel (meuk). Het bewaren van dingen als films en series valt bij mij dus onder onzin dat ik gewoon periodiek allemaal weer verwijder.

Dat is een optie inderdaad, maar jou zal ik ook niet gauw over expansion opties zien klagen gok ik ?

Videopac schreef op woensdag 25 januari 2023 @ 16:34:
Of je koopt een Asustor of QNAP NAS en zet daar Truenas op

Soort alternatieve firmware maar dan anders dus ??

Dat is niet verkeerd als dat kan!

orvintax schreef op woensdag 25 januari 2023 @ 17:02:
Mag ik vragen hoe je geld bespaard door meteen een 50TB server te bouwen als je denkt in de komende jaren maar 5TB nodig te hebben. Dat slaat financieel gezien gewoon als een tang op een varken.

5 TB is geen realistische verwachting in een wereld waar bestanden maar groter en groter worden IMHO

En nee, je hoeft geen 50 TB te bouwen, maar bijvoorbeeld 2x 18 TB in een Mirror lijkt me geen gekke optie vandaag de dag ?!

[Paul]

nero355 schreef op woensdag 25 januari 2023 @ 23:03:
En nee, je hoeft geen 50 TB te bouwen, maar bijvoorbeeld 2x 18 TB in een Mirror lijkt me geen gekke optie vandaag de dag ?!

In een wereld waar veel mensen alleen een tablet hebben, of alleen een laptop met 512 GB SSD en misschien wat ruimte kopen op OneDrive / iCloud / Google Drive?

Voor mij is een NAS veel meer over wat het voor mij kan doen (en daarmee inderdaad niet puur NAS meer) dan hoeveel data ik erop kwijt kan. Denk aan zaken als Home Assistant, PiHole, BitWarden, Grafana...

Dat gezegd, mijn mond valt wel open van hoe goedkoop zulke grote schijven tegenwoordig zijn. Ik wil er alleen niet aan denken hoe lang een rebuild gaat duren

[CurlyMo]

Paul schreef op donderdag 26 januari 2023 @ 08:01:
[...]
Dat gezegd, mijn mond valt wel open van hoe goedkoop zulke grote schijven tegenwoordig zijn. Ik wil er alleen niet aan denken hoe lang een rebuild gaat duren

Tsja, ik kijk er opnieuw vanuit een meer financiële blik naar. Veel Nederlanders gaan luxer leven als ze meer gaan verdienen. Mexicanen gaan minder werken als ze meer verdienen. Gechargeerd natuurlijk. Ik zie deze trend vooral als winst op kosten en verbruik. Ik kan meer data kwijt op minder en zuinigere schijven. Dus waar ik eerst pools had van 4x 3.5" 2TB + 2x 3.5" 2TB. heb ik nu een pool van 3x 2.5" 5TB. Niet gek veel meer data, maar wel goedkoper en een stuk zuiniger. De extra 2TB was voor een offsite backup van familie bij mij. Die kan ik nu volledig kwijt op mijn ene pool.

[Videopac]

nero355 schreef op woensdag 25 januari 2023 @ 23:03:
[...]

Soort alternatieve firmware maar dan anders dus ??

Dat is niet verkeerd als dat kan!

[...]

Dat kan.
Ik heb het zelf ook draaien (zie handtekening), maar heb nog geen kennis van TrueNAS dus moet nog veel leren.

[ Voor 14% gewijzigd door Videopac op 26-01-2023 11:05 ]

[nero355]

Paul schreef op donderdag 26 januari 2023 @ 08:01:
In een wereld waar veel mensen alleen een tablet hebben, of alleen een laptop met 512 GB SSD en misschien wat ruimte kopen op OneDrive / iCloud / Google Drive?

In mijn omgeving is men daar niet zo mee bezig maar worden er wel idioot veel foto's gemaakt en video's opgenomen en kwam ik een keer thuis van vakantie met 500 GB aan data en dat was dan nog in het 1080p tijdperk...

Voor mij is een NAS veel meer over wat het voor mij kan doen (en daarmee inderdaad niet puur NAS meer) dan hoeveel data ik erop kwijt kan.
Denk aan zaken als Home Assistant, PiHole, BitWarden, Grafana...

Dat is ook de reden dat ik liever een DIY NAS heb en anders de boel offload naar een Raspberry Pi 3B of Intel Atom NUC

Dat gezegd, mijn mond valt wel open van hoe goedkoop zulke grote schijven tegenwoordig zijn. Ik wil er alleen niet aan denken hoe lang een rebuild gaat duren

Ik besef net dat ik iets ben vergeten te vermelden in eerdere reacties :

De HDD's koop je uiteraard tijdens interessante aanbiedingen en desnoods "shuck" je ze gewoon, want dat scheelt vaak een heleboel geld!

Videopac schreef op donderdag 26 januari 2023 @ 10:00:
Dat kan.
Ik heb het zelf ook draaien (zie handtekening), maar heb nog geen kennis van TrueNAS dus moet nog veel leren.

LOL!

Die dingen zijn gewoon Mini PC's en dan kan je inderdaad mooi de boel herinstalleren met een uitgebreider OS

_{Jammer alleen dat die vent het heeft over uitgebrande CPU's en nog wat andere onzin, maar goed... Amerika en hun rechtszaken geneuzel gok ik...}

[Videopac]

nero355 schreef op donderdag 26 januari 2023 @ 15:43:
[...]

LOL!

Die dingen zijn gewoon Mini PC's en dan kan je inderdaad mooi de boel herinstalleren met een uitgebreider OS

_{Jammer alleen dat die vent het heeft over uitgebrande CPU's en nog wat andere onzin, maar goed... Amerika en hun rechtszaken geneuzel gok ik...}

Als ik zijn filmpjes zie denk ik: “werk toch wat netter man!”. En in het filmpje waarin hij uitlegt hoe je TrueNAS op een Asustor installeert doet hij dat met de standaard 4GB ram NB: heb er zelf 32GB ingezet. Enige nadeel is dat de N5105 geen ECC geheugen ondersteund; eigenlijk nog het enige voordeel van Synology (DS723+/DS923+). Bouwkwaliteit is echt beter. Geen gebrom meer ook.

[ Voor 27% gewijzigd door Videopac op 26-01-2023 18:11 ]

[dcm360]

nero355 schreef op donderdag 26 januari 2023 @ 15:43:
[...]
Ik besef net dat ik iets ben vergeten te vermelden in eerdere reacties :

De HDD's koop je uiteraard tijdens interessante aanbiedingen en desnoods "shuck" je ze gewoon, want dat scheelt vaak een heleboel geld!

Dan moet je goed zoeken tegenwoordig. Schijven van 18TB zijn in externe variant nu 50 euro duurder dan los, en voor shucken moet naar mijn mening toch wel een significant prijsvoordeel voor de externe variant zijn. Die ruimte lijkt de huidige markt niet zo te geven, en dat is denk ik wel een positief teken.

[P5ycho]

nero355 schreef op woensdag 25 januari 2023 @ 23:03:

5 TB is geen realistische verwachting in een wereld waar bestanden maar groter en groter worden IMHO

En nee, je hoeft geen 50 TB te bouwen, maar bijvoorbeeld 2x 18 TB in een Mirror lijkt me geen gekke optie vandaag de dag ?!

Spreek voor jezelf. Ik heb jaren en jaren met 4TB gedaan (5x 1TB 2.5" HDDs in RAIDZ1), en ben vorig jaar naar 8TB (5x 2TB 2.5" SSDs in RAIDZ1) gegaan omdat 2.5" HDD's allemaal SMR zijn tegenwoordig. Daar heb ik nu nog 3.47T van vrij. Er wordt hier genoeg gekeken via niet-officiële kanalen in 4k, foto's opgeslagen, muziek verzameld, vm's gedraaid.

Ik heb de afweging gemaakt tussen aanschafkosten, levensduur, snelheid, en energieverbruik en kom dan echt niet uit bij 2x18TB mirror. 8TB SSD RAIDZ1 kost over de levensduur minder, is sneller, is naar mijn verwachting betrouwbaarder (altijd lastig af te wegen natuurlijk) en was ook gewoon makkelijker te upgraden omdat ik al een RAIDZ1 van 5 disks had .

edit:
crtime Tue Dec 1 02:19:48 2009
Gaat al lang mee, deze pool

[ Voor 3% gewijzigd door P5ycho op 29-01-2023 10:10 ]

[vanaalten]

P5ycho schreef op zondag 29 januari 2023 @ 10:04:
[...]

Spreek voor jezelf. Ik heb jaren en jaren met 4TB gedaan (5x 1TB 2.5" HDDs in RAIDZ1), en ben vorig jaar naar 8TB (5x 2TB 2.5" SSDs in RAIDZ1) gegaan omdat 2.5" HDD's allemaal SMR zijn tegenwoordig. Daar heb ik nu nog 3.47T van vrij. Er wordt hier genoeg gekeken via niet-officiële kanalen in 4k, foto's opgeslagen, muziek verzameld, vm's gedraaid.

Ik heb de afweging gemaakt tussen aanschafkosten, levensduur, snelheid, en energieverbruik en kom dan echt niet uit bij 2x18TB mirror. 8TB SSD RAIDZ1 kost over de levensduur minder, is sneller, is naar mijn verwachting betrouwbaarder (altijd lastig af te wegen natuurlijk) en was ook gewoon makkelijker te upgraden omdat ik al een RAIDZ1 van 5 disks had .

Mee eens.
Sinds december 2014 een ZFS mirror van 2x6TB in gebruik. Vooral voor het bewaren van films & series die ik de moeite waard vind om te bewaren - dus ben wat kritisch in wat er bij komt. Die zit nu zo'n 80% vol. En in het huidige tempo gaat het nog wel even duren voor ik op 90% zit (mijn persoonlijke drempel voor wanneer ik ga uitbreiden/vervangen). Denk dat het best onzinnig was geweest om in 2014 al meteen 2x12TB of zo aan te schaffen.

[nero355]

P5ycho schreef op zondag 29 januari 2023 @ 10:04:
Spreek voor jezelf.

Dat doe ik dan ook grotendeels zoals je in eerdere reacties kan lezen!

[HyperBart]

Vroegah had ik een "pooltje" van 10 x 4TB, omdat ik toen er van overtuigd was dat L2ARC en SLOG ZIL veel opleverden had ik die een tijdje in mijn pool draaien, risicovol zo een ZIL SLOG besef ik, achteraf.

ZIL is dus redelijk snel afgevoerd maar L2ARC heb ik toch een tijd gedraaid, had toch een setje SSD's op overschot en kon die heel dik uitrusten. Nu ik me wat meer ingelezen heb besef ik eigenlijk dat L2ARC ook niet vaak zin heeft, als ik de scripts en stats wat trek dan tonen de nummers dat ook. Daarnaast moet je officieel voor de nummers te volgen ook best wel wat ARC/RAM opofferen om L2ARC te ondersteunen.

Maar! Er was 1 voordeel wat L2ARC me opleverde en waar ik nu niet in slaag om er uit te krijgen: rustige spindowns van mijn disks. Wat bedoel ik daarmee:
Vroeger had ik een L2ARC op een SSD staan en met 10 disks was dat wel nuttig omdat als er een client in mijn netwerk (Kodi) of Radarr/Sonarr checks deden L2ARC alles kon aanleveren, mijn disks moesten niet opspinnen en met een time out van 20 minuten voor spindown was dat wel héél leuk. Mijn disks werden alleen actief als er downloads gemoved werden (kwamen dan ook nog eens eerst binnen op een scratch SSD, leuk als er eens downloads failden, dan gingen de disks nog niet eens up).

Maar met ARC only lijkt dit dus niet meer te werken. Terwijl alles van statistieken (kan ze wel eens terug omhoog toveren) eigenlijk niet rechtvaardigen dat L2ARC nuttig is bij mij.

Concreet zijn de "spinuppers" hier Radarr, Sonarr en Plex.
Wie denkt even mee om zoveel mogelijk in RAM ARC te krijgen voor deze functionaliteit?

[ Voor 6% gewijzigd door HyperBart op 22-02-2023 12:13 ]

[Funga]

Persistent L2ARC en L2ARC voor sequential I/O kan leuk zijn. Dan cache je de meestgebruikte data op je SSD.

Nu is L2ARC vooral een enterprise feature om de hardeschijven te ontlasten van random reads.

[ocaj]

Ik laat schijven gewoon draaien, maar heb in mijn pool ook maar 3 schijven zitten, dus daar kan ik je niet mee helpen.
Sinds L2ARC persistent is, is het wel productiever geworden. E.e.a hangt er ook van af wat je doet.
Op mijn thuis-server ziet de output van arc_summary er momenteel zo uit:

code:

L2ARC size (adaptive):                                         146.6 GiB
        Compressed:                                    81.4 %  119.3 GiB
        Header size:                                  < 0.1 %   34.5 MiB
        MFU allocated size:                            77.5 %   92.6 GiB
        MRU allocated size:                            22.3 %   26.6 GiB
        Prefetch allocated size:                        0.2 %  254.2 MiB
        Data (buffer content) allocated size:          99.9 %  119.3 GiB
        Metadata (buffer content) allocated size:       0.1 %  133.7 MiB

L2ARC breakdown:                                                   17.8M
        Hit ratio:                                     82.2 %      14.6M
        Miss ratio:                                    17.8 %       3.2M
        Feeds:                                                      9.4M

Hit ratio van 82% valt me helemaal niet tegen. Heb ik het echt nodig? Geen idee, maar een 256GB SSD voor alleen rpool, proxmox + LXC-images is wat zonde van de ruimte (alle data staat op de 3x12TB HDD-pool). Vandaar dat ik maar gewoon ca. 150GB L2ARC-partitie aangemaakt heb.

NAS voelt nooit traag aan, ook niet met meerdere gebruikers tegelijk, dus dat is voor mij prima.

[ComTech]

Ik wil mijn server overzetten naar TrueNas met zfs.
Ik heb 4 schijven 2x 4TiB en 2x 3 TiB.
Ik wil eigenlijk een raidz2 daarvoor heb ik 5 schijven nodig.
Wat is nu wijsheid één schijf erbij kopen van 4 TiB en hoeveel ruimte krijg ik dan?
En kan ik dan later de 3 TiB’s vervangen om dan de pool ook uit te vergroten? (Als dat al kan).

Ik heb in de server ook 2 nvme SSD’s (512GiB).
de server wordt vooral gebruikt voor opslag welke niet veel wijzigt en een enkele VM maar wel veel docker containers.
Ik zit te denken om deze dan in te zetten als een mirror pool voor de vm en docker containers.
Of is een cache pool dan beter?

[nero355]

ComTech schreef op zaterdag 25 februari 2023 @ 21:04:
Ik wil mijn server overzetten naar TrueNas met zfs.
Ik heb 4 schijven 2x 4TiB en 2x 3 TiB.
Ik wil eigenlijk een raidz2 daarvoor heb ik 5 schijven nodig.
Wat is nu wijsheid één schijf erbij kopen van 4 TiB en hoeveel ruimte krijg ik dan?

Je kan op elke HDD een partitie maken die klein genoeg is voor de 3 TB HDD's en daarmee ook automatisch op de 4 TB HDD's past.

En als je daar nog een 4 TB HDD bij doet dan kan je dus laten we zeggen 2,9 TB x 3 als ruimte verwachten en dat komt neer op 8,7 TB

En kan ik dan later de 3 TiB’s vervangen om dan de pool ook uit te vergroten? (Als dat al kan).

Als je hele HDD's gebruikt dan kan het, maar als je partities gebruikt dan weet ik niet hoe dat verder aan te passen is eerlijk gezegd...

Ik heb in de server ook 2 nvme SSD’s (512GiB).
de server wordt vooral gebruikt voor opslag welke niet veel wijzigt en een enkele VM maar wel veel docker containers.
Ik zit te denken om deze dan in te zetten als een mirror pool voor de vm en docker containers.
Of is een cache pool dan beter?

Een ZFS Mirror lijkt me een prima optie als je het qua opslagruimte genoeg vindt

[CurlyMo]

ComTech schreef op zaterdag 25 februari 2023 @ 21:04:
Ik wil eigenlijk een raidz2 daarvoor heb ik 5 schijven nodig.

Nee hoor. RAIDZ2 is simpelweg 2 parity schijven, dus een minimum van 3 schijven dus.

[CurlyMo]

nero355 schreef op zaterdag 25 februari 2023 @ 21:15:
[...]
Als je hele HDD's gebruikt dan kan het, maar als je partities gebruikt dan weet ik niet hoe dat verder aan te passen is eerlijk gezegd...

Door de 3TiB schijven te vervangen door de 4TiB schijven en vervolgens de 4TiB schijven met een 3TiB partitie uit de pool halen, de 3TiB partitie verwijderen en weer volledig aanbieden aan de pool.

[nero355]

CurlyMo schreef op zaterdag 25 februari 2023 @ 21:35:
Door de 3TiB schijven te vervangen door de 4TiB schijven en vervolgens de 4TiB schijven met een 3TiB partitie uit de pool halen, de 3TiB partitie verwijderen en weer volledig aanbieden aan de pool.

Ja, maar dan zit ik met de volgende vraag in mijn hoofd : Wat accepteert AutoExpand allemaal qua setups ?

Ik kan me namelijk iets heel vaag herinneren over partities op elke HDD die de standaard werden vanaf een bepaalde versie van OpenZFS i.c.m. Linux of ZFS onder FreeBSD voordat het ook OpenZFS werd

[CurlyMo]

nero355 schreef op zondag 26 februari 2023 @ 21:53:
[...]

Ja, maar dan zit ik met de volgende vraag in mijn hoofd : Wat accepteert AutoExpand allemaal qua setups ?

Dat maakt toch niet uit. Zolang je het maar tussen schijven matched.

[orvintax]

ComTech schreef op zaterdag 25 februari 2023 @ 21:04:
Ik wil mijn server overzetten naar TrueNas met zfs.
Ik heb 4 schijven 2x 4TiB en 2x 3 TiB.
Ik wil eigenlijk een raidz2 daarvoor heb ik 5 schijven nodig.
Wat is nu wijsheid één schijf erbij kopen van 4 TiB en hoeveel ruimte krijg ik dan?
En kan ik dan later de 3 TiB’s vervangen om dan de pool ook uit te vergroten? (Als dat al kan).

Ik heb in de server ook 2 nvme SSD’s (512GiB).
de server wordt vooral gebruikt voor opslag welke niet veel wijzigt en een enkele VM maar wel veel docker containers.
Ik zit te denken om deze dan in te zetten als een mirror pool voor de vm en docker containers.
Of is een cache pool dan beter?

Een handig tooltje dat ik vaak gebruik als het om uitrekenen van zfs configuraties, is deze.

[cville]

Gisteren om middernacht (toen de backup starte) hoorde mijn vrouw 4 keer zeer kort achter elkaar harde klappen uit de meterkast komen. Vandaag heb ik op mijn server gekeken en geconstateerd dat er inderdaad een probleem met een van mijn schijven is. Hier wat diagnostics:

dmesg

code:

[Mar10 00:08] ata8.00: exception Emask 0x10 SAct 0x8018 SErr 0x440100 action 0x6 frozen
[  +0.000028] ata8.00: irq_stat 0x08000000, interface fatal error
[  +0.000009] ata8: SError: { UnrecovData CommWake Handshk }
[  +0.000010] ata8.00: failed command: WRITE FPDMA QUEUED
[  +0.000004] ata8.00: cmd 61/50:18:a0:0f:5d/06:00:e8:00:00/40 tag 3 ncq dma 827392 out
                       res 40/00:20:f0:15:5d/00:00:e8:00:00/40 Emask 0x10 (ATA bus error)
[  +0.000016] ata8.00: status: { DRDY }
[  +0.000004] ata8.00: failed command: WRITE FPDMA QUEUED
[  +0.000004] ata8.00: cmd 61/70:20:f0:15:5d/01:00:e8:00:00/40 tag 4 ncq dma 188416 out
                       res 40/00:20:f0:15:5d/00:00:e8:00:00/40 Emask 0x10 (ATA bus error)
[  +0.000013] ata8.00: status: { DRDY }
[  +0.000005] ata8.00: failed command: WRITE FPDMA QUEUED
[  +0.000003] ata8.00: cmd 61/00:78:a0:07:5d/08:00:e8:00:00/40 tag 15 ncq dma 1048576 ou
                       res 40/00:20:f0:15:5d/00:00:e8:00:00/40 Emask 0x10 (ATA bus error)
[  +0.000013] ata8.00: status: { DRDY }
[  +0.000009] ata8: hard resetting link
[  +0.372089] ata8: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[  +0.045181] ata8.00: configured for UDMA/133
[  +0.009489] sd 7:0:0:0: [sdb] tag#3 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK cmd_age=0s
[  +0.000011] sd 7:0:0:0: [sdb] tag#3 Sense Key : Illegal Request [current]
[  +0.000004] sd 7:0:0:0: [sdb] tag#3 Add. Sense: Unaligned write command
[  +0.000004] sd 7:0:0:0: [sdb] tag#3 CDB: Write(16) 8a 00 00 00 00 00 e8 5d 0f a0 00 00 06 50 00 00
[  +0.000003] I/O error, dev sdb, sector 3898412960 op 0x1:(WRITE) flags 0x4700 phys_seg 168 prio class 0
[  +0.000040] sd 7:0:0:0: [sdb] tag#4 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK cmd_age=0s
[  +0.000003] sd 7:0:0:0: [sdb] tag#4 Sense Key : Illegal Request [current]
[  +0.000003] sd 7:0:0:0: [sdb] tag#4 Add. Sense: Unaligned write command
[  +0.000003] sd 7:0:0:0: [sdb] tag#4 CDB: Write(16) 8a 00 00 00 00 00 e8 5d 15 f0 00 00 01 70 00 00
[  +0.000002] I/O error, dev sdb, sector 3898414576 op 0x1:(WRITE) flags 0x700 phys_seg 46 prio class 0
[  +0.000012] zio pool=lpool vdev=/dev/disk/by-id/ata-TOSHIBA_MG09ACA18TE_71M0A2-part1 error=5 type=2 offset=1995986386944 size=1015808 flags=40080c80
[  +0.000018] sd 7:0:0:0: [sdb] tag#15 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK cmd_age=0s
[  +0.000003] sd 7:0:0:0: [sdb] tag#15 Sense Key : Illegal Request [current]
[  +0.000003] sd 7:0:0:0: [sdb] tag#15 Add. Sense: Unaligned write command
[  +0.000002] sd 7:0:0:0: [sdb] tag#15 CDB: Write(16) 8a 00 00 00 00 00 e8 5d 07 a0 00 00 08 00 00 00
[  +0.000002] I/O error, dev sdb, sector 3898410912 op 0x1:(WRITE) flags 0x700 phys_seg 85 prio class 0
[  +0.000009] zio pool=lpool vdev=/dev/disk/by-id/ata-TOSHIBA_MG09ACA18TE_71M0A2-part1 error=5 type=2 offset=1995985338368 size=1048576 flags=40080c80
[  +0.000005] ata8: EH complete

zpool status

code:

root@nea[~] zpool status
  pool: lpool
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
        repaired.
  scan: resilvered 1.05M in 00:00:04 with 0 errors on Tue Feb 14 15:41:22 2023
config:

        NAME                                      STATE     READ WRITE CKSUM
        lpool                                     DEGRADED     0     0     0
          mirror-0                                DEGRADED     0     0     0
            ata-TOSHIBA_MG09ACA18TE_71M0A2Z1FQDH  ONLINE       0     0     0
            ata-TOSHIBA_MG09ACA18TE_71M0A2  FAULTED      0    21     0  too many errors

errors: No known data errors

  pool: rpool
 state: ONLINE
  scan: scrub repaired 0B in 00:00:05 with 0 errors on Sun Feb 12 00:24:07 2023
config:

        NAME                                 STATE     READ WRITE CKSUM
        rpool                                ONLINE       0     0     0
          mirror-0                           ONLINE       0     0     0
            nvme-eui.002538521190c7b9-part3  ONLINE       0     0     0
            nvme-eui.002538521190c7bd-part3  ONLINE       0     0     0

errors: No known data errors

root@nea[~] smartctl -a /dev/sdb

code:

smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.19.17-2-pve] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     TOSHIBA MG09ACA18TE
Serial Number:    71M0A2
LU WWN Device Id: 5 000039 b08da37e7
Firmware Version: 4301
User Capacity:    18,000,207,937,536 bytes [18.0 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Form Factor:      3.5 inches
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-4 T13/BSR INCITS 529 revision 5
SATA Version is:  SATA 3.3, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Fri Mar 10 16:46:14 2023 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x82) Offline data collection activity
                                        was completed without error.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (  120) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (1507) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   050    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   100   100   050    Pre-fail  Offline      -       0
  3 Spin_Up_Time            0x0027   100   100   001    Pre-fail  Always       -       8382
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       3744
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   050    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   100   100   050    Pre-fail  Offline      -       0
  9 Power_On_Hours          0x0032   089   089   000    Old_age   Always       -       4761
 10 Spin_Retry_Count        0x0033   100   100   030    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       3300
 23 Unknown_Attribute       0x0023   100   100   075    Pre-fail  Always       -       0
 24 Unknown_Attribute       0x0023   100   100   075    Pre-fail  Always       -       0
 27 Unknown_Attribute       0x0023   100   100   030    Pre-fail  Always       -       590417
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       13
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       10
193 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       3757
194 Temperature_Celsius     0x0022   100   100   000    Old_age   Always       -       37 (Min/Max 19/47)
196 Reallocated_Event_Count 0x0033   100   100   010    Pre-fail  Always       -       0
197 Current_Pending_Sector  0x0032   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       1
220 Disk_Shift              0x0002   100   100   000    Old_age   Always       -       917507
222 Loaded_Hours            0x0032   091   091   000    Old_age   Always       -       3979
223 Load_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
224 Load_Friction           0x0022   100   100   000    Old_age   Always       -       0
226 Load-in_Time            0x0026   100   100   000    Old_age   Always       -       654
240 Head_Flying_Hours       0x0001   100   100   001    Pre-fail  Offline      -       0
241 Total_LBAs_Written      0x0032   100   100   000    Old_age   Always       -       29334470873
242 Total_LBAs_Read         0x0032   100   100   000    Old_age   Always       -       144948860760

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      4759         -
# 2  Short captive       Interrupted (host reset)      40%      4759         -
# 3  Short offline       Completed without error       00%      2639         -
# 4  Short offline       Completed without error       00%      2403         -
# 5  Short offline       Completed without error       00%      2154         -
# 6  Short offline       Completed without error       00%      1882         -
# 7  Short offline       Completed without error       00%      1526         -
# 8  Short offline       Completed without error       00%      1170         -
# 9  Short offline       Completed without error       00%       753         -
#10  Short offline       Completed without error       00%       417         -
#11  Short offline       Completed without error       00%        83         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Ik zie aan de smart data niets bijzonders maar de zpool had een zfs clear en resilver nodig en is nu weer online. Heeft iemand enig idee wat hier aan de hand is?

[CurlyMo]

@cville als je de schijf voldoende vertrouwd dan kan je nog even twee keer een scrub doen om te zien of de fouten wegblijven.

[cville]

CurlyMo schreef op vrijdag 10 maart 2023 @ 17:05:
@cville als je de schijf voldoende vertrouwd dan kan je nog even twee keer een scrub doen om te zien of de fouten wegblijven.

Goed idee; meteen gestart.

[nero355]

cville schreef op vrijdag 10 maart 2023 @ 16:53:
Ik zie aan de smart data niets bijzonders maar de zpool had een zfs clear en resilver nodig en is nu weer online.

Heeft iemand enig idee wat hier aan de hand is?

Ik zou het zoeken in de richting van :
- De controller op de HDD die issues heeft.
- De SATA AHCI Controller die issues heeft.
- Eventueel dipje van je voeding

[cville]

nero355 schreef op vrijdag 10 maart 2023 @ 17:24:
[...]

Ik zou het zoeken in de richting van :
- De controller op de HDD die issues heeft.
- De SATA AHCI Controller die issues heeft.
- Eventueel dipje van je voeding

Bedankt voor het meedenken. De drive is onderdeel van een ZFS mirror, beide drives zitten op dezelfde controller. Hetzelfde geldt voor de voeding. Er loopt nu een scrub; wellicht dat die nog wat oplevert.

Verder heb ik gemerkt dat ik geen email kreeg toen de pool DEGRADED werd terwijl ik dat volgens mij wel goed ingesteld heb:

code:

root@nea[~] nano /etc/zfs/zed.d/zed.rc
    ZED_EMAIL_ADDR="root@localhost"
root@nea[~] systemctl restart zed
root@nea[~] systemctl status zed

[nero355]

cville schreef op vrijdag 10 maart 2023 @ 17:29:
Beide drives zitten op dezelfde controller.
Hetzelfde geldt voor de voeding.

Een enkele SATA Poort (data of stroom) die stuk is gegaan kan natuurlijk ook nog!

[cville]

nero355 schreef op vrijdag 10 maart 2023 @ 17:35:
[...]

Een enkele SATA Poort (data of stroom) die stuk is gegaan kan natuurlijk ook nog!

Ik kan natuurlijk morgen de kabels eens re-seaten.

[cville]

@CurlyMo De scrub was een goed idee van je; helaas lijkt het probleem permanent te zijn:

code:

root@nea[~] zpool status
  pool: lpool
 state: ONLINE
status: One or more devices has experienced an unrecoverable error.  An
        attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
        using 'zpool clear' or replace the device with 'zpool replace'.
   see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-9P
  scan: scrub repaired 1.84M in 03:15:54 with 0 errors on Fri Mar 10 20:23:07 2023
config:

        NAME                                      STATE     READ WRITE CKSUM
        lpool                                     ONLINE       0     0     0
          mirror-0                                ONLINE       0     0     0
            ata-TOSHIBA_MG09ACA18TE_71M0A2  ONLINE       0     0     0
            ata-TOSHIBA_MG09ACA18TE_71M0A2  ONLINE       0     0    18

Tijd voor een RMA helaas.

[Thralas]

cville schreef op vrijdag 10 maart 2023 @ 20:39:
Tijd voor een RMA helaas.

Als je de error goed leest zie je dat het een bus/interface error is, de CRC error counter staat ook op 1.

Raadzaam om dan eerst eens een andere SATA-kabel te proberen. Of desnoods een andere SATA-poort.

[cville]

Thralas schreef op vrijdag 10 maart 2023 @ 21:14:
[...]


Als je de error goed leest zie je dat het een bus/interface error is, de CRC error counter staat ook op 1.

Raadzaam om dan eerst eens een andere SATA-kabel te proberen. Of desnoods een andere SATA-poort.

Ga ik morgen nog even doen; bedankt!

[Funga]

ComTech schreef op zaterdag 25 februari 2023 @ 21:04:
Ik wil mijn server overzetten naar TrueNas met zfs.
Ik heb 4 schijven 2x 4TiB en 2x 3 TiB.
[..]
Wat is nu wijsheid

Eén pool RAID-Z of RAID-Z2 met 4 schijven. Hou je op je 4TB schijven (niet TiB maar TB) natuurlijk elk een terabyte over. Die kun je dan in een mirror pool doen.

Dus:

partitie 1: 3TB voor RAID-Z pool
partitie 2: 1TB voor mirror pool

Op de mirror pool kun je dan bijv. een backup draaien. Ik zou die pool niet tegelijkertijd gebruiken met de RAID-Z, dus voorkomen dat je veel I/O tegelijkertijd op de pools doet. Een mirror pool als backup is dus een goede optie. Dan heb je toch de maximale capaciteit benut van je schijven. Maar je draait wel RAID-Z1/2 met 4 schijven, dat is fijn.

Een RAID-Z2 met 4 schijven is veiliger dan een mirror+stripe setup van 4 schijven; er kunnen altijd twee schijven uitvallen zonder gegevensverlies terwijl dat niet altijd kan bij een mirror+stripe setup; die kan tussen de één en twee schijven missen zonder dataverlies, maar twee is dus niet gegarandeerd. RAID-Z is dus veiliger, stripe+mirror is sneller vooral voor random I/O.

RAID-Z is het meest geschikt voor bulkopslag. Dus één gebruiker die bijvoorbeeld iets kopieert vanaf je NAS. Het is minder geschikt om veel random I/O te doen zoals met virtual machines.

[cville]

@CurlyMo @Thralas Ik heb vandaag de sata kabel vervangen van de betreffende drive. Hier is het resultaat van de scrub:

code:

ZFS has finished a scrub:

   eid: 46
 class: scrub_finish
  host: nea
  time: 2023-03-11 15:42:19+0100
  pool: lpool
 state: ONLINE
  scan: scrub repaired 0B in 03:27:13 with 0 errors on Sat Mar 11 15:42:19 2023
config:

        NAME                                      STATE     READ WRITE CKSUM
        lpool                                     ONLINE       0     0     0
          mirror-0                                ONLINE       0     0     0
            ata-TOSHIBA_MG09ACA18TE_Z             ONLINE       0     0     0
            ata-TOSHIBA_MG09ACA18TE_Y             ONLINE       0     0     0

errors: No known data errors

Ik heb inmiddels een RMA maar vraag me af wat wijsheid is. Aan de ene kant kan ik op dit moment geen fouten constateren. Aan de andere kant heeft de drive 4 forse klappen laten horen - mijn vrouw vergeleek het met vuistslagen op de tafel. Dat kan nooit goed zijn voor de levensduur van de drive. Ik begrijp ook niet hoe een drive zo'n geluid kan maken. Morgen maar weer een scrub proberen.

[nero355]

cville schreef op zaterdag 11 maart 2023 @ 16:00:
Aan de andere kant heeft de drive 4 forse klappen laten horen - mijn vrouw vergeleek het met vuistslagen op de tafel. Dat kan nooit goed zijn voor de levensduur van de drive.

Ik begrijp ook niet hoe een drive zo'n geluid kan maken.

Ik wel sinds ik ervaring heb met Externe WD HDD's van 12 TB uit twee verschillende series

Als zo'n HDD draait dan heb je het idee dat er een flink roterend element in zit vergeleken met oudere 4 TB en kleinere HDD's die ik ervoor heb gehad!
Ik kan me dan wel voorstellen dat je rare effecten krijgt op het moment dat de stroomtoevoer bijvoorbeeld effe niet stabiel is of zo'n drive door een brakke SATA kabel meerdere keren kort achter elkaar offline/online gaat en je daardoor dus die "slagen" krijgt als het ware

Tenminste... zoiets verwacht ik in ieder geval...
Kan er natuurlijk ook gruwelijk naast zitten!

[cville]

nero355 schreef op zaterdag 11 maart 2023 @ 18:50:
[...]

Ik wel sinds ik ervaring heb met Externe WD HDD's van 12 TB uit twee verschillende series

Als zo'n HDD draait dan heb je het idee dat er een flink roterend element in zit vergeleken met oudere 4 TB en kleinere HDD's die ik ervoor heb gehad!
Ik kan me dan wel voorstellen dat je rare effecten krijgt op het moment dat de stroomtoevoer bijvoorbeeld effe niet stabiel is of zo'n drive door een brakke SATA kabel meerdere keren kort achter elkaar offline/online gaat en je daardoor dus die "slagen" krijgt als het ware

Tenminste... zoiets verwacht ik in ieder geval...
Kan er natuurlijk ook gruwelijk naast zitten!

Kan ik allemaal in meegaan behalve het volume: dit geluid klonk hard door 2 deuren heen.

[orvintax]

cville schreef op zaterdag 11 maart 2023 @ 16:00:
@CurlyMo @Thralas Ik heb vandaag de sata kabel vervangen van de betreffende drive. Hier is het resultaat van de scrub:

code:

ZFS has finished a scrub:

   eid: 46
 class: scrub_finish
  host: nea
  time: 2023-03-11 15:42:19+0100
  pool: lpool
 state: ONLINE
  scan: scrub repaired 0B in 03:27:13 with 0 errors on Sat Mar 11 15:42:19 2023
config:

        NAME                                      STATE     READ WRITE CKSUM
        lpool                                     ONLINE       0     0     0
          mirror-0                                ONLINE       0     0     0
            ata-TOSHIBA_MG09ACA18TE_Z             ONLINE       0     0     0
            ata-TOSHIBA_MG09ACA18TE_Y             ONLINE       0     0     0

errors: No known data errors

Ik heb inmiddels een RMA maar vraag me af wat wijsheid is. Aan de ene kant kan ik op dit moment geen fouten constateren. Aan de andere kant heeft de drive 4 forse klappen laten horen - mijn vrouw vergeleek het met vuistslagen op de tafel. Dat kan nooit goed zijn voor de levensduur van de drive. Ik begrijp ook niet hoe een drive zo'n geluid kan maken. Morgen maar weer een scrub proberen.

Ik zou persoonlijk het zekere voor het onzekere nemen. Je hebt een mogelijkheid tot RMA, pak die kans dan. Maar dat is wat ik zou doen in die situatie.

[Thralas]

cville schreef op zaterdag 11 maart 2023 @ 16:00:
Aan de andere kant heeft de drive 4 forse klappen laten horen - mijn vrouw vergeleek het met vuistslagen op de tafel. Dat kan nooit goed zijn voor de levensduur van de drive.

Om eerlijk te zijn lijkt me dat zeer, zeer onwaarschijnlijk. Er is een geluid gehoord, maar je weet allereerst niet zeker waar het precies vandaan komt. Ten eerste kan een harddisk zo'n geluid niet produceren. Niet zo hard, en niet met het karakteristiek van een vuistslag. De heads kunnen een hoorbare tik of klik produceren bij mechanisch falen (of parkeren), maar dat is het dan ook wel. Tenzij je voor een open meterkast staat hoor je dat niet eens..

Lijkt me véél waarschijnlijker dat het iets anders is. En weet je wat wél een hele harde hoorbare klap kan veroorzaken (precies zoals de beschrijving zelfs) en ook nog eens niet zo gek is in de buurt van je meterkast?

Waterslag.

Ik begrijp ook niet hoe een drive zo'n geluid kan maken. Morgen maar weer een scrub proberen.

Niet dus. En dan hadden we het nog niet eens gehad over de fout die optrad: een interface reset. Dat maakt geen geluid - de schijf draait gewoon door

Ik heb inmiddels een RMA maar vraag me af wat wijsheid is. Aan de ene kant kan ik op dit moment geen fouten constateren.

De enige rationele keuze is: afwachten om te zien of het probleem nu verholpen is.

Er is geen aanwijzing dat er iets mis is met je schijf - behalve het geluid wat ik hierboven hopelijk debunked heb. Met de interface was iets mis, in veel gevallen helpt het om het SATA-kabeltje opnieuw te prikken. Of voor de zekerheid vervangen. Google maar. Dat heb je gedaan, dus nu is het wachten.

Als je die schijf wel terugstuurt dan heb je een grote kans dat dat ten eerste voor niets is en ten tweede krijg je er dan een schijf voor terug die mogelijk refurbished is (bijvoorbeeld omdat mensen schrijven terugsturen waar niets mis mee is ).

[Baserk]

cville schreef op zaterdag 11 maart 2023 @ 19:29:
[...]


Kan ik allemaal in meegaan behalve het volume: dit geluid klonk hard door 2 deuren heen.

Zit er in die meterkast wellicht een drukverschil-regelaar/Delta-P klep tbv verwarming oid?
Heb HDD's veel geluiden horen maken afgelopen decennia maar niet zo hard nml.

[cville]

Thralas schreef op zondag 12 maart 2023 @ 12:23:
[...]


Om eerlijk te zijn lijkt me dat zeer, zeer onwaarschijnlijk. Er is een geluid gehoord, maar je weet allereerst niet zeker waar het precies vandaan komt. Ten eerste kan een harddisk zo'n geluid niet produceren. Niet zo hard, en niet met het karakteristiek van een vuistslag. De heads kunnen een hoorbare tik of klik produceren bij mechanisch falen (of parkeren), maar dat is het dan ook wel. Tenzij je voor een open meterkast staat hoor je dat niet eens..

Lijkt me véél waarschijnlijker dat het iets anders is. En weet je wat wél een hele harde hoorbare klap kan veroorzaken (precies zoals de beschrijving zelfs) en ook nog eens niet zo gek is in de buurt van je meterkast?

Waterslag.


[...]


Niet dus. En dan hadden we het nog niet eens gehad over de fout die optrad: een interface reset. Dat maakt geen geluid - de schijf draait gewoon door


[...]


De enige rationele keuze is: afwachten om te zien of het probleem nu verholpen is.

Er is geen aanwijzing dat er iets mis is met je schijf - behalve het geluid wat ik hierboven hopelijk debunked heb. Met de interface was iets mis, in veel gevallen helpt het om het SATA-kabeltje opnieuw te prikken. Of voor de zekerheid vervangen. Google maar. Dat heb je gedaan, dus nu is het wachten.

Als je die schijf wel terugstuurt dan heb je een grote kans dat dat ten eerste voor niets is en ten tweede krijg je er dan een schijf voor terug die mogelijk refurbished is (bijvoorbeeld omdat mensen schrijven terugsturen waar niets mis mee is ).

Je hebt het waargenomen geluid wat mij betreft niet debunked hoewel ik het met je eens ben dat ik niet weet hoe een drive zo'n geluid zou kunnen produceren.

1. ik heb het zelf niet waargenomen omdat ik al sliep maar mijn vrouw wel
2. het moment van waarnemen komt exact overeen met het tijdstip in de logging die de fouten laten zien
3. waterslag heb ik ook aan gedacht maar is uitgesloten aangezien er op dat moment geen waterafname was

Als ik de logging niet had en de waarneming van de 4 harde klappen niet uit een voor mij betrouwbare bron zou komen, zou ik dit ook een broodje aap verhaal vinden maar dat is niet zo.

[cville]

Baserk schreef op zondag 12 maart 2023 @ 13:15:
[...]

Zit er in die meterkast wellicht een drukverschil-regelaar/Delta-P klep tbv verwarming oid?
Heb HDD's veel geluiden horen maken afgelopen decennia maar niet zo hard nml.

Nee. Zie ook mijn post net hierboven over de waarnemeningen.

[ComTech]

ComTech schreef op zaterdag 25 februari 2023 @ 21:04:
Ik wil mijn server overzetten naar TrueNas met zfs.
Ik heb 4 schijven 2x 4TiB en 2x 3 TiB.
Ik wil eigenlijk een raidz2 daarvoor heb ik 5 schijven nodig.
Wat is nu wijsheid één schijf erbij kopen van 4 TiB en hoeveel ruimte krijg ik dan?
En kan ik dan later de 3 TiB’s vervangen om dan de pool ook uit te vergroten? (Als dat al kan).

Even mezelf quoten, ik heb intussen truenas draaien, de pools aanmaken moest echter wel met de hand door de constructie met de partities dat kan niet via de gui.
Ik heb nu 2 pools, 1 RAIDZ2 pool van 4 schijven 2 met 3TB en 2 schijven van 4TB met 2 partities van 3TB
En nog 1 mirror pool op de 4TB schijven met 1TB partities.
Alleen ben ik toch bang dat er snelheidsproblemen zijn.
Als ik iets kopieer naar de RAIDZ2 pool dan zakt de snelheid na een minuut compleet in en na een tijdje trekt hij wel weer bij (om daarna weer in te zakken etc etc).



Ligt dat toch aan mijn configuratie? Ik doe niks op de 2 pools tegelijk.
Wat me ook opvalt aan Truenas / ZFS is dat ik continue schijfactiviteit hoor, terwijl ik niks aan het doen ben en er niets bijzonders draait.

edit: Ik heb even getest op de SSD mirror pool die ik ook heb voor VM's en Applicaties en daar blijft de snelheid gewoon hoog.

[ Voor 3% gewijzigd door ComTech op 14-03-2023 22:13 ]

[Thralas]

Wat voor schijven? SMR?

[ComTech]

Thralas schreef op dinsdag 14 maart 2023 @ 22:53:
Wat voor schijven? SMR?

Seagate Ironwolf’s gewoon CMR schijven.
Hebben al in een ander systeem gedraaid nooit performance issues gehad.

[nero355]

ComTech schreef op dinsdag 14 maart 2023 @ 22:08:
Alleen ben ik toch bang dat er snelheidsproblemen zijn.
Als ik iets kopieer naar de RAIDZ2 pool dan zakt de snelheid na een minuut compleet in en na een tijdje trekt hij wel weer bij (om daarna weer in te zakken etc etc).

Klinkt als een buffer die elke keer helemaal leegloopt en daarna weer wordt aangevuld, maar waar het precies aan ligt durf ik niet te zeggen...

edit: Ik heb even getest op de SSD mirror pool die ik ook heb voor VM's en Applicaties en daar blijft de snelheid gewoon hoog.

Hoe test je dat of via welk protocol doe je de snelheidsmetingen ?