Het grote ZFS topic

[CurlyMo]

nero355 schreef op donderdag 3 november 2022 @ 14:13:
[...]

Het is dus altijd veel beter om niet de kapotte HDD offline te halen en te vervangen door een nieuwe HDD maar gewoon die kapotte te laten zitten totdat de boel weer resilvered is i.c.m. de nieuwe HDD en daarna kan je veilig de kapotte HDD offline halen!

Dat is alles...

Als je een replace doet dan wordt de oude schijf automatisch uit de pool verwijderd. Dus je hoeft niet meer expliciet offline e.d. te doen.

[CurlyMo]

Redsandro schreef op donderdag 3 november 2022 @ 14:48:
[...]

Dat lijkt mij ook, maar volgens de man pages kan het niet met raidz vdevs. Weet je zeker dat je niet in de war bent met mirror vdevs? Of is de manual onhandig geschreven?

Ik begrijp niet goed wat je beschrijft. Is het voorbeeld hier Redsandro in "Het grote ZFS topic" wat je daadwerkelijk ziet of wat je zou willen zien?

Zover ik weet kan wat je daar schetst helemaal niet.

root@pve:/# zpool create foo raidz /tmp/a /tmp/b mirror /tmp/c /tmp/d
root@pve:/# zpool status foo
  pool: foo
 state: ONLINE
config:

        NAME        STATE     READ WRITE CKSUM
        foo         ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            /tmp/a  ONLINE       0     0     0
            /tmp/b  ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            /tmp/c  ONLINE       0     0     0
            /tmp/d  ONLINE       0     0     0

errors: No known data errors

Oftewel, je krijgt niet een halve RAID51

Andere poging via zpool attach:

root@pve:/# zpool create foo raidz /tmp/a /tmp/b /tmp/c
root@pve:/# zpool status foo
  pool: foo
 state: ONLINE
config:

        NAME        STATE     READ WRITE CKSUM
        foo         ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            /tmp/a  ONLINE       0     0     0
            /tmp/b  ONLINE       0     0     0
            /tmp/c  ONLINE       0     0     0

errors: No known data errors
root@pve:/# zpool attach -f foo /tmp/a /tmp/d
cannot attach /tmp/d to /tmp/a: can only attach to mirrors and top-level disks

[Redsandro]

CurlyMo schreef op donderdag 3 november 2022 @ 14:59:
[...]

Ik begrijp niet goed wat je beschrijft. Is het voorbeeld hier Redsandro in "Het grote ZFS topic" wat je daadwerkelijk ziet of wat je zou willen zien? Zover ik weet kan wat je daar schetst helemaal niet.

Dat is wat ik zou willen zien, wat ik denk dat logisch zou zijn, of iets in die buurt. Bedankt voor de tests. Ik ben verder gaan zoeken en kom op Serverfault deze vraag tegen. Hij beantwoordt impliciet mijn vraag en geeft @nero355 en @RobertMe gelijk. Een van de antwoorden laat ook zien hoe dat er uit zou zien:

code:

    NAME                     STATE     READ WRITE CKSUM
    test                     DEGRADED     0     0     0
      raidz1-0               DEGRADED     0     0     0
        8480467682579886773  OFFLINE      0     0     0  was /dev/md0
        md1                  ONLINE       0     0     0
        replacing-2          ONLINE       0     0     0
          md2                ONLINE       0     0     0
          md3                ONLINE       0     0     0  (resilvering)

(Let niet op de OFFLINE, dat gaat over een ongerelateerd deel van de vraag.)
Maar dat is op Solaris. Ik gebruik ZFS on Linux (ZoL). Als ik een voorbeeld kan vinden van iemand die dat doet op Linux, dan zou ik me zekerder voelen.

[Voor 3% gewijzigd door Redsandro op 03-11-2022 15:12]

[RobertMe]

Ik heb vorige week een een disk vervangen met een replace:

sudo zpool replace -f tank ata-WDC_WD80EMAZ-<knip> ata-WDC_WD180EDGZ-<knip>

Dat op Proxmox dus ZoL.

Dat was dan gewoon een vervanging / upgrade. Niet een "de oude is wellicht niet betrouwbaar is en ik wil al dan niet met beide naast elkaar draaien". Einde resilver was de oude disk ook meteen uit de pool gegooid en klaar.

Dat de man page stelt dat het identiek is aan een attach + detach dat vervolgens weer niet kan op raidz is dan wel vaag.

[dcm360]

Redsandro schreef op donderdag 3 november 2022 @ 15:11:
[...]


Dat is wat ik zou willen zien, wat ik denk dat logisch zou zijn, of iets in die buurt. Bedankt voor de tests. Ik ben verder gaan zoeken en kom op Serverfault deze vraag tegen. Hij beantwoordt impliciet mijn vraag en geeft @nero355 en @RobertMe gelijk. Een van de antwoorden laat ook zien hoe dat er uit zou zien:

code:

    NAME                     STATE     READ WRITE CKSUM
    test                     DEGRADED     0     0     0
      raidz1-0               DEGRADED     0     0     0
        8480467682579886773  OFFLINE      0     0     0  was /dev/md0
        md1                  ONLINE       0     0     0
        replacing-2          ONLINE       0     0     0
          md2                ONLINE       0     0     0
          md3                ONLINE       0     0     0  (resilvering)

(Let niet op de OFFLINE, dat gaat over een ongerelateerd deel van de vraag.)
Maar dat is op Solaris. Ik gebruik ZFS on Linux (ZoL). Als ik een voorbeeld kan vinden van iemand die dat doet op Linux, dan zou ik me zekerder voelen.

Een replace met ZoL doet precies dit. Vaak genoeg gezien, maar zo ver ik kan vinden heb ik er nooit een screenshot of kopie van gemaakt.

[Compizfox]

Compizfox schreef op dinsdag 6 september 2022 @ 10:20:
Het lijkt toch wel aan die SSD te liggen. Nu met de mirror klapt dezelfde (eerste) SSD er nog steeds uit.

Omdat ik nu een mirror heb, blijft het systeem online en kan ik de logs inzien:

code:

Sep 06 01:21:45 eos kernel: ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
Sep 06 01:21:45 eos kernel: ACPI BIOS Error (bug): Could not resolve symbol [\_SB.PCI0.SAT0.SPT2._GTF.DSSP], AE_NOT_FOUND (20210730/psargs-330)
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Local Variables are initialized for Method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Arguments are initialized for method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: ACPI Error: Aborting method \_SB.PCI0.SAT0.SPT2._GTF due to previous error (AE_NOT_FOUND) (20210730/psparse-529)
Sep 06 01:21:45 eos kernel: ata3.00: supports DRM functions and may not be fully accessible
Sep 06 01:21:45 eos kernel: ACPI BIOS Error (bug): Could not resolve symbol [\_SB.PCI0.SAT0.SPT2._GTF.DSSP], AE_NOT_FOUND (20210730/psargs-330)
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Local Variables are initialized for Method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Arguments are initialized for method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: ACPI Error: Aborting method \_SB.PCI0.SAT0.SPT2._GTF due to previous error (AE_NOT_FOUND) (20210730/psparse-529)
Sep 06 01:21:45 eos kernel: ata3.00: supports DRM functions and may not be fully accessible
Sep 06 01:21:45 eos kernel: ata3.00: configured for UDMA/133
Sep 06 01:56:07 eos kernel: perf: interrupt took too long (2501 > 2500), lowering kernel.perf_event_max_sample_rate to 79750
Sep 06 02:11:17 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3.00: disabled
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: rejecting I/O to offline device
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 400779512 op 0x1:(WRITE) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=2 offset=204661190656 size=8192 flags=180880
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958312 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958632 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958848 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45521010688 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89962336 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45522796544 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89962376 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45522817024 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 1051152 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 400779584 op 0x1:(WRITE) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=2 offset=204661227520 size=4096 flags=180880
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=270336 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 488395792 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=249520726016 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 488396304 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=249520988160 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45520736256 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45520900096 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: ata3.00: detaching (SCSI 2:0:0:0)
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Synchronizing SCSI cache
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Synchronize Cache(10) failed: Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Stopping disk
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Start/Stop Unit failed: Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Sep 06 06:12:39 eos kernel: ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)

Ik ga nog even wat kabels omwisselen om die uit te sluiten en anders maar die drive RMAen...

Ik dacht dat ik van dit probleem af was omdat ik heel lang nergens last van had nadat ik twee van die SSDs in een mirror gegooid had, maar vandaag was het toch weer raak...

Blijkbaar faalden beide SSDs tegelijk (!?) want opnieuw werd de hele root pool suspended: "Pool 'rpool' has encountered an uncorrectable I/O failure and has been suspended."

Het gekke is dat ik na een power cycle ook niet meer van de SSDs kon booten... Hierom dacht ik dat ze helemaal naar de getver waren, maar nadere inspectie wijst uit dat de partities (incl. de EFI system partitions) gewoon in orde zijn. Toch kan ik niet van de SSDs zelf meer booten (wel d.m.v. de "rescue boot"-functie op de install USB-stick).

Wat kan er hier gebeurd zijn?

[nero355]

Redsandro schreef op donderdag 3 november 2022 @ 14:48:
Dat lijkt mij ook, maar volgens de man pages kan het niet met raidz vdevs.

Weet je zeker dat je niet in de war bent met mirror vdevs? Of is de manual onhandig geschreven?

Redsandro schreef op donderdag 3 november 2022 @ 15:11:
Dat is wat ik zou willen zien, wat ik denk dat logisch zou zijn, of iets in die buurt. Bedankt voor de tests. Ik ben verder gaan zoeken en kom op Serverfault deze vraag tegen. Hij beantwoordt impliciet mijn vraag en geeft @nero355 en @RobertMe gelijk. Een van de antwoorden laat ook zien hoe dat er uit zou zien:

code:

    NAME                     STATE     READ WRITE CKSUM
    test                     DEGRADED     0     0     0
      raidz1-0               DEGRADED     0     0     0
        8480467682579886773  OFFLINE      0     0     0  was /dev/md0
        md1                  ONLINE       0     0     0
        replacing-2          ONLINE       0     0     0
          md2                ONLINE       0     0     0
          md3                ONLINE       0     0     0  (resilvering)

(Let niet op de OFFLINE, dat gaat over een ongerelateerd deel van de vraag.)
Maar dat is op Solaris. Ik gebruik ZFS on Linux (ZoL). Als ik een voorbeeld kan vinden van iemand die dat doet op Linux, dan zou ik me zekerder voelen.

Negeer al die meuk en doe gewoon wat wij zeggen : Dat werkt gewoon! Ook onder ZFS on Linux

Als je me niet gelooft dan moet je maar de Search van dit topic bovenaan erbij pakken!

CurlyMo schreef op donderdag 3 november 2022 @ 14:51:
Als je een replace doet dan wordt de oude schijf automatisch uit de pool verwijderd. Dus je hoeft niet meer expliciet offline e.d. te doen.

Dat wist ik effe niet meer... Thnx!

Compizfox schreef op donderdag 3 november 2022 @ 17:50:
Ik dacht dat ik van dit probleem af was omdat ik heel lang nergens last van had nadat ik twee van die SSDs in een mirror gegooid had, maar vandaag was het toch weer raak...

Blijkbaar faalden beide SSDs tegelijk (!?) want opnieuw werd de hele root pool suspended: "Pool 'rpool' has encountered an uncorrectable I/O failure and has been suspended."

Het gekke is dat ik na een power cycle ook niet meer van de SSDs kon booten... Hierom dacht ik dat ze helemaal naar de getver waren, maar nadere inspectie wijst uit dat de partities (incl. de EFI system partitions) gewoon in orde zijn. Toch kan ik niet van de SSDs zelf meer booten (wel d.m.v. de "rescue boot"-functie op de install USB-stick).

Wat kan er hier gebeurd zijn?

Klote man...

Het enige wat ik kan bedenken is een firmware issue met die Crucial MX500 dingen, want IMHO was de laatste fatsoenlijke Crucial de M500 dan wel de M500 DC en was alles daarna één grote "Meh..." en hooguit leuk voor de gamertjes en zo...

[orvintax]

Compizfox schreef op donderdag 3 november 2022 @ 17:50:
[...]

Ik dacht dat ik van dit probleem af was omdat ik heel lang nergens last van had nadat ik twee van die SSDs in een mirror gegooid had, maar vandaag was het toch weer raak...

Blijkbaar faalden beide SSDs tegelijk (!?) want opnieuw werd de hele root pool suspended: "Pool 'rpool' has encountered an uncorrectable I/O failure and has been suspended."

Het gekke is dat ik na een power cycle ook niet meer van de SSDs kon booten... Hierom dacht ik dat ze helemaal naar de getver waren, maar nadere inspectie wijst uit dat de partities (incl. de EFI system partitions) gewoon in orde zijn. Toch kan ik niet van de SSDs zelf meer booten (wel d.m.v. de "rescue boot"-functie op de install USB-stick).

Wat kan er hier gebeurd zijn?

+1 voor firmware issues. Ik zou ook even wat opzoekwerk doen over je SDDs en je overige hardware. Ik heb iets vergelijkbaars meegemaakt en toen kwam het door de chipset van mijn toenmalige zelfbouw server. Die vonden mijn SSDs niet zo leuk.

[Redsandro]

De replace gebeurt inderdaad netjes zonder de oude te offlinen. Maar ik heb toch een foutje gemaakt door de devices ipv de ID's in te typen. De oude verwijst netjes naar /dev/disk/by-id, maar de nieuwe verwijst naar de tijdelijke /dev/sdh. Zie path:

code:

children[2]:
    type: 'replacing'
    id: 2
    children[0]:
        type: 'disk'
        path: '/dev/disk/by-id/ata-ST10...'
        devid: 'ata-ST10000...'
        phys_path: 'pci-0000:00:1f.2-ata-5'
        whole_disk: 1
    children[1]:
        type: 'disk'
        path: '/dev/sdh1'
        devid: 'ata-TOSHIBA...'
        phys_path: 'pci-0000:00:14.0-usb-0:2.1:1.0-scsi-0:0:0:0'
        whole_disk: 1

code:

NAME                  STATE     READ WRITE CKSUM
xena                  ONLINE       0     0     0
  raidz1-0            ONLINE       0     0     0
    ata-WDC_WD10...   ONLINE       0     0     0
    ata-WDC_WD10...   ONLINE       0     0     0
    replacing-2       ONLINE       0     0     0
      ata-ST10...     ONLINE       0     0     0
      sdh             ONLINE       0     0     0  (resilvering)
    ata-ST10...       ONLINE       0     0     0

/dev/sdh is een tijdelijke locatie. Kan ik dat na de resilver nog aanpassen naar /dev/by-id/...?

[CurlyMo]

Redsandro schreef op vrijdag 4 november 2022 @ 13:38:
/dev/sdh is een tijdelijke locatie. Kan ik dat na de resilver nog aanpassen naar /dev/by-id/...?

Niks om je zorgen om te maken.

[RobertMe]

Redsandro schreef op vrijdag 4 november 2022 @ 13:38:
De replace gebeurt inderdaad netjes zonder de oude te offlinen. Maar ik heb toch een foutje gemaakt door de devices ipv de ID's in te typen. De oude verwijst netjes naar /dev/disk/by-id, maar de nieuwe verwijst naar de tijdelijke /dev/sdh. Zie path:

code:

children[2]:
    type: 'replacing'
    id: 2
    children[0]:
        type: 'disk'
        path: '/dev/disk/by-id/ata-ST10...'
        devid: 'ata-ST10000...'
        phys_path: 'pci-0000:00:1f.2-ata-5'
        whole_disk: 1
    children[1]:
        type: 'disk'
        path: '/dev/sdh1'
        devid: 'ata-TOSHIBA...'
        phys_path: 'pci-0000:00:14.0-usb-0:2.1:1.0-scsi-0:0:0:0'
        whole_disk: 1

code:

NAME                  STATE     READ WRITE CKSUM
xena                  ONLINE       0     0     0
  raidz1-0            ONLINE       0     0     0
    ata-WDC_WD10...   ONLINE       0     0     0
    ata-WDC_WD10...   ONLINE       0     0     0
    replacing-2       ONLINE       0     0     0
      ata-ST10...     ONLINE       0     0     0
      sdh             ONLINE       0     0     0  (resilvering)
    ata-ST10...       ONLINE       0     0     0

/dev/sdh is een tijdelijke locatie. Kan ik dat na de resilver nog aanpassen naar /dev/by-id/...?

Wat @CurlyMo aangeeft. Niks om je zorgen over te maken normaliter. De vdevs hebben allemaal een uniek ID en ZFS scant in principe de schijven als die een vdev mist.
En als je het voor de show wilt doen. Volgens mij kun je de pool exporteren en dan opnieuw importeren met een "flag" dat die de by-id variant moet gebruiken.

[ocf81]

Ik zie nu dat ik van TrueNAS Core naar TrueNAS Scale kan overstappen door naar een ander release channel te schakelen.

Ik wil graag mijn NAS overzetten, maar het moet niet ten koste gaan van de toegang van de backup NAS en de iSCSI toegang voor Proxmox.

Ik ben dus benieuwd of iemand dit al heeft geprobeerd. Vooral wat betreft de iSCSI in relatie met Proxmox ben ik benieuwd of er nog valkuilen zijn.

[orvintax]

ocf81 schreef op zaterdag 12 november 2022 @ 16:07:
Ik zie nu dat ik van TrueNAS Core naar TrueNAS Scale kan overstappen door naar een ander release channel te schakelen.

Ik wil graag mijn NAS overzetten, maar het moet niet ten koste gaan van de toegang van de backup NAS en de iSCSI toegang voor Proxmox.

Ik ben dus benieuwd of iemand dit al heeft geprobeerd. Vooral wat betreft de iSCSI in relatie met Proxmox ben ik benieuwd of er nog valkuilen zijn.

Waarom wil je overstappen? Als je TrueNAS puur voor storage gebruikt zou ik dat namelijk niet doen.

[ocf81]

orvintax schreef op zondag 13 november 2022 @ 17:37:
[...]

Waarom wil je overstappen? Als je TrueNAS puur voor storage gebruikt zou ik dat namelijk niet doen.

Omdat mijn NAS veel te krachtig is voor alleen een NAS, maar ik merk dat ik totaal niet uit de voeten kan met de virtualisatieopties in TrueNAS Core. Ik zou liever met kvm werken, aangezien ik dat beter begrijp.

[orvintax]

ocf81 schreef op zondag 13 november 2022 @ 18:02:
[...]

Omdat mijn NAS veel te krachtig is voor alleen een NAS, maar ik merk dat ik totaal niet uit de voeten kan met de virtualisatieopties in TrueNAS Core. Ik zou liever met kvm werken, aangezien ik dat beter begrijp.

Aaahzo. Vanwege je opmerking over Proxmox ging ik er van uit dat je daar op deed virtualizeren.

Ik heb enkel ervaring met het exporten van een Core config en importeren in Scale en dat ging voor mij vlekkeloos. Maar ik maak geen gebruik van shares.

Verder moet ik wel toevoegen dat ik het virtualiseren in Scale nog altijd vrij belabberd vind. Daarom dat ik ook exclusief van apps/containers gebruik maak.

[nero355]

ocf81 schreef op zondag 13 november 2022 @ 18:02:
Omdat mijn NAS veel te krachtig is voor alleen een NAS, maar ik merk dat ik totaal niet uit de voeten kan met de virtualisatieopties in TrueNAS Core. Ik zou liever met kvm werken, aangezien ik dat beter begrijp.

Waarom sloop je dan niet gewoon alles en begin je met Proxmox als basis en bouw je de NAS meuk later erbij

[ocf81]

nero355 schreef op zondag 13 november 2022 @ 19:42:
[...]

Waarom sloop je dan niet gewoon alles en begin je met Proxmox als basis en bouw je de NAS meuk later erbij

orvintax schreef op zondag 13 november 2022 @ 19:14:
[...]

Aaahzo. Vanwege je opmerking over Proxmox ging ik er van uit dat je daar op deed virtualizeren.

Ik heb enkel ervaring met het exporten van een Core config en importeren in Scale en dat ging voor mij vlekkeloos. Maar ik maak geen gebruik van shares.

Mijn opstelling is nu dat ik vanaf mijn NAS via iSCSI de Proxmox VM's van shared storage voorzie. Dat maakt het migreren van VM's tussen hosts in mijn clustertje makkelijker. Ik ben wat terughoudend met het virtualiseren van de NAS. Dat is een extra laag waar dingen fout kunnen gaan, en dat wil ik vermijden. De data op mijn NAS vind ik daar te belangrijk voor. Maar ik wil graag wel de rekenkracht van de NAS beter in gaan zetten. Wellicht dat ik ooit de hardware vervang en dan het moederbord in een andere kast stop, maar dat kost ook weer geld, dus dat is nu even niet aan de orde. Wellicht toch maar weer eens verdiepen in de virtualisatie van Core.

orvintax schreef op zondag 13 november 2022 @ 19:14:
[...]
Verder moet ik wel toevoegen dat ik het virtualiseren in Scale nog altijd vrij belabberd vind. Daarom dat ik ook exclusief van apps/containers gebruik maak.

Ik vraag het vooral omdat ik nu niet duidelijk kan krijgen hoe de iSCSI implementatie van Scale samenwerkt met Proxmox. Daar lees ik wat gemengde verhalen over.

[orvintax]

ocf81 schreef op zondag 13 november 2022 @ 19:46:
[...]


[...]

Mijn opstelling is nu dat ik vanaf mijn NAS via iSCSI de Proxmox VM's van shared storage voorzie. Dat maakt het migreren van VM's tussen hosts in mijn clustertje makkelijker. Ik ben wat terughoudend met het virtualiseren van de NAS. Dat is een extra laag waar dingen fout kunnen gaan, en dat wil ik vermijden. De data op mijn NAS vind ik daar te belangrijk voor. Maar ik wil graag wel de rekenkracht van de NAS beter in gaan zetten. Wellicht dat ik ooit de hardware vervang en dan het moederbord in een andere kast stop, maar dat kost ook weer geld, dus dat is nu even niet aan de orde. Wellicht toch maar weer eens verdiepen in de virtualisatie van Core.


[...]

Ik vraag het vooral omdat ik nu niet duidelijk kan krijgen hoe de iSCSI implementatie van Scale samenwerkt met Proxmox. Daar lees ik wat gemengde verhalen over.

Maar ik neem aan dat je een goede backup strategie hebt? Het virtualiseren van TrueNAS is iets wat vele mensen doen. Zeker in samenwerking met Proxmox is dat erg populair in de homelab community. Maar waarom maak je van die NAS geen Proxmox node en beheer je die data vanuit Proxmox? Proxmox heeft een integratie met ZFS voor je opslag en omdat het nu een gewone node is kun je er ook op virtualizeren zoals je dat gewend bent.

[Voor 4% gewijzigd door orvintax op 13-11-2022 22:42]

[ocf81]

orvintax schreef op zondag 13 november 2022 @ 22:40:
[...]

Maar ik neem aan dat je een goede backup strategie hebt?

Er is een 2e backup machine welke elke nacht een replication van de NAS doet.

orvintax schreef op zondag 13 november 2022 @ 22:40:
Het virtualiseren van TrueNAS is iets wat vele mensen doen. Zeker in samenwerking met Proxmox is dat erg populair in de homelab community. Maar waarom maak je van die NAS geen Proxmox node en beheer je die data vanuit Proxmox? Proxmox heeft een integratie met ZFS voor je opslag en omdat het nu een gewone node is kun je er ook op virtualizeren zoals je dat gewend bent.

Dat is wel een gedachte waar ik soms mee speel. Ik blijf echter toch huiverig voor het niet beschikbaar hebben van mijn gegevens door bijv. een probleem met Proxmox, het voegt toch weer een point of failure toe. Dat maakt dat ik deze stap maar blijf uitstellen.

[orvintax]

ocf81 schreef op maandag 14 november 2022 @ 11:12:
[...]

Er is een 2e backup machine welke elke nacht een replication van de NAS doet.


[...]

Dat is wel een gedachte waar ik soms mee speel. Ik blijf echter toch huiverig voor het niet beschikbaar hebben van mijn gegevens door bijv. een probleem met Proxmox, het voegt toch weer een point of failure toe. Dat maakt dat ik deze stap maar blijf uitstellen.

Je wilt backups niet gebruiken, maar ik ben van mening dat je toch iets met je data moet kunnen doen. Misschien iets om aan te werken.

Over die node, je voegt geen point of failure toe, maar vervangt er een. Ik heb het over TrueNAS volledig achterwege te laten en van je NAS een Proxmox node te maken. Dan heb je misschien een probleem met Proxmox, maar nu met TrueNAS..

[FireDrunk]

ocf81 schreef op zondag 13 november 2022 @ 19:46:
[...]


[...]

Mijn opstelling is nu dat ik vanaf mijn NAS via iSCSI de Proxmox VM's van shared storage voorzie. Dat maakt het migreren van VM's tussen hosts in mijn clustertje makkelijker. Ik ben wat terughoudend met het virtualiseren van de NAS. Dat is een extra laag waar dingen fout kunnen gaan, en dat wil ik vermijden. De data op mijn NAS vind ik daar te belangrijk voor. Maar ik wil graag wel de rekenkracht van de NAS beter in gaan zetten. Wellicht dat ik ooit de hardware vervang en dan het moederbord in een andere kast stop, maar dat kost ook weer geld, dus dat is nu even niet aan de orde. Wellicht toch maar weer eens verdiepen in de virtualisatie van Core.


[...]

Ik vraag het vooral omdat ik nu niet duidelijk kan krijgen hoe de iSCSI implementatie van Scale samenwerkt met Proxmox. Daar lees ik wat gemengde verhalen over.

In theorie kan je dat allemaal in Proxmox zelf ook. Het is gewoon een Debian linux systeem met KVM en een web UI. Onderwater heeft het gewoon support voor ZFS, Samba, NFS etc.

(Of je dat wil is een tweede, maar technisch gezien zou het kunnen )

[eheijnen]

Was even bezig met een replace scenario te testen om een mirror te vergroten. Als ik de replace uitvoer wordt de opgegeven schijf uit de pool verwijderd en vervangen met de nieuwe.

Kijk ik met gparted naar de schijf die uit de pool is gehaald dan laat gparted zien dat het om een zfs volume gaat met pool naam X.

Haal ik vervolgens de schijven van de actieve pool X uit de machine en laat de andere zitten dan krijg ik deze via "zpool import" niet zichtbaar.

Is het mogelijk om deze schijf weer als pool te importeren? Of is dit na een replace niet meer mogelijk? Wil deze eigenlijk als backup houden omdat er na de uitbreiding nog een bewerking aan het volume gedaan moet worden (action: Enable all features using 'zpool upgrade').

[Voor 3% gewijzigd door eheijnen op 21-11-2022 11:28]

[Bramus2000]

Probleem

Ik heb XigmaNas draaien met een ZFS pool. Nu heb ik mijn pool volgeschreven, Ondertussen reeds files gedelete, maar pool blijft vol aangeven.
Al wat gegoogled, dus ik weet dat volle ZFS pools een probleem zijn, maar ik vind niet onmiddellijk de gepaste oplossing. Heeft hier iemand een simpele fix voor?

Alvast bedankt!

[Thralas]

Heb je snapshots van de dataset waarvan je files delete? Wat laat zfs list -t all zien?

[nero355]

Bramus2000 schreef op vrijdag 16 december 2022 @ 14:09:
Nu heb ik mijn pool volgeschreven, Ondertussen reeds files gedelete, maar pool blijft vol aangeven.

Hoe groot is je gereserveerde ruimte op de Pool

Check dit effe : Dadona in "Het grote ZFS topic"
Voor meer info zie : Zoeken naar "slop space" in "Het grote ZFS topic"

[jeanj]

Ik heb disken met een oude zpool weer eens ingebouwd omdat ik wat dat wil redden. Ik heb xigmanas live usb gebruikt om te booten, maar ik kan via de webinterface de pool niet zichtbaar krijgen. Ik kan de disks opvoeren maar heb geen idee hoe verder.
Wel heb ik via de commandline een zpool import -f kunnen doen, maar nog steeds niets zichtbaar in de web interface.

Weet iemand hoe ik de zpool zichtbaar krijg in de web interface?

Update: Inmiddels gevonden onder Schijven > ZFS > Pools > Hulpmiddelen. Echter omdat ik al een import had gedaan lukte dat niet meer. ik heb toen de wbgui in sync gebracht met de echte status, als ik het goed heb zat het onder Schijven > ZFS > Pools > Informatie

[Voor 23% gewijzigd door jeanj op 19-12-2022 10:04]

[HyperBart]

Hier even verder om het topic daar niet te vervuilen.

Q schreef op donderdag 12 januari 2023 @ 20:12:
[...]


Voor veel van die andere oorzaken zoals Controllers, PSU, memory, daarom draai je als je werkelijk om dit soort onderwerpen geeft en werkelijk dit spelletje wilt spelen (data integriteit is super belangrijk) dan draai je met ECC. Controllers en PSUs, dat scenario zie ik niet realistisch gezien.

ECC dan sowieso, ik volg je wel.

Maar pas op, ik lees nu ondertussen ook al een paar jaar mee op Reddit en zie hier soms ook topics voorbij komen: als er iets misgaat op storage dan is het meestal de disk individueel waarbij SMART of andere dingen het kunnen melden OF de controller OF problemen met PSU.

Dat zie je dan door een "wide shot" aan CKSUM/READ/WRITE errors.

Zou gewone RAID dan ook niets zien dat er iets mis is? Goh, geen idee, dat laat ik in het midden, zal er maar weer net van af hangen.
Heb ik liever ZFS dan omdat ik dan geniet van die integriteit en garanties? Ja, voor mij wel.

Ik heb wel eens gezocht op succesverhalen van ZFS waarbij silent data corruptie werd vastgesteld. In al deze voorbeelden was er spraken van hobbyisten die liepen te knoeien / fouten aan het maken waren en het had niets te maken met ZFS.

Zelf heeft ZFS mij na tientallen scrubs over 10+ jaar en petabyte+ aan data transfers nog nooit gered, nog nooit iets gevonden.

Storage is extreem betrouwbaar, mad respect. Silent data corruptie blijft iets wat vooral een statistisch ding is waar je mee rekening wilt houden als je racks vol schijven hebt.

Daar moet ik je wel gelijk in geven, in al die jaren doe ik hier wekelijkse scrubs, dat is begonnen bij mijn HP N40L met 5 x 4TB 10 à 12 jaar geleden tot alle arrays daar tussen in tot de array van vandaag met 6 x 12TB.
Het is bewonderenswaardig hoe weinig disks zelf liggen te bokken of vuile data teruggeven. Moet je bedenken dat we vandaag met disks upwards of 18TB zitten . Ja dat is echt chique want men daar van technologie neerzet.

Ik heb in al die tijd wel eens wat verdwaalde CKSUM errors of disks gehad die begonnen falen en ik durf toch te zeggen dat ik niet loop te knoeien en toen heb ik dit ergens meegemaakt: HyperBart in "Het grote ZFS topic" .

Geen idee wat er toen mis ging, monitoring gaf wat berichtjes en ik heb het toch kunnen opvolgen en dat is wel een ease of mind die ik niet heb met klassieke mdraid of hardware RAID controllers.

Ik blijf bij mijn punt: consumenten hoeven zich niet druk te maken over silent data corruptie. De kans dat ze dit tegen komen is onwijs klein. Dus een Synology of QNAP is ook prima spul voor hen. Of iets zelfbouw met Unraid of vergelijkbare oplossingen.

Laat consumenten zich maar druk maken over backups en redundancy. Ik durf te wedden dat zoveel mensen een NAS draaien en dan de backups niet goed geregeld hebben, een 100x groter risico dan silent data corruptie.

Als iemand toch graag ZFS wil toepassen prima natuurlijk, moeten mensen zelf weten. Maar het moet allemaal een beetje in perspectief geplaatst worden.

Dat perspectief snap ik wel en daar volg ik je ook wel in, HDD's wil ik nog heel wat krediet geven qua betrouwbaarheid. Want anders dan had die Pino die ooit voorspelde dat bij het volledig inlezen van een HDD je altijd een omgevallen bit ging hebben met die URE's nu veel meer outputs gekregen van zpool status'en waar 1 of meerdere read/write/cksums op terug kwamen.

Maar in zijn geheel vertrouw ik hardware niet genoeg om zonder ZFS te gaan. Wat ergens ook contradictorisch is want in mijn dagelijks werk gebruik je ook continu hardware en gaan daar ook bits en bytes door die je wel vertrouwt, de kansen zijn misschien dermate klein maar de moeite die ik moet doen om ZFS te draaien is dan ook weer even klein dat ik het echt geen probleem vind en ik het ook iedereen blijf aanraden als je wat zelfbouw NAS of goedkopere NAS wil doen.

Laat consumenten zich maar druk maken over backups en redundancy. Ik durf te wedden dat zoveel mensen een NAS draaien en dan de backups niet goed geregeld hebben, een 100x groter risico dan silent data corruptie.

Sinds een klein jaartje is dat hier ook wel OK . Ik had wat oude backups koud liggen maar sinds kort draait er hier in een apart gebouw een dagelijkse syncoid op een hardenend Ubuntu 22.04 LTS die via snapshots alles binnen neemt van de NAS/hoofdserver en wordt de power de rest van de tijd mechanisch afgesloten van die backup server. Offline backups ftw

[Q]

HyperBart schreef op maandag 16 januari 2023 @ 16:57:
Hier even verder om het topic daar niet te vervuilen.


[...]

ECC dan sowieso, ik volg je wel.

Maar pas op, ik lees nu ondertussen ook al een paar jaar mee op Reddit en zie hier soms ook topics voorbij komen: als er iets misgaat op storage dan is het meestal de disk individueel waarbij SMART of andere dingen het kunnen melden OF de controller OF problemen met PSU.

Dat zie je dan door een "wide shot" aan CKSUM/READ/WRITE errors.

Zou gewone RAID dan ook niets zien dat er iets mis is? Goh, geen idee, dat laat ik in het midden, zal er maar weer net van af hangen.
Heb ik liever ZFS dan omdat ik dan geniet van die integriteit en garanties? Ja, voor mij wel.

Dat je dan liever ZFS draait is prima, maar dat is precies het punt: andere oplossingen hadden misschien net zo goed errors kunnen geven. Het is nooit een gecontroleerd experiment in die anekdotes.

Ik heb in al die tijd wel eens wat verdwaalde CKSUM errors of disks gehad die begonnen falen en ik durf toch te zeggen dat ik niet loop te knoeien en toen heb ik dit ergens meegemaakt: HyperBart in "Het grote ZFS topic" .

Geen idee wat er toen mis ging, monitoring gaf wat berichtjes en ik heb het toch kunnen opvolgen en dat is wel een ease of mind die ik niet heb met klassieke mdraid of hardware RAID controllers.

Als het gewoon bad sectors zijn - wat het in 99.99% van de gevallen is - dan zou MDADM gewoon de disk uit de array gooien bij lees errors.

Maar in zijn geheel vertrouw ik hardware niet genoeg om zonder ZFS te gaan. Wat ergens ook contradictorisch is want in mijn dagelijks werk gebruik je ook continu hardware en gaan daar ook bits en bytes door die je wel vertrouwt, de kansen zijn misschien dermate klein maar de moeite die ik moet doen om ZFS te draaien is dan ook weer even klein dat ik het echt geen probleem vind en ik het ook iedereen blijf aanraden als je wat zelfbouw NAS of goedkopere NAS wil doen.

Voor de meeste mensen is hun dagelijkse computer eentje zonder ZFS en ECC geheugen dus alles moet uiteindelijk in een context gezien worden.

Persoonlijk zou ik mensen om die reden niet per definitie ZFS aanraden voor een NAS. Het start allemaal met die context: hun kennis en ervaring, hun behoeften. En daaruit vloeit voort of het gewoon een Synology/QNAP wordt of zelfbouw. En als het zelfbouw wordt, dat ze dan ook goed snappen dat ZFS voordelen en nadelen heeft. En willen die mensen wel systeembeheer zijn thuis?

En ik blijf bij mijn punt dat de risico's die door ZFS worden afgedekt veel kleiner zijn dan het risico van memory bit flips, dus ik vind ECC geheugen - als je zelfbouw doet - iets van hogere prioriteit dan de keuze voor ZFS. Alsof je de achterdeur op slot doet maar de voordeur open laat staan.

Als je zelfbouw doet heb je juist de kans om niet zozeer kosten te besparen maar om iets te bouwen wat nog robuuster is dan een Synology/Qnap. En die oplossing bestaat in mijn ogen uiteindelijk uit ECC geheugen met ZFS.

Sinds een klein jaartje is dat hier ook wel OK . Ik had wat oude backups koud liggen maar sinds kort draait er hier in een apart gebouw een dagelijkse syncoid op een hardenend Ubuntu 22.04 LTS die via snapshots alles binnen neemt van de NAS/hoofdserver en wordt de power de rest van de tijd mechanisch afgesloten van die backup server. Offline backups ftw

Dat is stukken beter dan de meeste mensen of bedrijven hun backups realiseren

[nero355]

Q schreef op dinsdag 17 januari 2023 @ 13:31:
En willen die mensen wel systeembeheer zijn thuis?

Het probleem daar is het hedendaagse GoT of beter gezegd Tweakers.net wat veel te bekend is geraakt bij Jan en alleman en je daardoor veel meer doorsnee consumenten op GoT ziet die vaak advies voor een kant en klare NAS willen i.p.v. meteen de DIY kant op te gaan...

Want wat zie je heel vaak :
- Consumentje koopt QNAP/Synology/whatever NAS.
- Is helemaal dolblij in het begin!
- Maar dan komt dat eene moment waarop Consumentje wat meer wil doen dan ermee mogelijk is en dan begint dus ook gelijk de ellende...

Terwijl je op een DIY NAS alle vrijheid hebt en ermee kan doen en laten wat je maar wilt, maar dat type Tweaker is met uitsterven bedreigd tegenwoordig dus überhaupt die optie overwegen komt pas veeeel later als het al mis is gegaan!

[Q]

@nero355 Ik kom niet veel op GoT meer maar ik heb geen problemen met de inwas aan 'normale mensen' die geen tech achtergrond hebben die hier voor advies komen.

Dat advies is altijd beperkt tot wat voor kant-en-klare NAS ze moeten kopen, de DIY is realistisch gezien voor deze mensen niet een goed advies. Want als er wat mis gaat hebben ze al moeite zat met een kant-en-klaar systeem dat hun zelfs zoveel mogelijk helpt, laat staan een DIY NAS setup. Daar zijn ze niet mee geholpen.

Als ze meer willen kan dat vaak ook helemaal prima op zo'n consumenten NAS, het zijn tegenwoordig kleine thuis servers. Persoonlijk zou ik aanraden om dan gewoon maar een Raspberry Pi of een oude laptop in te zette voor dat "meer" dan dat ze teveel met een NAS gaan knoeien.

Persoonlijk ben ik zelfs eigenlijk tegen het installeren van extra software op een NAS, alleen maar weer meer risico en problemen. Er was een reden waarom we in de ICT altijd rollen zoveel mogelijk gescheiden hielden op separate machines.

Uiteindelijk denk ik dat je - als je je eigen tijd ook als kosten meerekent - een DIY NAS maken uiteindelijk ook een prijzige aangelegenheid is en iets wat je echt moet willen omdat je bepaalde doelen voor ogen hebt die je niet kunt realiseren met een Synology/QNAP.

Sommige mensen zijn wel bereid om een flinke zooi aan tech te leren en ook de boel stuk te maken zodat ze kunnen leren hoe ze het moeten repareren als er eens wat mis gaat. Deze groep was altijd al klein en dat is prima verder.

Persoonlijk denk ik dat veel mensen om de verkeerde redenen voor een DIY NAS gaan, zoals "het is goedkoper" dan een kant-en-klare-NAS. Niet als je tijd wat waard is, en niet als je vervolgens niet weet hoe je storingen / problemen moet verhelpen omdat je geen Linux/FreeBSD beheerst en ik denk dat dit ook geldt als je TrueNAS of iets van dien aard draait.

Maar nee, dan ga je een DIY NAS bouwen op de goedkoopste crappy consumenten hardware want 'goedkoop' en dan ZFS draaien want "dat is veilig". Yeah, sure. Ik zou mijn geld liever zetten op een Synology/QNAP in dat geval.

Als je nou zegt, ik vind het leuk om een DIY NAS te bouwen, ik wil er tijd in stoppen om wat te leren, ik wil ook iets bouwen wat die consumenten-gear overstijgt in betrouwbaarheid, dan zeg ik: goede insteek. Dat betekent knappe hardware met ECC geheugen (ja, daar is hij weer) en ZFS want dan bouw je iets robuusts. Mogelijk dicht in de buurt of zelfs duurder dan een Synology/Qnap maar dan heb je iets wat - mits je eigen kennis en ervaring toereikend is - nog veiliger is voor je data dan een kant-en-klare-NAS.

Nou genoeg geschreven, kortom ik denk dat ik er allemaal wat anders naar kijk en ook milder ben over de niet-tweaker maar ach.

[joker1977]

Q schreef op donderdag 19 januari 2023 @ 14:42:
Als ze meer willen kan dat vaak ook helemaal prima op zo'n consumenten NAS, het zijn tegenwoordig kleine thuis servers. Persoonlijk zou ik aanraden om dan gewoon maar een Raspberry Pi of een oude laptop in te zette voor dat "meer" dan dat ze teveel met een NAS gaan knoeien.

Grotendeels met je eens behalve met bovenstaande. Als je ziet dat je tegenwoordig op de meeste NAS-devices ook al Docker kan draaien dan is het risico beperkt als je dat toevoegt aan je NAS.

[nero355]

joker1977 schreef op donderdag 19 januari 2023 @ 15:00:
Grotendeels met je eens behalve met bovenstaande. Als je ziet dat je tegenwoordig op de meeste NAS-devices ook al Docker kan draaien dan is het risico beperkt als je dat toevoegt aan je NAS.

Het probleem is dat er ook gebruikers zijn die :
- Een NAS hebben die geen Docker Containers kan draaien, maar dat wel willen en geen bal aan het OS kunnen aanpassen, want allemaal van die embedded BusyBox toestanden!
- Soms iets willen doen dat i.c.m. Docker niet eens mogelijk is en dan dus eigenlijk een DIY NAS nodig hebben of toch die losse Raspberry Pi of een Intel Atom/Celeron/Pentium NUC achtig gebakje!

En daar denken dus heel weinig mensen VOORAF over en doen maar een beetje wat de rest ook doet, maar dus niet altijd handig uitpakt...


_{#IkWilMijnGoTvan15jaarOfZoGeledenTerug!}

[joker1977]

nero355 schreef op donderdag 19 januari 2023 @ 15:44:
[...]

Het probleem is dat er ook gebruikers zijn die :
- Een NAS hebben die geen Docker Containers kan draaien, maar dat wel willen en geen bal aan het OS kunnen aanpassen, want allemaal van die embedded BusyBox toestanden!
- Soms iets willen doen dat i.c.m. Docker niet eens mogelijk is en dan dus eigenlijk een DIY NAS nodig hebben of toch die losse Raspberry Pi of een Intel Atom/Celeron/Pentium NUC achtig gebakje!

En daar denken dus heel weinig mensen VOORAF over en doen maar een beetje wat de rest ook doet, maar dus niet altijd handig uitpakt...

Is dat zo? Misschien wel, maar mensen die "in de race zijn voor een NAS" weten meestal wel waarvoor ze die willen aanschaffen. Dan is het gewoon je eigen domme fout als je een type koopt wat niet kan wat je wilt, klaar.

Daarnaast is het zo dat ik meteen claim dat elke NAS dockers kan draaien, ik claimde dat de installatie van "extra's" op hedendaagse NAS'en niet zo bezwaarlijk is, juist door dockers.


Ik kan niet echt een praktische toepassing bedenken van wat op een NAS draait wat niet met Dockers kan, maar wel op "bare-metal" van een NAS.

Ik heb een DIY-NAS en ben juist afgestapt van ZFS, trouwens.. het gebrek aan flexibiliteit en de honger naar RAM deden me dat beslissen. Ik snap de voordelen wel van ZFS, maar voor mijn privé situatie zijn de voordelen kleiner dan de nadelen. Dan maar weer naar mdadm

[nero355]

joker1977 schreef op donderdag 19 januari 2023 @ 18:07:
Is dat zo? Misschien wel, maar mensen die "in de race zijn voor een NAS" weten meestal wel waarvoor ze die willen aanschaffen. Dan is het gewoon je eigen domme fout als je een type koopt wat niet kan wat je wilt, klaar.

Van die laatste soort zijn er dus helaas meer dan van die eerste soort

Ik kan niet echt een praktische toepassing bedenken van wat op een NAS draait wat niet met Dockers kan, maar wel op "bare-metal" van een NAS.

Ik heb genoeg voorbeelden in het verleden gezien, maar ik ga ze nu niet allemaal opzoeken, sorry

Ik heb een DIY-NAS en ben juist afgestapt van ZFS, trouwens.. het gebrek aan flexibiliteit en de honger naar RAM deden me dat beslissen.
Ik snap de voordelen wel van ZFS, maar voor mijn privé situatie zijn de voordelen kleiner dan de nadelen. Dan maar weer naar mdadm

Honger naar RAM

Opzich prima hoor, maar ik ben wel benieuwd naar waar je tegenaan liep

[joker1977]

nero355 schreef op donderdag 19 januari 2023 @ 18:31:
[...]

Van die laatste soort zijn er dus helaas meer dan van die eerste soort


[...]

Ik heb genoeg voorbeelden in het verleden gezien, maar ik ga ze nu niet allemaal opzoeken, sorry


[...]

Honger naar RAM

Opzich prima hoor, maar ik ben wel benieuwd naar waar je tegenaan liep

Oh er zijn vast (legio) voorbeelden van dingen die je niet in een Docker kan draaien - maar voor de mensen die niet al te extreme eisen hebben en onkundig zijn, zal dat vast wel meehelpen.

Ik had vooral performance problemen met lage hoeveelheid vrij beschikbaar RAM tijdens de scrub-processen van ZFS. Op zich is normaliter de hoeveelheid geheugen niet een probleem, maar toen ik (tijdelijk) een aantal VM's moest draaien ging dat mis met ZFS scrubs, 1 groot performance drama..

Op een gegeven moment ga je (weer) eens je server opnieuw inrichten en ging ik eens nadenken... dan bedenk je je dat de grootste voordelen van ZFS helemaal niet interessant voor mij waren en je soms wel bepaalde zaken mist die niet eenvoudig mogelijk zijn bij ZFS (bv. makkelijk een drive aan een array toevoegen)

[Q]

@joker1977 Nu ben ik zelf altijd best kritisch of ZFS wel de juiste keuze is voor mensen, maar ik krijg in jouw geval het idee dat er meer aan de hand was. Nu ben jij van ZFS af en is het water onder de brug voor jouw, maar hoe zag je ZFS pool er uit, waren het mirrors of was het 1 of meer RAIDZ(2/3) vdevs?

[orvintax]

Q schreef op donderdag 19 januari 2023 @ 19:24:
@joker1977 Nu ben ik zelf altijd best kritisch of ZFS wel de juiste keuze is voor mensen, maar ik krijg in jouw geval het idee dat er meer aan de hand was. Nu ben jij van ZFS en is het water onder de brug voor jouw, maar hoe zag je ZFS pool er uit, waren het mirrors of was het 1 of meer RAIDZ(2/3) vdevs?

Mee eens, ik zou niet weten waarom RAM op eens een issue zou worden tijdens scrubs. Weinig RAM aan een ZFS systeem kan de performance zwaar belemmeren. Maar het lijkt mij dat waar ZFS RAM voor gebruikt (de ARC cache) dat die niet wordt aangeraakt tijdens scrubs. Aangezien scrubs zijn bedoeld voor de data integriteit op de array zelf.

Daarnaast als ik zo de usecase van OP lees, lijkt het me dat weinig RAM niet eens zo een issue had moeten zijn.

[joker1977]

Q schreef op donderdag 19 januari 2023 @ 19:24:
@joker1977 Nu ben ik zelf altijd best kritisch of ZFS wel de juiste keuze is voor mensen, maar ik krijg in jouw geval het idee dat er meer aan de hand was. Nu ben jij van ZFS af en is het water onder de brug voor jouw, maar hoe zag je ZFS pool er uit, waren het mirrors of was het 1 of meer RAIDZ(2/3) vdevs?

Het waren 3 : 1x mirror van 2 SSD's, 1x RAIDZ2 pool en 1x RAIDZ1 pool

Er is sindsdien wel het nodige anders geworden: Door een wijziging van omstandigheden/eisen en migratie naar "de cloud" heb ik een stuk minder behoefte aan veel veilige opslag thuis.

Ik dacht dat de matige performance aan te weinig RAM lag omdat de snelheid zo onderuit ging tijdens de scrubs toen ik tijdelijk meer RAM gebruikte met een paar VM's. Maar ik heb dat nooit goed onderzocht, ook omdat ik toen al wist dat het tijdelijk zou zijn. Het kan best zijn dat het iets anders is (geweest) - maar door wijzigende behoeftes geen zin gehad om dat uit te zoeken...

Nu heb ik hele andere eisen en is mijn DIY NAS eigenlijk niks meer (of minder) dan een simpele NAS waar een zwik foto's en andere media-bestanden op staan. Daarvoor is mijn huidige systeem redelijk goed gedimensioneerd, maar mocht ik meer storage nodig hebben dan kan ik met mdadm veel eenvoudiger uitbreiden dan bij ZFS kon.

Zoals gezegd was ik eigenlijk niet ontevreden over ZFS, totdat ik mijn use-case eerst tijdelijk moest aanpassen. En nu heb ik geen noodzaak meer voor ZFS.

[Q]

Klinkt toch meer als een random IOPs issue dan iets met ZFS. Je zou ook eens voor de lolz een mdadm scrub kunnen doen op de raid set waar je jouw vms/containers draait, maar ik snap dat er leukere dingen zijn om te doen.

Uiteindelijk is ZFS specifiek en storage in zijn algemeenheid behoorlijk complex. Juist omdat zoveel dingen elkaar beïnvloeden. Als je dan niet uren besteed aan het uitsluitend van oorzaken of testen van optimalisaties kan je teleurgesteld zijn in de (stock) performance. Wie doet dit in hun vrije tijd? Ik deed het als hobby maar normale mensen gaan toch al die moeite niet doen? En ik snap uit ervaring dat out of the box mdadm eigenlijk wel goed genoeg presteert. En hoeveel mensen hebben door dat op de eerste zondag van de maand een scrub loopt op mdadm?😆🌷

Edit: random iops performance van mdadm raid5/6 is veel beter dan die van raidz/z2 omdat je met een raidz(x) vdev Max random iops van 1 disk kan halen… Dit soort dingen zouden mensen eigenlijk niet eens moeten weten maar het kan wel flink uitmaken afhankelijk van de use case.

[Voor 15% gewijzigd door Q op 20-01-2023 18:09]

[Funga]

De mogelijkheid om ZFS uit te breiden door de RAID-Z te verbreden lijkt eraan te komen:

https://github.com/openzfs/zfs/pull/12225

[orvintax]

Funga schreef op dinsdag 24 januari 2023 @ 15:48:
De mogelijkheid om ZFS uit te breiden door de RAID-Z te verbreden lijkt eraan te komen:

https://github.com/openzfs/zfs/pull/12225

Die mogelijkheid komt er al jaren aan No offense verder, snap dat een feature zoals dit lang duurt.

[Funga]

Ja maar inderdaad voor zo'n intrusive feature duurt dat een tijd. Dat is ook echt niet verkeerd. Corruptie op filesystems wil je niet. Expansion is sowieso een risicovol proces. Bij ZFS zou het relatief veilig kunnen, maar dan moet de code goed getest zijn. Zeer waarschijnlijk komen er ook nog bugs aan het licht zodra de expansion feature in een RC terecht komt en door een groter aantal mensen 'in het wild' wordt uitgeprobeerd.

Maar toch positieve signalen. Het lijkt erop dat het grootste nadeel voor niet-professionele gebruikers binnenkort verleden tijd is. Het is namelijk de meest gehoorde klacht bij mensen die ZFS willen op hun NAS.

[nero355]

Funga schreef op dinsdag 24 januari 2023 @ 16:49:
Het lijkt erop dat het grootste nadeel voor niet-professionele gebruikers binnenkort verleden tijd is.
Het is namelijk de meest gehoorde klacht bij mensen die ZFS willen op hun NAS.

Ik heb dat nooit echt begrepen eerlijk gezegd :

- Je koopt/bouwt een NAS met een X aantal HDD aansluitingen.
- Daarna besluit je ineens de boel uit te gaan breiden : Waarom ?!
- Bij een kant en klare NAS kan het vaak niet en bij een DIY NAS zal je vaak een HBA of één van die maffe SATA Controllers die raar in elkaar zijn geknutseld met meerdere Chips en Bridges en weet ik het wat allemaal erbij moeten kopen...

Terwijl je ook gewoon dankzij al die idioot grote HDD's die we tegenwoordig hebben alle 6 HDD's kan vervangen en daarna zal Automatic Expansion meteen starten die je meer ruimte geeft uiteindelijk = KLAAR!!!

Daarnaast heb ik zelfs bij peperdure professionele Hardware RAID Controllers dergelijke operaties vaak genoeg verkeerd zien gaan...

Waarom dan toch dat risico nemen


_{Disclaimer :
Vaak gebruikt men Mainstream moederborden die niet meer dan 6 SATA poorten hebben dus maar effe dat aantal HDD's aangenomen!}

[orvintax]

nero355 schreef op dinsdag 24 januari 2023 @ 19:24:
[...]

Ik heb dat nooit echt begrepen eerlijk gezegd :

- Je koopt/bouwt een NAS met een X aantal HDD aansluitingen.
- Daarna besluit je ineens de boel uit te gaan breiden : Waarom ?!
- Bij een kant en klare NAS kan het vaak niet en bij een DIY NAS zal je vaak een HBA of één van die maffe SATA Controllers die raar in elkaar zijn geknutseld met meerdere Chips en Bridges en weet ik het wat allemaal erbij moeten kopen...

Terwijl je ook gewoon dankzij al die idioot grote HDD's die we tegenwoordig hebben alle 6 HDD's kan vervangen en daarna zal Automatic Expansion meteen starten die je meer ruimte geeft uiteindelijk = KLAAR!!!

Daarnaast heb ik zelfs bij peperdure professionele Hardware RAID Controllers dergelijke operaties vaak genoeg verkeerd zien gaan...

Waarom dan toch dat risico nemen


_{Disclaimer :
Vaak gebruikt men Mainstream moederborden die niet meer dan 6 SATA poorten hebben dus maar effe dat aantal HDD's aangenomen!}

Waarom "ineens de boel uit te gaan breiden"? Omdat je simpelweg ruimte te kort komt. Ik heb in mijn server 8 bays waarvan nu 4 gevuld. Deze setup was/is voor mij logisch en kosten efficient. Nu kom ik wel na 4/5 jaar ruimte te kort, ik heb de 80% een paar dagen geleden gehit. Maar dat is eenvoudig op te lossen met 4 nieuwe disks in een nieuwe vdev om deze vervolgens toe te voegen aan de pool.

En dat is ook meteen wat ik wil meegeven aan de rest. Het is niet dat er geen mogelijkheid is om je pool uit te breiden. Tenzei je ook je sequentiele lees snelheid wilt upgraden is het wenselijker om een extra vdev toe te voegen aan je pool. Dit zorgt voor een hoger IOPS en afhankelijk van je opstelling, een hogere fout tolerantie.

Terwijl je ook gewoon dankzij al die idioot grote HDD's die we tegenwoordig hebben alle 6 HDD's kan vervangen

Dat kan inderdaad, maar helemaal voor de thuis Tweaker is dit ook weer niet kosten efficient. Dit zijn gewoon 6 werkende HDDs die je weg doet.

[Funga]

nero355 schreef op dinsdag 24 januari 2023 @ 19:24:
[...]

Ik heb dat nooit echt begrepen eerlijk gezegd :

- Je koopt/bouwt een NAS met een X aantal HDD aansluitingen.

Check, waarbij je natuurlijk ook al nadenkt over uitbreiding. Heeft je setup nog plaats voor een PCIe kaartje voor nog eens x aantal SATA poorten, of doe je het met USB3 adapters? Etc.

- Daarna besluit je ineens de boel uit te gaan breiden : Waarom ?!

Omdat je naast je pr0n ook je vrouw moet bedienen met haar woke porna, dat lijkt mij evident.

Oh ik voel me weer 14 op dit forum, heerlijk!

- Bij een kant en klare NAS kan het vaak niet

Mwahh ze kunnen dat toch allemaal? Veel mensen nemen toch zo'n qnap zodat ze er laten nog een paar schijven bij kunnen pleuren of heb ik dat verkeerd begrepen? Ik gebruik al die commerciele meuk niet, dus ik weet het eigenlijk niet. Maar mits er plaats is kunnen die dingen wel expanden toch?

en bij een DIY NAS zal je vaak een HBA of één van die maffe SATA Controllers die raar in elkaar zijn geknutseld met meerdere Chips en Bridges en weet ik het wat allemaal erbij moeten kopen...

Dat laatste valt wel mee, toch?

Zijn best wel wat leuke ASMedia chipjes die met heel weinig idle power heel veel SATA poorten leveren. Dit kaartje is wel geinig bijvoorbeeld al heeft het beperkte bandbreedte (1GB/s): uitvoering: Delock PCI Express Card > 10 x internal SATA 6 Gb/s - Low Profile....

Terwijl je ook gewoon dankzij al die idioot grote HDD's die we tegenwoordig hebben alle 6 HDD's kan vervangen en daarna zal Automatic Expansion meteen starten die je meer ruimte geeft uiteindelijk = KLAAR!!!

Ja maar wat voor pool heb je dan. Zonder redundantie zit je sowieso vast aan een 1:1 backup. Heb je RAID-Z of RAID-Z2/3 dan kun je als niet-professionele gebruiker voor kiezen om geen backup te nemen, want dat is duur. Dan backup je alleen je documenten en persoonlijke foto's bijvoorbeeld, maar niet al je data zoals dingen die je downloadt.

Daarnaast heb ik zelfs bij peperdure professionele Hardware RAID Controllers dergelijke operaties vaak genoeg verkeerd zien gaan...

Ik ook.

Maar hardware RAID is passé dat heeft Google al lang bewezen. Het kan nog leuk zijn voor legacy toepassingen. Softwarematige oplossingen zijn bijna altijd beter. Liever slimme software en domme goedkope hardware. Dat zijn moderne oplossingen.

Expansion is voor RAID controllers overigens sowieso veel risicovoller dan ZFS dat in theorie kan doen. ZFS weet welke data corrupt is en welke data dat niet is. Een RAID controller zal moeten kiezen tussen data en pariteit, als die niet consistent zijn dan is het iene-miene-mutte. Als je degraded draait zal de pariteit de data overschrijven, heb je wel pariteit dan zal de data de pariteit overschrijven. Weinig intelligentie hier... Doe je daarna een filesystem check op je Ext4 of NTFS dan kun je smullen van de errors, verloren bestanden en verdwenen directories discarded worden. Dat is geen fijn gezicht kan ik je vertellen. ZFS of Btrfs is wat dat betreft met self-healing echt een héél stuk fijner als je data serieus neemt.

Waarom dan toch dat risico nemen

Geld?!

Heel veel thuisgebruikers (niet-professionele gebruikers) hebben geen geld om twee keer een NAS te kopen en bij het expanden een 1:1 backup paraat te houden. Daarom willen ze expansion, zodat ze gewoon een schijf extra kunnen kopen en meer vrije ruimte hebben. Dan groei je door af en toe een schijf bij te kopen dat sluit uitstekend aan bij hun use case. Online cloud backup voor hun belangrijke data wat vaak veel minder gigabytes is, foto's en documenten eigenlijk.

En als het misgaat jammer dan. In sommige gevallen gaat het om torrents en dat soort spul wat mensen opnieuw kunnen downloaden. Ik zelf doe heel andere dingen dus gebruik bijna alleen SSDs, maar vroeger was ik een soort bibliotheek voor mijn vriendenkring; de goede oude tijden.

[nero355]

orvintax schreef op dinsdag 24 januari 2023 @ 21:16:
Waarom "ineens de boel uit te gaan breiden"? Omdat je simpelweg ruimte te kort komt.

Dan heb je dus in het begin/vooraf de boel verkeerd ingecalculeerd IMHO

Ik heb in mijn server 8 bays waarvan nu 4 gevuld. Deze setup was/is voor mij logisch en kosten efficient. Nu kom ik wel na 4/5 jaar ruimte te kort, ik heb de 80% een paar dagen geleden gehit. Maar dat is eenvoudig op te lossen met 4 nieuwe disks in een nieuwe vdev om deze vervolgens toe te voegen aan de pool.

Dat vind ik dus raar : Waarom niet gewoon meteen alle 8 bays benutten

Dan had je nu ook meer ruimte gehad...

En dat is ook meteen wat ik wil meegeven aan de rest. Het is niet dat er geen mogelijkheid is om je pool uit te breiden. Tenzei je ook je sequentiele lees snelheid wilt upgraden is het wenselijker om een extra vdev toe te voegen aan je pool. Dit zorgt voor een hoger IOPS en afhankelijk van je opstelling, een hogere fout tolerantie.

Dat dan weer wel!

Dat kan inderdaad, maar helemaal voor de thuis Tweaker is dit ook weer niet kosten efficient. Dit zijn gewoon 6 werkende HDDs die je weg doet.

Die je weer kan verkopen of ergens anders voor kan gebruiken...

Funga schreef op dinsdag 24 januari 2023 @ 21:38:
Check, waarbij je natuurlijk ook al nadenkt over uitbreiding. Heeft je setup nog plaats voor een PCIe kaartje voor nog eens x aantal SATA poorten, of doe je het met USB3 adapters? Etc.

Zolang je maar bereid bent daarop een extra VDEV aan te maken...

Omdat je naast je pr0n ook je vrouw moet bedienen met haar woke porna, dat lijkt mij evident.

Oh ik voel me weer 14 op dit forum, heerlijk!

Onder dat motto : "The Internet is for pr0n!" Je persoonlijke Cloud en nog GRATIS ook!

Mwahh ze kunnen dat toch allemaal? Veel mensen nemen toch zo'n qnap zodat ze er laten nog een paar schijven bij kunnen pleuren of heb ik dat verkeerd begrepen? Ik gebruik al die commerciele meuk niet, dus ik weet het eigenlijk niet. Maar mits er plaats is kunnen die dingen wel expanden toch?

Maar waarom zou je die dus niet meteen helemaal volproppen

Dat laatste valt wel mee, toch?

Nee, want je zegt het zelf al :

Zijn best wel wat leuke ASMedia chipjes die met heel weinig idle power heel veel SATA poorten leveren. Dit kaartje is wel geinig bijvoorbeeld al heeft het beperkte bandbreedte (1GB/s): uitvoering: Delock PCI Express Card > 10 x internal SATA 6 Gb/s - Low Profile....

Dat PCIe kaartje en dat merk in het algemeen is gewoon TROEP!

Ja maar wat voor pool heb je dan. Zonder redundantie zit je sowieso vast aan een 1:1 backup.
Heb je RAID-Z of RAID-Z2/3 dan kun je als niet-professionele gebruiker voor kiezen om geen backup te nemen, want dat is duur.
Dan backup je alleen je documenten en persoonlijke foto's bijvoorbeeld, maar niet al je data zoals dingen die je downloadt.

Download troep kan je vaak bij verlies sowieso nog een keer downloaden en ik mag hopen dat je persoonlijke data op drie plekken staat, waarbij je het liefst ook nog een plek buiten je huis hebt die je kan vertrouwen dus geen Apple iCloud/Google Drive/Dropbox/enz.

Ik ook.

Maar hardware RAID is passé dat heeft Google al lang bewezen. Het kan nog leuk zijn voor legacy toepassingen. Softwarematige oplossingen zijn bijna altijd beter. Liever slimme software en domme goedkope hardware. Dat zijn moderne oplossingen.

Expansion is voor RAID controllers overigens sowieso veel risicovoller dan ZFS dat in theorie kan doen.

Dat zeg je goed : In theorie!

ZFS weet welke data corrupt is en welke data dat niet is. Een RAID controller zal moeten kiezen tussen data en pariteit, als die niet consistent zijn dan is het iene-miene-mutte. Als je degraded draait zal de pariteit de data overschrijven, heb je wel pariteit dan zal de data de pariteit overschrijven. Weinig intelligentie hier... Doe je daarna een filesystem check op je Ext4 of NTFS dan kun je smullen van de errors, verloren bestanden en verdwenen directories discarded worden. Dat is geen fijn gezicht kan ik je vertellen. ZFS of Btrfs is wat dat betreft met self-healing echt een héél stuk fijner als je data serieus neemt.

Maar toen was er wat met :
- Je geheugen.
- De SATA poorten.
- De HBA/AHCI zelf.
- Of één van de Controllers van de HDD's zelf...

Geld?!

Heel veel thuisgebruikers (niet-professionele gebruikers) hebben geen geld om twee keer een NAS te kopen en bij het expanden een 1:1 backup paraat te houden. Daarom willen ze expansion, zodat ze gewoon een schijf extra kunnen kopen en meer vrije ruimte hebben. Dan groei je door af en toe een schijf bij te kopen dat sluit uitstekend aan bij hun use case. Online cloud backup voor hun belangrijke data wat vaak veel minder gigabytes is, foto's en documenten eigenlijk.

En als het misgaat jammer dan. In sommige gevallen gaat het om torrents en dat soort spul wat mensen opnieuw kunnen downloaden.

Om de zoveel tijd één HDD vervangen en daarmee je ruimte uitbreiden is geen RAID situatie meer IMHO

[Funga]

Euh ja Nero (Dutch Power Cows? Jezus dat lang geleden zeg.. Optimal Golum Ruler of wat was het ook alweer? My god bijna een ander tijdperk )

.. je begrijpt dat normale consumenten niet gelijk 3 koppen willen neerleggen, maar liever met anderhalve kop beginnen en over de jaren elke keer een schijfje erbij pleuren. Dat is prima toch? Zodra ze hun echt belangrijke spul online backuppen - encrypted hoop ik - dan zitten ze best prima vind ik. Het zijn geen enterprise klanten. Die kopen gelijk het goede spul.

Even naar mijzelf kijkend. Nu staat er zeker 96TiB niets te doen op het moment, maar wel spinnende. Dat had beter gekund. Ik heb op dit moment niet zoveel meer behoefte aan data. Het is op de groei gekocht. Ik wilde 16+3 = 19 disks in mijn RAID-Z3 pool. Dat is gelukt .

Stel je hebt een oudere NAS met veel schijven, kan het lonen die door een NAS met minder of slechts één schijf te vervangen, en dan de oude NAS als 1:1 backup gebruiken . 6 oude schijven backuppen 1 nieuwe schijf. Prima toch? De idle power gaat zo flink naar beneden en dus ook de kosten. En een offline backup is een goede bescherming voor je data. Zeker in combinatie met snapshots als je dat ook automatiseert dan is dat een hele goede oplossing voor thuisgebruikers en powerusers idem. Enterprise is altijd weer anders, andere belangen andere systemen.

Oh en ASMedia is prima wat mij betreft, heb jij slechte ervaringen? JMicron is meer de periferie maar ASMedia houdt zich aardig aan de standaarden en produceert deftige chips die erg low idle power zijn en toch superbetaalbaar. Dus juist heel erg interessant voor "jullie" thuisgebruikers lijkt mij?!

[Paul]

nero355 schreef op dinsdag 24 januari 2023 @ 23:28:
Dan heb je dus in het begin/vooraf de boel verkeerd ingecalculeerd IMHO

Je bedoelt 4 jaar geleden toen ik het ding kocht? Mag ik jouw glazen bol lenen, de mijne is stuk...

Dat vind ik dus raar : Waarom niet gewoon meteen alle 8 bays benutten

Geld? Energie? Geen mogelijkheid meer tot uitbreiden over?

Maar waarom zou je die dus niet meteen helemaal volproppen

Ik zal je introduceren met een concept waar je blijkbaar niet veel vanaf weet: Geld. Dat krijg je (of iig normale mensen) in ruil voor arbeid die ze verrichten (genaamd: werk) en daarvan heb je altijd te weinig

Alle gekheid op een stokje, ik kan iedere euro maar één keer uitgeven. Het leven is al duur genoeg, dan ga ik niet een hoop extra hardware kopen als dat niet nodig is.

Ik ben wel aan het overwegen mijn NAS te vervangen, want momenteel gebruikt het 70 Watt. Als ik dat met 50 naar beneden kan krijgen (wat me, na wat onderzoek, best realistisch lijkt, ook omdat ik niet zo heel veel TiB aan data heb) dan bespaar is € 350 per jaar en betaalt de vervanging zichzelf.

[RobertMe]

Paul schreef op woensdag 25 januari 2023 @ 10:27:
Ik ben wel aan het overwegen mijn NAS te vervangen, want momenteel gebruikt het 70 Watt. Als ik dat met 50 naar beneden kan krijgen (wat me, na wat onderzoek, best realistisch lijkt, ook omdat ik niet zo heel veel TiB aan data heb) dan bespaar is € 350 per jaar en betaalt de vervanging zichzelf.

Als die besparing komt uit 2,5" schijven zou ik daar wel mee opletten. Performance is toch merkbaar minder hij hogere IO loads (leuk voor bulk storage, maar ik zou geen Linux ISOtje er naartoe torrenten).
En daarnaast lijk ik hier twee defecte Seagate 5TB schijfjes te hebben die tegelijkertijd overleden zouden kunnen zijn ondanks aanschafdatum / ingebruikname waar een jaar tussen zit. Hingen aan een Orange Pi voor offsite backups.

En op stroomverbruik besparen door grote SSDs te nemen kan natuurlijk ook, is de besparing v.w.b. energieverbruik nog veel hoger. Kostenbesparing not so much

[nero355]

Funga schreef op woensdag 25 januari 2023 @ 00:56:
Euh ja Nero (Dutch Power Cows? Jezus dat lang geleden zeg.. Optimal Golum Ruler of wat was het ook alweer? My god bijna een ander tijdperk )

Ehm... [World Community Grid] hitparade van week 4

.. je begrijpt dat normale consumenten niet gelijk 3 koppen willen neerleggen, maar liever met anderhalve kop beginnen en over de jaren elke keer een schijfje erbij pleuren. Dat is prima toch? Zodra ze hun echt belangrijke spul online backuppen - encrypted hoop ik - dan zitten ze best prima vind ik. Het zijn geen enterprise klanten. Die kopen gelijk het goede spul.

Maar we hebben het hier over ECHTE Tweakers en dan wordt het een heel ander verhaal mag ik toch hopen

Even naar mijzelf kijkend. Nu staat er zeker 96TiB niets te doen op het moment, maar wel spinnende. Dat had beter gekund. Ik heb op dit moment niet zoveel meer behoefte aan data. Het is op de groei gekocht. Ik wilde 16+3 = 19 disks in mijn RAID-Z3 pool. Dat is gelukt .

Goed zo! Ik ben trots op je!

Stel je hebt een oudere NAS met veel schijven, kan het lonen die door een NAS met minder of slechts één schijf te vervangen, en dan de oude NAS als 1:1 backup gebruiken . 6 oude schijven backuppen 1 nieuwe schijf. Prima toch? De idle power gaat zo flink naar beneden en dus ook de kosten. En een offline backup is een goede bescherming voor je data. Zeker in combinatie met snapshots als je dat ook automatiseert dan is dat een hele goede oplossing voor thuisgebruikers en powerusers idem.

Helemaal mee eens!

Oh en ASMedia is prima wat mij betreft, heb jij slechte ervaringen? JMicron is meer de periferie maar ASMedia houdt zich aardig aan de standaarden en produceert deftige chips die erg low idle power zijn en toch superbetaalbaar. Dus juist heel erg interessant voor "jullie" thuisgebruikers lijkt mij?!

ASMedia = ASUS en daar ben ik niet echt een fan van en zou ik al helemaal niet mijn Storage aan toevertrouwen!

Hun ex-dochterbedrijf AsRock is ze IMHO ondertussen al lang voorbijgestreefd als het gaat om de algehele kwaliteit van de produkten!

Paul schreef op woensdag 25 januari 2023 @ 10:27:
Je bedoelt 4 jaar geleden toen ik het ding kocht? Mag ik jouw glazen bol lenen, de mijne is stuk...

Die heb ik niet, maar wel een fijne gewoonte om meer te kopen dan ik voorlopig nodig heb als het om opslag gaat!

Geld? Energie? Geen mogelijkheid meer tot uitbreiden over?

Ik zal je introduceren met een concept waar je blijkbaar niet veel vanaf weet: Geld. Dat krijg je (of iig normale mensen) in ruil voor arbeid die ze verrichten (genaamd: werk) en daarvan heb je altijd te weinig

Dan moet je dat "Elke keer je laatste cent uitgeven" gedrag afleren samen met nutteloze of overbodige dingen kopen en lekker SPAREN

Alle gekheid op een stokje, ik kan iedere euro maar één keer uitgeven. Het leven is al duur genoeg, dan ga ik niet een hoop extra hardware kopen als dat niet nodig is.

Dan gaan we richting een discussie over wat je nou echt nodig hebt in je leven en dan kan meteen die hele (DIY) NAS ook weg samen met een heleboel andere dingen...

Ik ben wel aan het overwegen mijn NAS te vervangen, want momenteel gebruikt het 70 Watt. Als ik dat met 50 naar beneden kan krijgen (wat me, na wat onderzoek, best realistisch lijkt, ook omdat ik niet zo heel veel TiB aan data heb) dan bespaar is € 350 per jaar en betaalt de vervanging zichzelf.

Als jij een NAS op 20 Watt kan draaien inclusief de HDD's dan zou ik dat best wel knap vinden, want vaak is dat zonder de HDD's of hooguit met maar 1 a 2 stuks of zo

RobertMe schreef op woensdag 25 januari 2023 @ 10:41:
En daarnaast lijk ik hier twee defecte Seagate 5TB schijfjes te hebben die tegelijkertijd overleden zouden kunnen zijn ondanks aanschafdatum / ingebruikname waar een jaar tussen zit. Hingen aan een Orange Pi voor offsite backups.

Het ging fout toen je een Seagate kocht!

[dcm360]

nero355 schreef op woensdag 25 januari 2023 @ 15:37:
[...]

Maar we hebben het hier over ECHTE Tweakers en dan wordt het een heel ander verhaal mag ik toch hopen


[...]

Goed zo! Ik ben trots op je!

Ik zie hier vooral de discussie over andermans portemonnee, met kritiek op degenen waarvan de portemonnee blijkbaar niet genoeg gevuld is. Maar is het juist niet de kunst van het tweaken om met zo weinig mogelijk uitgaven zo veel mogelijk neer te kunnen zetten?

ASMedia = ASUS en daar ben ik niet echt een fan van en zou ik al helemaal niet mijn Storage aan toevertrouwen!

Hun ex-dochterbedrijf AsRock is ze IMHO ondertussen al lang voorbijgestreefd als het gaat om de algehele kwaliteit van de produkten!

Leuk als je de keuze hebt, maar dan viel AM4 (exclusief X570) af, want de chipsets zijn van ASMedia. AM4 ontwijken was voor mij toch wel een akelig prijzige keuze geweest.

[nero355]

dcm360 schreef op woensdag 25 januari 2023 @ 15:48:
Ik zie hier vooral de discussie over andermans portemonnee, met kritiek op degenen waarvan de portemonnee blijkbaar niet genoeg gevuld is.

Maar is het juist niet de kunst van het tweaken om met zo weinig mogelijk uitgaven zo veel mogelijk neer te kunnen zetten?

Ik zie Storage als een hobby die als volgt gaat :
- Shitload aan geld sparen.
- Shitload aan Storage kopen samen met de rest van de hardware.

Maar misschien denk ik teveel vanuit een Storage showcase topic - 50+ TB storage systems achtig perspectief... Kan ook!

Leuk als je de keuze hebt, maar dan viel AM4 (exclusief X570) af, want de chipsets zijn van ASMedia. AM4 ontwijken was voor mij toch wel een akelig prijzige keuze geweest.

Dat is inderdaad een lastig verhaal, maar dus ook gelijk de reden dat ik weinig vertrouwen heb in het hele AM4 gedoe over het algemeen en het alleen zou kopen door hele scherpe aanbiedingen bij elkaar te shoppen, want als het dan misgaat dan ben je minder geld kwijt dan wanneer je overal de hoofdprijs voor betaalt

Stiekem vind ik wel zo'n uitvoering: ASRock DeskMini X300 dan wel uitvoering: ASRock DeskMini A300 dan wel uitvoering: ASRock DeskMini A300W best wel een geinig kastje als HTPC of Mini DIY NAS of zo i.c.m. een APU als de 2200G of iets dergelijks!

[CurlyMo]

nero355 schreef op woensdag 25 januari 2023 @ 16:00:
[...]

Ik zie Storage als een hobby die als volgt gaat :
- Shitload aan geld sparen.
- Shitload aan Storage kopen samen met de rest van de hardware.

Als we het hebben over financiële verstandigheid denk ik net als daarbij meer aan een logische hoeveelheid storage dat ik vrij te gebruiken heb. Als dat te vol raakt, dan heb ik gewoon te veel (meuk). Het bewaren van dingen als films en series valt bij mij dus onder onzin dat ik gewoon periodiek allemaal weer verwijder.

[RobertMe]

nero355 schreef op woensdag 25 januari 2023 @ 16:00:
[...]

Ik zie Storage als een hobby die als volgt gaat :
- Shitload aan geld sparen.
- Shitload aan Storage kopen samen met de rest van de hardware.

Jouw hobby hoeft niet andermans hobby te zijn.

offtopic:
Maar het aantal posts van je met "nero355 zijn mening is de enige toegestane mening" begint de laatste tijd wel heel erg toe te nemen. Waarbij je eerder deze week ook al een aanvaaring had in het Nvidia Shield topic met de "ik heb de beste wifi / netwerk kennis want zoek mijn naam maar eens op in het Netwerken subforum".

[Videopac]

nero355 schreef op woensdag 25 januari 2023 @ 16:00:
[...]

Ik zie Storage als een hobby die als volgt gaat :
- Shitload aan geld sparen.
- Shitload aan Storage kopen samen met de rest van de hardware.

Maar misschien denk ik teveel vanuit een Storage showcase topic - 50+ TB storage systems achtig perspectief... Kan ook!


[...]

Dat is inderdaad een lastig verhaal, maar dus ook gelijk de reden dat ik weinig vertrouwen heb in het hele AM4 gedoe over het algemeen en het alleen zou kopen door hele scherpe aanbiedingen bij elkaar te shoppen, want als het dan misgaat dan ben je minder geld kwijt dan wanneer je overal de hoofdprijs voor betaalt

Stiekem vind ik wel zo'n uitvoering: ASRock DeskMini X300 dan wel uitvoering: ASRock DeskMini A300 dan wel uitvoering: ASRock DeskMini A300W best wel een geinig kastje als HTPC of Mini DIY NAS of zo i.c.m. een APU als de 2200G of iets dergelijks!

Of je koopt een Asustor of QNAP NAS en zet daar Truenas op

[orvintax]

nero355 schreef op woensdag 25 januari 2023 @ 16:00:
[...]

Ik zie Storage als een hobby die als volgt gaat :
- Shitload aan geld sparen.
- Shitload aan Storage kopen samen met de rest van de hardware.

Maar misschien denk ik teveel vanuit een Storage showcase topic - 50+ TB storage systems achtig perspectief... Kan ook!


[...]

Dat is inderdaad een lastig verhaal, maar dus ook gelijk de reden dat ik weinig vertrouwen heb in het hele AM4 gedoe over het algemeen en het alleen zou kopen door hele scherpe aanbiedingen bij elkaar te shoppen, want als het dan misgaat dan ben je minder geld kwijt dan wanneer je overal de hoofdprijs voor betaalt

Stiekem vind ik wel zo'n uitvoering: ASRock DeskMini X300 dan wel uitvoering: ASRock DeskMini A300 dan wel uitvoering: ASRock DeskMini A300W best wel een geinig kastje als HTPC of Mini DIY NAS of zo i.c.m. een APU als de 2200G of iets dergelijks!

Mag ik vragen hoe je geld bespaard door meteen een 50TB server te bouwen als je denkt in de komende jaren maar 5TB nodig te hebben. Dat slaat financieel gezien gewoon als een tang op een varken.

[Paul]

nero355 schreef op woensdag 25 januari 2023 @ 15:37:
Dan moet je dat "Elke keer je laatste cent uitgeven" gedrag afleren samen met nutteloze of overbodige dingen kopen en lekker SPAREN

Wat denk je dat ik heb gedaan zodat ik een NAS kon kopen Ik ben hier niet degene die het uitgeeft aan meer dan dat er nodig is...

Als jij een NAS op 20 Watt kan draaien inclusief de HDD's dan zou ik dat best wel knap vinden, want vaak is dat zonder de HDD's of hooguit met maar 1 a 2 stuks of zo

Zoals ik zei, ik heb tegenwoordig lang niet zoveel data meer als vroeger

RobertMe schreef op woensdag 25 januari 2023 @ 10:41:
En op stroomverbruik besparen door grote SSDs te nemen kan natuurlijk ook, is de besparing v.w.b. energieverbruik nog veel hoger. Kostenbesparing not so much

Ligt er een beetje aan hoeveel data je hebt 2 TB SSD's zijn niet zo veel duurder dan 2 TB HDD's (zolang je SMR links laat liggen) maar schelen wel ongeveer € 25 aan stroom per jaar, dus dat heb je er in een jaar uit. Ga je naar 4 TB of groter dan gaat het wel hard ja.

[nero355]

RobertMe schreef op woensdag 25 januari 2023 @ 16:09:
Jouw hobby hoeft niet andermans hobby te zijn.

Prima, maar dat is toch wel een hele lange tijd het geval geweest als we het over ZFS hebben : Hele grote setups die aardig wat geld hebben gekost...

offtopic:
Maar het aantal posts van je met "nero355 zijn mening is de enige toegestane mening" begint de laatste tijd wel heel erg toe te nemen. Waarbij je eerder deze week ook al een aanvaaring had in het Nvidia Shield topic met de "ik heb de beste wifi / netwerk kennis want zoek mijn naam maar eens op in het Netwerken subforum".

offtopic:
Dat was meer omdat ik me ergerde aan die gast en kan je gerust negeren...

Verder mag je van mij doen wat je maar wilt, maar sommige denken VOORAF beter aanpakken kan je ongewenste resultaten ACHTERAF besparen

CurlyMo schreef op woensdag 25 januari 2023 @ 16:09:
Als we het hebben over financiële verstandigheid denk ik net als daarbij meer aan een logische hoeveelheid storage dat ik vrij te gebruiken heb. Als dat te vol raakt, dan heb ik gewoon te veel (meuk). Het bewaren van dingen als films en series valt bij mij dus onder onzin dat ik gewoon periodiek allemaal weer verwijder.

Dat is een optie inderdaad, maar jou zal ik ook niet gauw over expansion opties zien klagen gok ik ?

Videopac schreef op woensdag 25 januari 2023 @ 16:34:
Of je koopt een Asustor of QNAP NAS en zet daar Truenas op

Soort alternatieve firmware maar dan anders dus ??

Dat is niet verkeerd als dat kan!

orvintax schreef op woensdag 25 januari 2023 @ 17:02:
Mag ik vragen hoe je geld bespaard door meteen een 50TB server te bouwen als je denkt in de komende jaren maar 5TB nodig te hebben. Dat slaat financieel gezien gewoon als een tang op een varken.

5 TB is geen realistische verwachting in een wereld waar bestanden maar groter en groter worden IMHO

En nee, je hoeft geen 50 TB te bouwen, maar bijvoorbeeld 2x 18 TB in een Mirror lijkt me geen gekke optie vandaag de dag ?!

[Paul]

nero355 schreef op woensdag 25 januari 2023 @ 23:03:
En nee, je hoeft geen 50 TB te bouwen, maar bijvoorbeeld 2x 18 TB in een Mirror lijkt me geen gekke optie vandaag de dag ?!

In een wereld waar veel mensen alleen een tablet hebben, of alleen een laptop met 512 GB SSD en misschien wat ruimte kopen op OneDrive / iCloud / Google Drive?

Voor mij is een NAS veel meer over wat het voor mij kan doen (en daarmee inderdaad niet puur NAS meer) dan hoeveel data ik erop kwijt kan. Denk aan zaken als Home Assistant, PiHole, BitWarden, Grafana...

Dat gezegd, mijn mond valt wel open van hoe goedkoop zulke grote schijven tegenwoordig zijn. Ik wil er alleen niet aan denken hoe lang een rebuild gaat duren

[CurlyMo]

Paul schreef op donderdag 26 januari 2023 @ 08:01:
[...]
Dat gezegd, mijn mond valt wel open van hoe goedkoop zulke grote schijven tegenwoordig zijn. Ik wil er alleen niet aan denken hoe lang een rebuild gaat duren

Tsja, ik kijk er opnieuw vanuit een meer financiële blik naar. Veel Nederlanders gaan luxer leven als ze meer gaan verdienen. Mexicanen gaan minder werken als ze meer verdienen. Gechargeerd natuurlijk. Ik zie deze trend vooral als winst op kosten en verbruik. Ik kan meer data kwijt op minder en zuinigere schijven. Dus waar ik eerst pools had van 4x 3.5" 2TB + 2x 3.5" 2TB. heb ik nu een pool van 3x 2.5" 5TB. Niet gek veel meer data, maar wel goedkoper en een stuk zuiniger. De extra 2TB was voor een offsite backup van familie bij mij. Die kan ik nu volledig kwijt op mijn ene pool.

[Videopac]

nero355 schreef op woensdag 25 januari 2023 @ 23:03:
[...]

Soort alternatieve firmware maar dan anders dus ??

Dat is niet verkeerd als dat kan!

[...]

Dat kan.
Ik heb het zelf ook draaien (zie handtekening), maar heb nog geen kennis van TrueNAS dus moet nog veel leren.

[Voor 14% gewijzigd door Videopac op 26-01-2023 11:05]

[nero355]

Paul schreef op donderdag 26 januari 2023 @ 08:01:
In een wereld waar veel mensen alleen een tablet hebben, of alleen een laptop met 512 GB SSD en misschien wat ruimte kopen op OneDrive / iCloud / Google Drive?

In mijn omgeving is men daar niet zo mee bezig maar worden er wel idioot veel foto's gemaakt en video's opgenomen en kwam ik een keer thuis van vakantie met 500 GB aan data en dat was dan nog in het 1080p tijdperk...

Voor mij is een NAS veel meer over wat het voor mij kan doen (en daarmee inderdaad niet puur NAS meer) dan hoeveel data ik erop kwijt kan.
Denk aan zaken als Home Assistant, PiHole, BitWarden, Grafana...

Dat is ook de reden dat ik liever een DIY NAS heb en anders de boel offload naar een Raspberry Pi 3B of Intel Atom NUC

Dat gezegd, mijn mond valt wel open van hoe goedkoop zulke grote schijven tegenwoordig zijn. Ik wil er alleen niet aan denken hoe lang een rebuild gaat duren

Ik besef net dat ik iets ben vergeten te vermelden in eerdere reacties :

De HDD's koop je uiteraard tijdens interessante aanbiedingen en desnoods "shuck" je ze gewoon, want dat scheelt vaak een heleboel geld!

Videopac schreef op donderdag 26 januari 2023 @ 10:00:
Dat kan.
Ik heb het zelf ook draaien (zie handtekening), maar heb nog geen kennis van TrueNAS dus moet nog veel leren.

LOL!

Die dingen zijn gewoon Mini PC's en dan kan je inderdaad mooi de boel herinstalleren met een uitgebreider OS

_{Jammer alleen dat die vent het heeft over uitgebrande CPU's en nog wat andere onzin, maar goed... Amerika en hun rechtszaken geneuzel gok ik...}

[Videopac]

nero355 schreef op donderdag 26 januari 2023 @ 15:43:
[...]

LOL!

Die dingen zijn gewoon Mini PC's en dan kan je inderdaad mooi de boel herinstalleren met een uitgebreider OS

_{Jammer alleen dat die vent het heeft over uitgebrande CPU's en nog wat andere onzin, maar goed... Amerika en hun rechtszaken geneuzel gok ik...}

Als ik zijn filmpjes zie denk ik: “werk toch wat netter man!”. En in het filmpje waarin hij uitlegt hoe je TrueNAS op een Asustor installeert doet hij dat met de standaard 4GB ram NB: heb er zelf 32GB ingezet. Enige nadeel is dat de N5105 geen ECC geheugen ondersteund; eigenlijk nog het enige voordeel van Synology (DS723+/DS923+). Bouwkwaliteit is echt beter. Geen gebrom meer ook.

[Voor 27% gewijzigd door Videopac op 26-01-2023 18:11]

[dcm360]

nero355 schreef op donderdag 26 januari 2023 @ 15:43:
[...]
Ik besef net dat ik iets ben vergeten te vermelden in eerdere reacties :

De HDD's koop je uiteraard tijdens interessante aanbiedingen en desnoods "shuck" je ze gewoon, want dat scheelt vaak een heleboel geld!

Dan moet je goed zoeken tegenwoordig. Schijven van 18TB zijn in externe variant nu 50 euro duurder dan los, en voor shucken moet naar mijn mening toch wel een significant prijsvoordeel voor de externe variant zijn. Die ruimte lijkt de huidige markt niet zo te geven, en dat is denk ik wel een positief teken.

[P5ycho]

nero355 schreef op woensdag 25 januari 2023 @ 23:03:

5 TB is geen realistische verwachting in een wereld waar bestanden maar groter en groter worden IMHO

En nee, je hoeft geen 50 TB te bouwen, maar bijvoorbeeld 2x 18 TB in een Mirror lijkt me geen gekke optie vandaag de dag ?!

Spreek voor jezelf. Ik heb jaren en jaren met 4TB gedaan (5x 1TB 2.5" HDDs in RAIDZ1), en ben vorig jaar naar 8TB (5x 2TB 2.5" SSDs in RAIDZ1) gegaan omdat 2.5" HDD's allemaal SMR zijn tegenwoordig. Daar heb ik nu nog 3.47T van vrij. Er wordt hier genoeg gekeken via niet-officiële kanalen in 4k, foto's opgeslagen, muziek verzameld, vm's gedraaid.

Ik heb de afweging gemaakt tussen aanschafkosten, levensduur, snelheid, en energieverbruik en kom dan echt niet uit bij 2x18TB mirror. 8TB SSD RAIDZ1 kost over de levensduur minder, is sneller, is naar mijn verwachting betrouwbaarder (altijd lastig af te wegen natuurlijk) en was ook gewoon makkelijker te upgraden omdat ik al een RAIDZ1 van 5 disks had .

edit:
crtime Tue Dec 1 02:19:48 2009
Gaat al lang mee, deze pool

[Voor 3% gewijzigd door P5ycho op 29-01-2023 10:10]

[vanaalten]

P5ycho schreef op zondag 29 januari 2023 @ 10:04:
[...]

Spreek voor jezelf. Ik heb jaren en jaren met 4TB gedaan (5x 1TB 2.5" HDDs in RAIDZ1), en ben vorig jaar naar 8TB (5x 2TB 2.5" SSDs in RAIDZ1) gegaan omdat 2.5" HDD's allemaal SMR zijn tegenwoordig. Daar heb ik nu nog 3.47T van vrij. Er wordt hier genoeg gekeken via niet-officiële kanalen in 4k, foto's opgeslagen, muziek verzameld, vm's gedraaid.

Ik heb de afweging gemaakt tussen aanschafkosten, levensduur, snelheid, en energieverbruik en kom dan echt niet uit bij 2x18TB mirror. 8TB SSD RAIDZ1 kost over de levensduur minder, is sneller, is naar mijn verwachting betrouwbaarder (altijd lastig af te wegen natuurlijk) en was ook gewoon makkelijker te upgraden omdat ik al een RAIDZ1 van 5 disks had .

Mee eens.
Sinds december 2014 een ZFS mirror van 2x6TB in gebruik. Vooral voor het bewaren van films & series die ik de moeite waard vind om te bewaren - dus ben wat kritisch in wat er bij komt. Die zit nu zo'n 80% vol. En in het huidige tempo gaat het nog wel even duren voor ik op 90% zit (mijn persoonlijke drempel voor wanneer ik ga uitbreiden/vervangen). Denk dat het best onzinnig was geweest om in 2014 al meteen 2x12TB of zo aan te schaffen.

[nero355]

P5ycho schreef op zondag 29 januari 2023 @ 10:04:
Spreek voor jezelf.

Dat doe ik dan ook grotendeels zoals je in eerdere reacties kan lezen!