Het grote ZFS topic

[Compizfox]

Ik heb een paar weken geleden mijn homeserver opnieuw geïnstalleerd (met Proxmox) omdat de root-SSD was overleden.

In tegenstelling tot de vorige installatie heb ik nu ook ZFS gebruikt voor de nieuwe root-SSD.

Nu heb ik echter het probleem dat ZFS om de zoveel dagen deze pool suspend vanwege "I/O failures". Vanaf dat moment hangt het hele systeem, want het root filesystem is dan immers niet meer bereikbaar. Logs worden ook niet weggeschreven, dus dat bemoeilijkt het troubleshooten ook...

Als ik om dat moment een scherm aansluit zie ik het volgende:



(sorry voor de foto, maar aangezien de logs niet worden weggeschreven kan ik het niet als tekst plaatsen)

De ACPI-errors zijn niet gerelateerd denk ik. Ik zie wel een "SATA link up" (wat impliceert dat ie daarvoor down was), gevolgd door dus de ZFS-error "Pool 'rpool' has encountered an uncorrectable I/O failure and has been suspended.".

Na een (harde) reboot komt alles steeds gewoon weer zonder enkele problemen online, en werkt het weer een paar dagen totdat hij weer random eruit klapt. Een scrub voltooit ook steeds zonder fouten.

Ik heb al een andere SATA-poort geprobeerd. Wat zou dit nog anders kunnen zijn? Zoals gezegd betreft dit een goednieuwe SSD...

[jurroen]

Als ik die errors zie zou ik vermoeden dat het mogelijk een probleem is met de controller - als je geen losse RAID controller of HBA gebruikt, dan mogelijk een probleem in het moederbord - of wellicht (maar kleinere kans) het RAM.

[ Voor 10% gewijzigd door jurroen op 05-09-2022 11:59 ]

[joker1977]

Zekerheidshalve een ander SATA-kabeltje (en voedingskabeltje) proberen, dat is een vrij eenvoudige test.

Maar als je andere apparaten op dezelfde SATA-controller hebt die nooit problemen geven lijkt dat toch wel te wijzen naar je (nieuwe) SSD.

[nero355]

Compizfox schreef op maandag 5 september 2022 @ 11:22:
In tegenstelling tot de vorige installatie heb ik nu ook ZFS gebruikt voor de nieuwe root-SSD.

Nu heb ik echter het probleem dat ZFS om de zoveel dagen deze pool suspend vanwege "I/O failures". Vanaf dat moment hangt het hele systeem, want het root filesystem is dan immers niet meer bereikbaar. Logs worden ook niet weggeschreven, dus dat bemoeilijkt het troubleshooten ook...

Als ik om dat moment een scherm aansluit zie ik het volgende:

[Afbeelding]

Zo te zien een Crucial MX500 wat opzich geen slechte SSD is onder Windows in ieder geval!

Heb je de firmware al geüpdate naar de laatste versie

Mijn favoriete Crucial SSD blijft nog steeds de oude M500 reeks met fatsoenlijk MLC NAND en bescherming tegen stroomuitval dus probeer die eens ergens te scoren ?
Is zelfs een DC versie van tekoop geweest met NOG grotere capacitors die ook de Cache opving i.p.v. alleen de Index van je NAND zeg maar!

Of gewoon iets uit de fabrieken van Intel :
- De 320 reeks
- De S3710 reeks
- enz.

[Brahiewahiewa]

nero355 schreef op maandag 5 september 2022 @ 18:51:
[...]
Of gewoon iets uit de fabrieken van Intel :
- De 320 reeks
- De S3710 reeks
- enz.

Natuurlijk een heel goed advies van je, maar er zit wel een prijsverschil van bijna een factor 10 tussen een crucial en een intel disk

[CurlyMo]

Ik zit ook nog steeds wel in dubio voor in de toekomst over te stappen op enkel SSD's i.p.v. de 5TB Seagate 2.5" Dan kom ik al snel uit bij 4x pricewatch: Samsung 870 QVO 4TB maar ja, is zo'n SSD nu wel geschikt voor ZFS pools.

[Compizfox]

jurroen schreef op maandag 5 september 2022 @ 11:58:
Als ik die errors zie zou ik vermoeden dat het mogelijk een probleem is met de controller - als je geen losse RAID controller of HBA gebruikt, dan mogelijk een probleem in het moederbord - of wellicht (maar kleinere kans) het RAM.

Hmm, dat hoop ik niet. Het betreft inderdaad de SATA-controller op het moederbord.

Deze SSD is wel de enige die problemen heeft zover ik kan zien.

---

nero355 schreef op maandag 5 september 2022 @ 18:51:
[...]
Heb je de firmware al geüpdate naar de laatste versie

Nee, wist niet dat dat kan/nodig is.

Anyway, voor nu heb ik een tweede (identieke) SSD erbij geprikt als mirror (dat was ik sowieso al van plan te doen). Laten we kijken wat er nu gebeurt, of dezelfde SSD er nog steeds uitklapt...

[Compizfox]

Het lijkt toch wel aan die SSD te liggen. Nu met de mirror klapt dezelfde (eerste) SSD er nog steeds uit.

Omdat ik nu een mirror heb, blijft het systeem online en kan ik de logs inzien:

code:

Sep 06 01:21:45 eos kernel: ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
Sep 06 01:21:45 eos kernel: ACPI BIOS Error (bug): Could not resolve symbol [\_SB.PCI0.SAT0.SPT2._GTF.DSSP], AE_NOT_FOUND (20210730/psargs-330)
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Local Variables are initialized for Method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Arguments are initialized for method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: ACPI Error: Aborting method \_SB.PCI0.SAT0.SPT2._GTF due to previous error (AE_NOT_FOUND) (20210730/psparse-529)
Sep 06 01:21:45 eos kernel: ata3.00: supports DRM functions and may not be fully accessible
Sep 06 01:21:45 eos kernel: ACPI BIOS Error (bug): Could not resolve symbol [\_SB.PCI0.SAT0.SPT2._GTF.DSSP], AE_NOT_FOUND (20210730/psargs-330)
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Local Variables are initialized for Method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Arguments are initialized for method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: ACPI Error: Aborting method \_SB.PCI0.SAT0.SPT2._GTF due to previous error (AE_NOT_FOUND) (20210730/psparse-529)
Sep 06 01:21:45 eos kernel: ata3.00: supports DRM functions and may not be fully accessible
Sep 06 01:21:45 eos kernel: ata3.00: configured for UDMA/133
Sep 06 01:56:07 eos kernel: perf: interrupt took too long (2501 > 2500), lowering kernel.perf_event_max_sample_rate to 79750
Sep 06 02:11:17 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3.00: disabled
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: rejecting I/O to offline device
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 400779512 op 0x1:(WRITE) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=2 offset=204661190656 size=8192 flags=180880
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958312 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958632 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958848 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45521010688 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89962336 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45522796544 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89962376 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45522817024 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 1051152 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 400779584 op 0x1:(WRITE) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=2 offset=204661227520 size=4096 flags=180880
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=270336 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 488395792 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=249520726016 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 488396304 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=249520988160 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45520736256 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45520900096 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: ata3.00: detaching (SCSI 2:0:0:0)
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Synchronizing SCSI cache
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Synchronize Cache(10) failed: Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Stopping disk
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Start/Stop Unit failed: Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Sep 06 06:12:39 eos kernel: ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)

Ik ga nog even wat kabels omwisselen om die uit te sluiten en anders maar die drive RMAen...

[joker1977]

Je ziet wel dat de drive na een dik minuutje weer up komt. Heb je toen zelf met de kabel lopen rommelen, bv. even power van de drive af ? Of komt dat "automatisch" weer up ?

Mijn advies blijft overigens hetzelfde: Power en SATA-kabels omwisselen, anders drive vervangen. Ook nieuwe drives vallen soms uit...

[Compizfox]

joker1977 schreef op dinsdag 6 september 2022 @ 10:44:
Je ziet wel dat de drive na een dik minuutje weer up komt. Heb je toen zelf met de kabel lopen rommelen, bv. even power van de drive af ? Of komt dat "automatisch" weer up ?

Nope, dit was midden in de nacht, dit ging vanzelf. Het duurde overigens geen minuutje, maar 4 uur.

Mijn advies blijft overigens hetzelfde: Power en SATA-kabels omwisselen, anders drive vervangen. Ook nieuwe drives vallen soms uit...

Jep, dat is het plan nu.

[ Voor 4% gewijzigd door Compizfox op 07-09-2022 11:06 ]

[nero355]

Brahiewahiewa schreef op maandag 5 september 2022 @ 20:32:
Natuurlijk een heel goed advies van je, maar er zit wel een prijsverschil van bijna een factor 10 tussen een crucial en een intel disk

Het ligt er maar net aan hoe je het bekijkt :
- Intel 320 Series kan je tweedehands scoren, want niet meer nieuw tekoop!
_{Ik heb twee van deze in gebruik sinds 10+ jaar dus je zal echt goed moeten zoeken, maar ze zijn er wel op eBay en zo...}
- Intel S3710 nakomelingen zoals dit model bijvoorbeeld : https://tweakers.net/soli...Au_VIRlvMkoqn6D4wtkjdbPCw
Kosten eigenlijk geen drol als je beseft wat ze bieden!

En anders heb je dit soort modellen nog :
- pricewatch: Intel DC D3-S4510 2,5" 960GB
- pricewatch: Intel D3-S4520 960GB
- pricewatch: Intel DC D3-S4610 960GB

Voor nog meer plezier zie : https://tweakers.net/solid-state-drives/intel/
En dan effe de juiste modellen eruit pikken!

En inderdaad... het zijn geen hippe NVMe SSD's maar ze zijn wel fatsoenlijk beschermd tegen stroomuitval dus als je data je lief is (Je gebruikt tenslotte ZFS ) dan moet je IMHO heeeel ver weg blijven van dit soort troep :

CurlyMo schreef op maandag 5 september 2022 @ 21:00:
Ik zit ook nog steeds wel in dubio voor in de toekomst over te stappen op enkel SSD's i.p.v. de 5TB Seagate 2.5" Dan kom ik al snel uit bij 4x pricewatch: Samsung 870 QVO 4TB maar ja, is zo'n SSD nu wel geschikt voor ZFS pools.

Die krijgt mijn Game PC zelfs niet eens te zien en heb ik dus gewoon een good old pricewatch: Crucial M500 2,5" 960GB in zitten voor alle Games die ik installeer!

Dat is trouwens tevens mijn Workstation dus daar zitten ook deze in :
- pricewatch: Intel 320 120GB - OS
- pricewatch: Intel 320 300GB - Data
_{Staan meerdere keren in de Pricewatch dus maar effe een willekeurige fancy Intel doosje versie aangeclickt...}

Zoals al eerder genoemd

Compizfox schreef op dinsdag 6 september 2022 @ 10:20:
Het lijkt toch wel aan die SSD te liggen. Nu met de mirror klapt dezelfde (eerste) SSD er nog steeds uit.

Omdat ik nu een mirror heb, blijft het systeem online en kan ik de logs inzien:

code:

Sep 06 01:21:45 eos kernel: ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
Sep 06 01:21:45 eos kernel: ACPI BIOS Error (bug): Could not resolve symbol [\_SB.PCI0.SAT0.SPT2._GTF.DSSP], AE_NOT_FOUND (20210730/psargs-330)
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Local Variables are initialized for Method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Arguments are initialized for method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: ACPI Error: Aborting method \_SB.PCI0.SAT0.SPT2._GTF due to previous error (AE_NOT_FOUND) (20210730/psparse-529)
Sep 06 01:21:45 eos kernel: ata3.00: supports DRM functions and may not be fully accessible
Sep 06 01:21:45 eos kernel: ACPI BIOS Error (bug): Could not resolve symbol [\_SB.PCI0.SAT0.SPT2._GTF.DSSP], AE_NOT_FOUND (20210730/psargs-330)
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Local Variables are initialized for Method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: No Arguments are initialized for method [_GTF]
Sep 06 01:21:45 eos kernel: 
Sep 06 01:21:45 eos kernel: ACPI Error: Aborting method \_SB.PCI0.SAT0.SPT2._GTF due to previous error (AE_NOT_FOUND) (20210730/psparse-529)
Sep 06 01:21:45 eos kernel: ata3.00: supports DRM functions and may not be fully accessible
Sep 06 01:21:45 eos kernel: ata3.00: configured for UDMA/133
Sep 06 01:56:07 eos kernel: perf: interrupt took too long (2501 > 2500), lowering kernel.perf_event_max_sample_rate to 79750
Sep 06 02:11:17 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3: SATA link down (SStatus 0 SControl 300)
Sep 06 02:11:28 eos kernel: ata3.00: disabled
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: rejecting I/O to offline device
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 400779512 op 0x1:(WRITE) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=2 offset=204661190656 size=8192 flags=180880
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958312 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958632 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89958848 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45521010688 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89962336 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45522796544 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 89962376 op 0x0:(READ) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45522817024 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 1051152 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 400779584 op 0x1:(WRITE) flags 0x700 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=2 offset=204661227520 size=4096 flags=180880
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=270336 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 488395792 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=249520726016 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: blk_update_request: I/O error, dev sdc, sector 488396304 op 0x0:(READ) flags 0x0 phys_seg 1 prio class 0
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=249520988160 size=8192 flags=b08c1
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45520736256 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: zio pool=rpool vdev=/dev/disk/by-id/ata-CT250MX500SSD1_2212E61CF186-part3 error=5 type=1 offset=45520900096 size=4096 flags=180980
Sep 06 02:11:28 eos kernel: ata3.00: detaching (SCSI 2:0:0:0)
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Synchronizing SCSI cache
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Synchronize Cache(10) failed: Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Stopping disk
Sep 06 02:11:28 eos kernel: sd 2:0:0:0: [sdc] Start/Stop Unit failed: Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Sep 06 06:12:39 eos kernel: ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)

Ik ga nog even wat kabels omwisselen om die uit te sluiten en anders maar die drive RMAen...

Dat ruikt naar een instabiele Controller van de SSD dus heb je wel of niet de firmware geüpdate

Check anders ook effe eventuele BIOS/UEFI updates/upgrades van je Moederbord

[Compizfox]

nero355 schreef op dinsdag 6 september 2022 @ 16:05:
Dat ruikt naar een instabiele Controller van de SSD dus heb je wel of niet de firmware geüpdate

Ik heb even gekeken (ook naar hoe dat ŭberhaupt moet; nog nooit eerder gedaan): fwupdmgr geeft aan dat er geen updates beschikbaar zijn.

Wel hebben de SSDs verschillende firmware-versies: de eerste, falende SSD heeft versie M3CR043, en de tweede heeft M3CR045.

Op de website van Crucial zijn gek genoeg alleen de versies M3CR023 en M3CR033 te downloaden, en als ik het goed lees zijn die niet geschikt voor SSDs die geleverd zijn met versie M3CR04x.

Check anders ook effe eventuele BIOS/UEFI updates/upgrades van je Moederbord

Zal ik nog even checken voor de zekerheid, maar het is een oud moederbord dus ik weet vrij zeker dat deze al op de laatste versie zit.

[ Voor 32% gewijzigd door Compizfox op 06-09-2022 16:19 ]

[CurlyMo]

@nero355 Allemaal leuk die intels, maar allemaal in onbruikbare capaciteit om mijn data pool te vervangen.

[nero355]

Compizfox schreef op dinsdag 6 september 2022 @ 16:15:
Ik heb even gekeken (ook naar hoe dat ŭberhaupt moet; nog nooit eerder gedaan): fwupdmgr geeft aan dat er geen updates beschikbaar zijn.

Firmware Upgrades gingen bij mij altijd via een Bootable ISO downloaden en ik geloof dat Crucial ondertussen ook een eigen tooltje onder Windows ervoor heeft

Wel hebben de SSDs verschillende firmware-versies: de eerste, falende SSD heeft versie M3CR043, en de tweede heeft M3CR045.

Op de website van Crucial zijn gek genoeg alleen de versies M3CR023 en M3CR033 te downloaden, en als ik het goed lees zijn die niet geschikt voor SSDs die geleverd zijn met versie M3CR04x.

Lees dit effe door :
- chim0 in "[Ervaringen] Crucial MX500 SSD's"
- chim0 in "[Ervaringen] Crucial MX500 SSD's"

Blijkbaar is er een slechte batch van die SSDs geweest dus misschien moet je maar gewoon meteen aan de RMA Procedure beginnen!

Zal ik nog even checken voor de zekerheid, maar het is een oud moederbord dus ik weet vrij zeker dat deze al op de laatste versie zit.

Als je die regelmatig hebt geüpdate dan heb ik uiteraard niks gezegd

CurlyMo schreef op dinsdag 6 september 2022 @ 16:17:
Allemaal leuk die intels, maar allemaal in onbruikbare capaciteit om mijn data pool te vervangen.

Ze hebben ook wel 4 TB modellen of zelfs 8 TB geloof ik, maar die zijn vele malen duurder dan simpelweg een aantal 2,5 inch HDD's aan elkaar knopen

Daarnaast kan je ook bij Samsung of Micron/Crucial en ik geloof zelfs Kingston onder andere rondkijken, maar pak dan wel de echte Enterprise/DC modellen en niet al die cheapass Consumer Level meuk, want dat is IMHO echt gewoon zonde van je geld!

[FireDrunk]

CurlyMo schreef op maandag 5 september 2022 @ 21:00:
Ik zit ook nog steeds wel in dubio voor in de toekomst over te stappen op enkel SSD's i.p.v. de 5TB Seagate 2.5" Dan kom ik al snel uit bij 4x pricewatch: Samsung 870 QVO 4TB maar ja, is zo'n SSD nu wel geschikt voor ZFS pools.

Waarom zou je denken dat hij niet geschikt is?

[CurlyMo]

FireDrunk schreef op woensdag 7 september 2022 @ 08:47:
[...]

Waarom zou je denken dat hij niet geschikt is?

Dat hij bijv te snel door zijn maximaal gespecificeerde Total_LBAs_Written heen gaat. Terwijl ik aan de andere kant bewust een pool heb voor snel veranderende data zoals databases en LXC container en een aparte pool voor langzame data zoals media e.d. Dat is waarin ik dacht dat zo'n consumenten SSD prima zou kunnen werken.

[FireDrunk]

@CurlyMo

Mja, wat is 'snel' veranderend? Als je een paar GB per dag schrijft, kom je niet zo snel aan de max LBA written.

Mijn Samsung 980 SSD's hebben een 600 TBW spec en 5 jaar garantie.
Dat is (volgens mij) 14GB per uur, als je uitgaat van een 5 jaar levensduur.

Als je er dus 10 jaar mee wil doen, is dat 7GB per uur. Dat is best veel voor thuisgebruik.

[CurlyMo]

FireDrunk schreef op woensdag 7 september 2022 @ 09:03:
@CurlyMo

Mja, wat is 'snel' veranderend? Als je een paar GB per dag schrijft, kom je niet zo snel aan de max LBA written.

Een van mijn hergebruikte OS SSD's was onlangs richting overlijden aan het gaat. Maar daar wordt dan ook best veel naar geschreven elke dag. In ieder geval alle logs van alle LXC's maar ook alle metingen van de PV, WP, P1 poort etc.

[FireDrunk]

CurlyMo schreef op woensdag 7 september 2022 @ 09:07:
[...]

Een van mijn hergebruikte OS SSD's was onlangs richting overlijden aan het gaat. Maar daar wordt dan ook best veel naar geschreven elke dag. In ieder geval alle logs van alle LXC's maar ook alle metingen van de PV, WP, P1 poort etc.

Mja, zonder exacte getallen is het lastig rekenen.
Je kan logs op tmpfs storage zetten, en mocht je ze echt willen bewaren, eerst compressen, en dan pas naar je pool schrijven (scheelt vaak 90% van de data wegschrijven).

Metingen die je bewaard is altijd wel een lastige.

Als je echt 'goedkoop' een hoge TBW wil, zijn deze SSD's koning: V&A aangeboden: Intel DC 2.5" S3700 400GB

Die dingen hebben een TBW van 7300.

Veel te krijgen in het tweedehands circuit.

Nieuw zou ik zo niet durven zeggen wat echt veel kan hebben, die SSD's zijn een beetje een uitstervend ras voor consumenten.

[CurlyMo]

FireDrunk schreef op woensdag 7 september 2022 @ 09:12:
[...]

Mja, zonder exacte getallen is het lastig rekenen.
Je kan logs op tmpfs storage zetten, en mocht je ze echt willen bewaren, eerst compressen, en dan pas naar je pool schrijven (scheelt vaak 90% van de data wegschrijven).

Een falende 500GB SSD is een ander verhaal dan een falende 4TB SSD. Hier zie je mijn 5TB 2.5" Seagates:

  9 Power_On_Hours          0x0032   080   080   000    Old_age   Always       -       18054 (240 53 0)
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       43644049256
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       142110261890

Daar zouden dan de Samsung of Crucial SSD's mee moeten concurreren.

Dan heb je een beetje een beeld.

Dit is wat mijn kleine pool doet:

  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       6114
246 Total_LBAs_Written      0x0032   100   100   000    Old_age   Always       -       350534254969

[FireDrunk]

CurlyMo schreef op woensdag 7 september 2022 @ 09:25:
[...]

Een falende 500GB SSD is een ander verhaal dan een falende 4TB SSD. Hier zie je mijn 5TB 2.5" Seagates:

  9 Power_On_Hours          0x0032   080   080   000    Old_age   Always       -       18054 (240 53 0)
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       43644049256
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       142110261890

Daar zouden dan de Samsung of Crucial SSD's mee moeten concurreren.

Dan heb je een beetje een beeld.

Dit is wat mijn kleine pool doet:

  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       6114
246 Total_LBAs_Written      0x0032   100   100   000    Old_age   Always       -       350534254969

Lees ik dat goed, en is dat 1.3PB written? Dat is wel insane veel

[CurlyMo]

FireDrunk schreef op woensdag 7 september 2022 @ 09:36:
[...]

Lees ik dat goed, en is dat 1.3PB written? Dat is wel insane veel

Had je de LBA's wel teruggerekend naar TB / PB? En dat is dan de snelle data, dat is vele malen zoveel als de langzame data zoals je ziet.

[FireDrunk]

CurlyMo schreef op woensdag 7 september 2022 @ 09:41:
[...]

Had je de LBA's wel teruggerekend naar TB / PB? En dat is dan de snelle data, dat is vele malen zoveel als de langzame data zoals je ziet.

Ja, die tweede. En ik ging uit van 4K LBA's. Bij 512b sectoren is het nog /8.

[CurlyMo]

FireDrunk schreef op woensdag 7 september 2022 @ 09:42:
[...]

Ja, die tweede. En ik ging uit van 4K LBA's. Bij 512b sectoren is het nog /8.

Daarom zei ik al. Ik scheid mijn workflows. Wat schat je in qua 2.5" HDD vervanging door consumenten SSD's?

[GioStyle]

De nvme ssd (PNY CS3030 1TB) in mijn server waarop de OS staat plus 2 VM's en xx aantal docker containers met geen aanpassingen om logs te beperken:

code:

Data Units Read:                    91,376,108 [46.7 TB]
Data Units Written:                 210,724,128 [107 TB]
Power On Hours:                     26,423

Blijkbaar gemiddeld 90GB+ per dag en geen centje pijn. Zelfs de spares staan nog op 100%. Tegen de tijd dat ie is versleten, is de ssd al antiek geworden, lijkt me. TBW van deze generatie ssd is volgens de fabrikant 1665.

[ Voor 5% gewijzigd door GioStyle op 07-09-2022 09:51 ]

[FireDrunk]

CurlyMo schreef op woensdag 7 september 2022 @ 09:43:
[...]

Daarom zei ik al. Ik scheid mijn workflows. Wat schat je in qua 2.5" HDD vervanging door consumenten SSD's?

Hmm, aan je power-on-hours te zien, heb je deze pool ~2 jaar (als ze 24/7 aan staat).

1.3PB in 2 jaar is ~75GB per uur / 1.5GB/minuut. Dat is echt *insane* veel.
Ik zou echt naar de reden kijken *waarom* dat gebeurt, ik verwacht ergens een gigantische write amplification.
Want ik kan me slecht voorstellen dat je sensoren zoveel data genereren.

Als het echt 'valide' data is, en het is je ook wat waard, zou ik niet voor consumenten SSD's gaan.
Dan moet je bijna wel write-endurance specialized drives kopen.

Anders zijn HDD's (en zelfs goede) je enige optie.

[CurlyMo]

FireDrunk schreef op woensdag 7 september 2022 @ 10:35:
[...]
Hmm, aan je power-on-hours te zien, heb je deze pool ~2 jaar (als ze 24/7 aan staat).

1.3PB in 2 jaar is ~75GB per uur / 1.5GB/minuut. Dat is echt *insane* veel.
Ik zou echt naar de reden kijken *waarom* dat gebeurt, ik verwacht ergens een gigantische write amplification.
Want ik kan me slecht voorstellen dat je sensoren zoveel data genereren.

Als het echt 'valide' data is, en het is je ook wat waard, zou ik niet voor consumenten SSD's gaan.
Dan moet je bijna wel write-endurance specialized drives kopen.

Anders zijn HDD's (en zelfs goede) je enige optie.

Je reageert opnieuw op mijn snelle data pool, niet op mijn langzame data pool. Ik ben benieuwd naar je beoordeling om de langzame pool te vervangen door SSD's.

Neemt niet weg dat ik wel benieuwd ben naar je tips hoe ik kan achterhalen waar de hoge writes vandaan komen? Dat mijn sensoren véél data genereren weet ik.

[CurlyMo]

FireDrunk schreef op woensdag 7 september 2022 @ 09:42:
[...]

Ja, die tweede. En ik ging uit van 4K LBA's. Bij 512b sectoren is het nog /8.

De smart waardes zeggen dat het 512 zou moeten zijn:

Sector Size:      512 bytes logical/physical

Dan kom ik via https://www.virten.net/20...bytes-written-calculator/ uit op 197.92 TB. Dat zou best kunnen kloppen en is niet dramatisch veel ofzo.

[FireDrunk]

CurlyMo schreef op woensdag 7 september 2022 @ 11:18:
[...]

Je reageert opnieuw op mijn snelle data pool, niet op mijn langzame data pool. Ik ben benieuwd naar je beoordeling om de langzame pool te vervangen door SSD's.

Neemt niet weg dat ik wel benieuwd ben naar je tips hoe ik kan achterhalen waar de hoge writes vandaan komen? Dat mijn sensoren véél data genereren weet ik.

Je zou eens kunnen monitoren hoe hard die LBA Written stat stijgt, in verhouding tot hoe bijvoorbeeld je logs / filesystem groeit. Misschien heb je bijvoorbeeld een vrij korte log rotation, terwijl je de logs daarna ook vrij snel weer weggooit.

Als je 100MB logs schrijft, die compressed naar 10MB, die weer wegschrijft, daarna de originele logs weer weggooit, en de compressed archives ook weer weggooit zonder er ooit naar gekeken te hebben, heb je dus 110MB aan nutteloze writes.

Uitzoeken waar je writes vandaan komen is wat complex, je zou kunnen kijken naar `blktrace`, maar volgens mij ken je dat al. Daar kan je in theorie zien welk PID een write doet, en zou je dus kunnen plotten welke applicaties veel writes doen.

CurlyMo schreef op woensdag 7 september 2022 @ 11:59:
[...]

De smart waardes zeggen dat het 512 zou moeten zijn:

Sector Size:      512 bytes logical/physical

Dan kom ik via https://www.virten.net/20...bytes-written-calculator/ uit op 197.92 TB. Dat zou best kunnen kloppen en is niet dramatisch veel ofzo.

192TB valt idd wel mee in 2 jaar. Dat kan met vrijwel elke consumenten SSD ook prima.

[ Voor 54% gewijzigd door FireDrunk op 07-09-2022 12:23 ]

[d3vlin]

Ik ben op zoek naar een goede methode om ZFS datasets te backuppen op losse (offline) harddisks.
Het idee daarbij is dat er na een initiele backup periodiek een incrementele update gedaan wordt.

Voor een heel aantal kleinere datasets geen enkel probleem; pool aanmaken op een grote externe harddisk en met zfs send de datasets/snapshots repliceren. De uitdaging zit bij de grotere datasets die de capaciteit van de (beschikbare) harddisks ruim overstijgen. Zeg een dataset van 40TB die naar een aantal schijven van 8TB elk moet. Ik snap dat het opdelen van dataset in kleinere datasets hiervoor een oplossing zou zijn, maar dat heeft om andere redenen niet de voorkeur. Heeft iemand hier ervaring mee?

[FireDrunk]

d3vlin schreef op woensdag 7 september 2022 @ 12:48:
Ik ben op zoek naar een goede methode om ZFS datasets te backuppen op losse (offline) harddisks.
Het idee daarbij is dat er na een initiele backup periodiek een incrementele update gedaan wordt.

Voor een heel aantal kleinere datasets geen enkel probleem; pool aanmaken op een grote externe harddisk en met zfs send de datasets/snapshots repliceren. De uitdaging zit bij de grotere datasets die de capaciteit van de (beschikbare) harddisks ruim overstijgen. Zeg een dataset van 40TB die naar een aantal schijven van 8TB elk moet. Ik snap dat het opdelen van dataset in kleinere datasets hiervoor een oplossing zou zijn, maar dat heeft om andere redenen niet de voorkeur. Heeft iemand hier ervaring mee?

Je kan:

- De losse USB externe schijven samen in een pool hangen
- ZFS Send en Receive doen naar files, en die eventueel verdelen over disks.

Ik zou voor de eerste optie gaan denk ik.

Wat is de reden dat je het opdelen van je data in datasets onhandig vindt?

[d3vlin]

In dat geval dus een flinke USB hub nodig om bijvoorbeeld 6 schijven ineens te koppelen. Interessant.

ZFS send naar files was ik ook al tegengekomen. Voor zover ik weet levert dat een enkele file op (die met zo'n grote dataset dan ook fors zal zijn) die vervolgens weer apart gesplitst moet worden en naar de schijven geschreven. Dit lijkt me gezien de omvang van de data niet handig om bijvoorbeeld elke week te gaan doen. Ander nadeel is dat je dan ook niet handig een incremental update kan doen? Moet het bestand eerst weer samengevoegd worden, etc.

Er zijn meerdere redenen om een enkele grote dataset aan te houden, bijvoorbeeld omdat het simpelweg om hetzelfde type data gaat die bij elkaar hoort te staan in een dataset/folder zodat programma's ze op 1 plek kunnen vinden, maar ook vanwege dedup in een encrypted dataset. (Dedup werkt niet over meerdere enrypted datasets, enkel binnen een enkele encrypted dataset.)

[ Voor 8% gewijzigd door d3vlin op 07-09-2022 13:48 ]

[CurlyMo]

d3vlin schreef op woensdag 7 september 2022 @ 13:46:
Voor zover ik weet levert dat een enkele file op (die met zo'n grote dataset dan ook fors zal zijn) die vervolgens weer apart gesplitst moet worden en naar de schijven geschreven.

Het splitsen en samenvoegen kan je ook on-the-fly doen. Zie bijv.

You can do this with the wonderful tool mbuffer. It is designed for backup to tape drives, and can handle splitting streams.

Have not tested it, but a command like this should work:

zfs send <...> | mbuffer -A "echo Next Drive; read a < /dev/tty;" -D 2000G -o /dev/sdx

Essentially mbuffer will write the send stream to the drive /dev/sdx and once it has written 2000GB of data (if you omit the-D option I believe it automatically stops once the disk is full), it will run the command passed by -A (which I've set to print a message and wait for you to press enter). During this time you can remove the disk and replace it with a new fresh one. As long as the new disk is also called /dev/sdx, mbuffer will continue writing the stream. It will continue until all the data is written.

On the other end, you can use the -i and -n options to perform the operation in reverse, feeding in disks and piping to zfs recv.

https://www.reddit.com/r/...tm_medium=web2x&context=3

Ander idee met het split commando:

I think you can get away with using split's --filter=COMMAND.

code:

... | split -b <SIZE> -d - part --filter=./split-filter

where ./split-filter is something like

code:

#!/bin/bash

set -e

n="${FILE#part}"
case $((10#$n%3)) in
    0)
        dd bs=64K >"path1/$FILE"
        ;;
    1)
        dd bs=64K >"path2/$FILE"
        ;;
    2)
        dd bs=64K >"path3/$FILE"
        ;;
esac

https://unix.stackexchange.com/a/196295

[ Voor 16% gewijzigd door CurlyMo op 07-09-2022 14:09 ]

[XiMMiX]

d3vlin schreef op woensdag 7 september 2022 @ 13:46:
In dat geval dus een flinke USB hub nodig om bijvoorbeeld 6 schijven ineens te koppelen. Interessant.

ZFS send naar files was ik ook al tegengekomen. Voor zover ik weet levert dat een enkele file op (die met zo'n grote dataset dan ook fors zal zijn) die vervolgens weer apart gesplitst moet worden en naar de schijven geschreven. Dit lijkt me gezien de omvang van de data niet handig om bijvoorbeeld elke week te gaan doen. Ander nadeel is dat je dan ook niet handig een incremental update kan doen? Moet het bestand eerst weer samengevoegd worden, etc.

Wat je in de praktijk meestal doet is je maakt een ZFS snapshot. Vervolgens ZFS send je dat snapshot.
Op het moment dat je een incremental wilt doen maak je een 2e snapshot. Vervolgens kan je het verschil tussen eerste en tweede snapshot via ZFS send backuppen. Nadeel is wel dat je dat 1e snapshot in stand moet houden op de originele pool, maar je hebt je backup niet nodig.

CurlyMo schreef op woensdag 7 september 2022 @ 14:04:
[...]

Het splitsen en samenvoegen kan je ook on-the-fly doen. Zie bijv.

[...]

https://www.reddit.com/r/...tm_medium=web2x&context=3

Op zich werkt dit, maar let op!:
1. De link geeft geen expliciet voorbeeld hoe je een restore doet. Zorg dat je dit uitvogelt voordat je de restore nodig hebt.
2. Zorg dat je de schijven goed labelt. Omdat je geen filesystem op de schijven aanmaakt kan je achteraf niet meer bepalen wat de juiste volgorde van de schijven is. Of tot welke backup een schijf behoort. Of uberhaupt dat een schijf een ZFS backup bevat ipv random data.

@d3vlin Je zou eens kunnen kijken naar ZFSBackup-go (https://github.com/someone1/zfsbackup-go).
Ik backup daarmee ZFS datasets naar S3-type storage. Dit programma knipt automatisch op in bestanden van een paar honderd MB en slaat metadata op zodat het duidelijk is welke backups aanwezig zijn en welke bestanden er bij horen.
Het kan voorzover ik weet ipv naar S3 te schrijven ook naar een lokale directory schrijven, maar ik weet niet of het mogelijk is over meerdere schijven te verdelen of een pauze oid in te bouwen om een schijf te wisselen.

[d3vlin]

Dank voor alle reacties! Alles bij elkaar klinkt een backup pool over meerdere externe schijven toch veel handiger dan het splitsen van de pool backup naar verschillende schijven. In feite wordt het dan gewoon een replicatie zoals ik die gewend ben te doen naar een andere server (syncoid). Meerdere schijven in een portable USB/eSATA behuizing (Icy Box IB-3805-C31 oid?) klinkt dan als een logische oplossing om de externe pool ineens aan te kunnen sluiten.

Ander punt is dat ik hier een aantal (Seagate ArchiveHDD v2) SMR schijven heb liggen die ik daarvoor in zou kunnen zetten. De ervaringen met ZFS en SMR die ik online vind zijn nogal wisselend, waarbij met name de resilvertijden als negatief genoemd worden. Het gaat hier zoals geschetst puur om backups. Adviezen zeer welkom!

[ Voor 7% gewijzigd door d3vlin op 07-09-2022 20:59 ]

[CurlyMo]

d3vlin schreef op woensdag 7 september 2022 @ 20:55:
Ander punt is dat ik hier een aantal (Seagate ArchiveHDD v2) SMR schijven heb liggen die ik daarvoor in zou kunnen zetten. De ervaringen met ZFS en SMR die ik online vind zijn nogal wisselend, waarbij met name de resilvertijden als negatief genoemd worden. Het gaat hier zoals geschetst puur om backups. Adviezen zeer welkom!

Heb je al gezocht op SMR in dit topic?

[dcm360]

Nog even over goedkope SSD's met ZFS: ik heb ondertussen 3 jaar lang een raid-z1 met drie Intel 660p's in gebruik, met daarop wat containers die meestal niet zo veel doen, maar ook Gitlab, Nextcloud, een Bitcoin node en een Windows VM staan er op. Met deze workload gaan ze nog 75 jaar mee...

[d3vlin]

CurlyMo schreef op woensdag 7 september 2022 @ 20:59:
[...]

Heb je al gezocht op SMR in dit topic?

Ja uiteraard. En ook al diverse youtube filmpjes en reddit posts gelezen. Wat ik er uit op maak is dat het nooit de voorkeur heeft boven CMR, maar dat het voor (offline) backup doeleinden los zou moeten lopen met SMR. (Wat dat betreft doen de ArchiveHDD schijven hun naam eer aan.) Het gaat me meer om de combinatie met ZFS en dus de mogelijkheid om periodiek snapshots te repliceren naar een offline backup pool versus bijvoorbeeld een periodieke incrementele rsync op een ander filesystem zoals ext4 op de backupschijven.

Ervan uitgaande dat het de 3e backup betreft (er zijn al 2 online versies) kan je je afvragen of RAIDZx uberhaupt nodig is op die backup pool. Gewoon een aantal disks stripen en als de pool om zeep gaat dan de hele pool opnieuw vullen vanaf een van de andere backups. Van de andere kant duurt dat waarschijnlijk nog wel weer langer dan een SMR resilver... Scrubben gaat op SMR natuurlijk ook langer duren maar dat kun je op een offline pool bij wijze doen op de momenten dat het jou uit komt en de data is dan niet per se in gevaar zoals bij een degraded array. Enfin, ben er nog niet helemaal uit en dus nog steeds benieuwd naar de adviezen/ervaringen.

[ Voor 13% gewijzigd door d3vlin op 07-09-2022 21:53 ]

[CurlyMo]

d3vlin schreef op woensdag 7 september 2022 @ 21:45:
[...]
Enfin, ben er nog niet helemaal uit en dus nog steeds benieuwd naar de adviezen/ervaringen.

Ik heb mijn langzame data op een drieweg mirror SMR pool staan. Gaat vooralsnog prima. Heel soms merk je wel de dipjes in reactie tijd, maar niks om echt naar huis te schrijven. De drieweg mirror is specifiek bedoeld om het scrubben zo efficiënt mogelijk te maken en om bij het eventueel moeten vervangen van een schijf veiliger te zitten voor een tweede uitval.

[nero355]

d3vlin schreef op woensdag 7 september 2022 @ 13:46:
In dat geval dus een flinke USB hub nodig om bijvoorbeeld 6 schijven ineens te koppelen.

Een beetje moederbord heeft toch gewoon 6 x USB 3.0 aan de achterkant

[GioStyle]

Ik kom opeens dit tegen:

YouTube: DIY cloud backup: Orico 5 bay USB3 storage cabinet (ORICO 9558U3)

Een storage chassis waar 5 schijven in kunnen en waar zfs mee overweg kan? Mij werd altijd afgeraden om voor zo'n setup te gaan, omdat zfs niet direct de schijven kon aanspreken, alleen via een omweg.

Iemand die hier ook zoiets heeft draaien?

[d3vlin]

Toevallig, ik heb in het kader van bovenstaande vraag over offline backup van grote datasets eind van de week deze besteld:

https://www.amazon.nl/ORI...ersteuning/dp/B07QD5DXV2/

Zou er maandag moeten zijn. Gezien het om offline backup gaat was dit de meest economische variant die ik kon vinden. Een 5-bay enclosure met een enkele USB aansluiting leek mij handiger dan 5 losse enclosures. (En daarnaast hebben de meeste servers zoals Dell R720XD of T330 maar een paar USB poorten, laat staan 3.X, waar ook al toetsenbord, UPS datakabel etc. in moet).

Op ~4:50 in de video viel mij de text "Do NOT run RAID5/RAIDz1 with an array of this size!"op. Het wordt verder niet toegelicht, maar ik gok dat @Quindor met 'this size' doelt op de 10TB schijven en het risico om de pool te verliezen tijden de lange resilvertijd bij het vervangen van een schijf? Ik vind dat voor een offline backup wel discutabel. Je zou de pool zelfs gewoon zonder parity kunnen doen en als er een schijf kapot gaat de hele pool opnieuw bouwen. Het gaat tenslotte om een offline backup.

[ Voor 29% gewijzigd door d3vlin op 11-09-2022 09:31 ]

[nero355]

@GioStyle @d3vlin

Volgens mij zijn zulke setups al een paar keer hier of in het DIY NAS Topic langsgekomen zoals deze : Quindor in "Het grote ZFS topic"

Kan me in ieder geval genoeg "ARM bordje + USB Enclosure" achtige toestanden herinneren

[cville]

GioStyle schreef op zaterdag 10 september 2022 @ 18:52:
Ik kom opeens dit tegen:

YouTube: DIY cloud backup: Orico 5 bay USB3 storage cabinet (ORICO 9558U3)

Een storage chassis waar 5 schijven in kunnen en waar zfs mee overweg kan? Mij werd altijd afgeraden om voor zo'n setup te gaan, omdat zfs niet direct de schijven kon aanspreken, alleen via een omweg.

Iemand die hier ook zoiets heeft draaien?

Ik heb toevallig de laatste dagen veel onderzoek gedaan naar soortgelijke oplossingen en uiteindelijk besloten om niet deze weg op te gaan.

Mijn situatie: ik wil mijn server landschap vereenvoudigen en mijn Synology DS214+ met een 16TB mirror buiten gebruik stellen. De drives gaan dan naar een externe HDD enclosure die ik via USB3 aan mijn Intel NUC wil hangen. Daarop komt dan ProxMox en ZFS.

Uit de reviews blijkt dat de USB aansluiting toch regelmatig problemen oplevert met totaal verlies van data als gevolg. Hieronder (in het Engels) de producten waar ik naar gekeken heb en mijn conclusies. Tenzij iemand een betrouwbare oplossing kent, ga ik maar een extra server bouwen en de NUC en NAS buiten gebruik stellen.

Scenario 1 is REJECTED because I can’t find reliable HDD enclosures as evidenced by many reviews. Rejected products:
OWC Mercury Elite Pro Dual USB3.0 / eSATA
Orico 3.5 inch dual-bay external hard drive enclosure
TERRAMASTER D2-300
FANTEC QB-35U31
and others…

Reasons cited:
No SMART support
USB interface leading to data corruption
No adjustable HDD hibernation
Noisy fans (because of small size)


Hopelijk heb je hier wat aan.

[FireDrunk]

Als de enclosure USB Attached SATA ondersteund zou het prima moeten werken.

UAS is best veel voorkomend bij de net niet hokkie wokkie chinese rommel.

[nero355]

FireDrunk schreef op zondag 11 september 2022 @ 19:40:
Als de enclosure USB Attached SATA ondersteund zou het prima moeten werken.

Wat is er eigenlijk met eSATA gebeurd ondertussen

Lees en zie daar maar weinig over de laatste jaren : Beetje Firewire achterna gegaan ?!

[d3vlin]

d3vlin schreef op zaterdag 10 september 2022 @ 20:03:
https://www.amazon.nl/ORI...ersteuning/dp/B07QD5DXV2/

Schijven er in, raidz1 pool aangemaakt (toch maar wat parity) en syncoid aangezwengeld naar de pool. Buffelt inmiddels ruim 15 uur lekker door op 75-125MiB/s zonder problemen. Dat is niet heel snel, maar de Archive HDD v2 schijven hebben uberhaupt maar 143MiB/s sequential read/write.

Enclosure wordt gekoppeld met usb_storage, uas lijkt disabled vanwege quirks, maar hij zegt dat niet expliciet. Ik kan de schijven wel individueel aanspreken met smartctl.

Sep 12 20:44:14 hostname kernel: [191611.377671] usb 2-2: new SuperSpeed Gen 1 USB device number 2 using xhci_hcd
Sep 12 20:44:14 hostname kernel: [191611.398851] usb 2-2: New USB device found, idVendor=152d, idProduct=0567, bcdDevice=52.03
Sep 12 20:44:14 hostname kernel: [191611.398858] usb 2-2: New USB device strings: Mfr=1, Product=2, SerialNumber=3
Sep 12 20:44:14 hostname kernel: [191611.398862] usb 2-2: Product: External USB 3.0
Sep 12 20:44:14 hostname kernel: [191611.398866] usb 2-2: Manufacturer: JMicron
Sep 12 20:44:14 hostname kernel: [191611.398869] usb 2-2: SerialNumber: 20170331000C3
Sep 12 20:44:14 hostname kernel: [191611.400408] usb-storage 2-2:1.0: USB Mass Storage device detected
Sep 12 20:44:14 hostname kernel: [191611.400691] usb-storage 2-2:1.0: Quirks match for vid 152d pid 0567: 5000000
Sep 12 20:44:14 hostname kernel: [191611.400782] scsi host7: usb-storage 2-2:1.0
Sep 12 20:44:15 hostname kernel: [191612.406148] scsi 7:0:0:0: Direct-Access     External USB3.0 DISK00    5203 PQ: 0 ANSI: 6
Sep 12 20:44:15 hostname kernel: [191612.406596] scsi 7:0:0:1: Direct-Access     External USB3.0 DISK01    5203 PQ: 0 ANSI: 6
Sep 12 20:44:15 hostname kernel: [191612.406915] scsi 7:0:0:2: Direct-Access     External USB3.0 DISK02    5203 PQ: 0 ANSI: 6
Sep 12 20:44:15 hostname kernel: [191612.407201] scsi 7:0:0:3: Direct-Access     External USB3.0 DISK03    5203 PQ: 0 ANSI: 6
Sep 12 20:44:15 hostname kernel: [191612.407436] scsi 7:0:0:4: Direct-Access     External USB3.0 DISK04    5203 PQ: 0 ANSI: 6
Sep 12 20:44:15 hostname kernel: [191612.407898] sd 7:0:0:0: Attached scsi generic sg11 type 0
Sep 12 20:44:15 hostname kernel: [191612.408145] sd 7:0:0:1: Attached scsi generic sg12 type 0
Sep 12 20:44:15 hostname kernel: [191612.408272] scsi 7:0:0:2: Attached scsi generic sg13 type 0
Sep 12 20:44:15 hostname kernel: [191612.408394] scsi 7:0:0:3: Attached scsi generic sg14 type 0
Sep 12 20:44:15 hostname kernel: [191612.408511] scsi 7:0:0:4: Attached scsi generic sg15 type 0

lsmod | grep uas:

uas                    32768  0
usb_storage            81920  6 uas
usbcore               331776  6 xhci_hcd,usbhid,usb_storage,xhci_pci,uas
scsi_mod              270336  7 sd_mod,usb_storage,uas,megaraid_sas,libata,sg,sr_mod

Debian GNU/Linux 11.5 stable:

Linux hostname 5.10.0-18-amd64 #1 SMP Debian 5.10.140-1 (2022-09-02) x86_64 GNU/Linux

Bottom line; usb_storage of uas daargelaten, als de data probleemloos op en van de schijven komt is mijn backup missie eigenlijk wel geslaagd.

[ Voor 4% gewijzigd door d3vlin op 13-09-2022 21:33 ]

[d3vlin]

FireDrunk schreef op zondag 11 september 2022 @ 19:40:
Als de enclosure USB Attached SATA ondersteund zou het prima moeten werken.

UAS is best veel voorkomend bij de net niet hokkie wokkie chinese rommel.

Als ik het zo her en der lees is UAS juist een bron van ellende bij USB enclosures met Linux. Blijkbaar bij de JMicron JMS567 die in de Orico DS500C3 en 9558U3-BK enclosures gebruikt wordt en ook bij de ASM1051E in de Icy Box IB-3805-C31 Zwart.

[FireDrunk]

d3vlin schreef op dinsdag 13 september 2022 @ 14:57:
[...]


Als ik het zo her en der lees is UAS juist een bron van ellende bij USB enclosures met Linux. Blijkbaar bij de JMicron JMS567 die in de Orico DS500C3 en 9558U3-BK enclosures gebruikt wordt en ook bij de ASM1051E in de Icy Box IB-3805-C31 Zwart.

Mja, mijn ervaringen zijn juist andersom. Ik heb Western Digital schijven gehad, welke *in* de enclosure gekke dingen deden met de partitietabel (ruimte van de disk beperken, en zelf er wat 'data' bij proppen).
Dat werd door de interne controller gedaan.

Ik heb ook wat USB enclosures gehad waar ik SSD's in deed, en die hebben jaren prima gedraaid.
Groot voordeel van UAS is ook de lagere latency. Ik zag veel hogere random IO op een UAS SSD dan op een 'gewone' USB aansluiting voor diezelfde SSD.

Maar mijn verhaal is natuurlijk maar N=1, als het internet vol staat met UAS horrorverhalen, moet je mijn verhaal zeker niet zien als de heilige graal

PS: ik weet niet precies welk chipset ik heb, zal die kastjes eens open frotten. Ik heb JMicron JMS578

[ Voor 4% gewijzigd door FireDrunk op 13-09-2022 17:25 ]

[aawe mwan]

d3vlin schreef op dinsdag 13 september 2022 @ 13:00:
[...]
uas lijkt disabled vanwege quirks

„quirks” betekent dat de chipset zegt dat hij UAS ondersteunt, maar dat van de chipset die je hebt bekend is dat de ondersteuning buggy is en dat hij daarom niet als UAS gebruikt wordt.
Met lsusb -t kan je zien of het wel of niet aan staat. En dat ziet er dan bijvoorbeeld zo uit:

$ lsusb -t
/:  Bus 03.Port 1: Dev 1, Class=root_hub, Driver=dwc2/1p, 480M
/:  Bus 02.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 5000M
    |__ Port 1: Dev 2, If 0, Class=Mass Storage, Driver=uas, 5000M
/:  Bus 01.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/1p, 480M
    |__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/4p, 480M
        |__ Port 3: Dev 3, If 0, Class=Human Interface Device, Driver=usbhid, 1.5M
        |__ Port 3: Dev 3, If 1, Class=Human Interface Device, Driver=usbhid, 1.5M
        |__ Port 4: Dev 4, If 0, Class=Human Interface Device, Driver=usbhid, 1.5M
        |__ Port 4: Dev 4, If 1, Class=Human Interface Device, Driver=usbhid, 1.5M

driver=uas=UASP actief, 5000M=USB3 actief.

[d3vlin]

Port 2: Dev 6, If 0, Class=Mass Storage, Driver=usb-storage, 5000M

Yep. JMicron JMS567 valt terug naar usb-storage.

JMS578 lijkt het over het algemeen wel met uas te doen, maar als ik het goed zie zit die overwegend in een enclosure met RAID en dus voor ZFS een onnodig dure enclosure.

[ Voor 8% gewijzigd door d3vlin op 13-09-2022 21:34 ]

[FireDrunk]

d3vlin schreef op dinsdag 13 september 2022 @ 21:32:

Port 2: Dev 6, If 0, Class=Mass Storage, Driver=usb-storage, 5000M

Yep. JMicron JMS567 valt terug naar usb-storage.

JMS578 lijkt het over het algemeen wel met uas te doen, maar als ik het goed zie zit die overwegend in een enclosure met RAID en dus voor ZFS een onnodig dure enclosure.

Ik heb deze: pricewatch: Icy Box IB-223U3a-B Zwart
Kan nou niet zeggen dat dat duur is

[d3vlin]

Haha nee zeker, niet, maar ik ging uit van 5 bay enclosures.

De goedkoopste enclosure die ik kon vinden (blijkbaar JMS567 en dus usb-storage)
https://www.amazon.nl/ORI...ersteuning/dp/B07QD5DXV2/
EUR 149,99

Een RAID enclosure die volgens de Amerikaanse Amazon website JMS578 + JMB394 chipsets heeft:
https://www.amazon.nl/ORI...capaciteit/dp/B09XQYPP95/
EUR 259,99

Beiden USB 3.X, 5 schijven van max 16TB, RAID modi niet nodig voor ZFS en dus 110 euro extra voor (mogelijk?) uas ipv usb-storage. Het zou echt fijn zijn als die fabrikanten gewoon netjes de gebruikte chipsets zouden vermelden. Ik zie ruimte voor een leuke frontpage test: "Welke 5-bay USB-SATA enclosure moet je hebben voor externe ZFS backup met UAS?"

Die eerste enclosure rammelt hier ondertussen al meer dan 36 uur onverstoord en zonder fouten door met gemiddeld 100 MiB/s writes via usb-storage naar een SMR pool.

[ Voor 93% gewijzigd door d3vlin op 14-09-2022 09:30 ]

[Kaspers]

Gegeven: een zpool met 2 Toshiba MG06ACA10TE schijven.

Ik krijg de volgende melding te zien:

code:

$> zpool status
  pool: zfspool
 state: ONLINE
status: One or more devices are configured to use a non-native block size.
    Expect reduced performance.
action: Replace affected devices with devices that support the
    configured block size, or migrate data to a properly configured
    pool.
  scan: scrub repaired 0B in 18:26:18 with 0 errors on Sun Sep 11 18:50:20 2022
config:

    NAME                                      STATE     READ WRITE CKSUM
    zfspool                                   ONLINE       0     0     0
     mirror-0                                ONLINE       0     0     0
       ata-TOSHIBA_MG06ACA10TE_Z1F0A004FLEF  ONLINE       0     0     0  block size: 512B configured, 4096B native
       ata-TOSHIBA_MG06ACA10TE_Z1E0A04PFLEF  ONLINE       0     0     0  block size: 512B configured, 4096B native

Oftewel: zfs rapporteert dat ik als block size 512B geconfigureerd heb, maar dat de schijven aangeven dat 4096B hun native block size is.

Dat eerste klopt, ik heb idd de zpool aangemaakt met "ashift=9", want uit de specs van de schijven blijkt:



Echter zie ik in deze specsheet:


Haal ik wat zaken door elkaar? Of kan het zijn dat ZFS er met zijn melding naast zit over de block size?

[FireDrunk]

Kaspers schreef op vrijdag 16 september 2022 @ 12:11:
Gegeven: een zpool met 2 Toshiba MG06ACA10TE schijven.

Ik krijg de volgende melding te zien:

code:

$> zpool status
  pool: zfspool
 state: ONLINE
status: One or more devices are configured to use a non-native block size.
    Expect reduced performance.
action: Replace affected devices with devices that support the
    configured block size, or migrate data to a properly configured
    pool.
  scan: scrub repaired 0B in 18:26:18 with 0 errors on Sun Sep 11 18:50:20 2022
config:

    NAME                                      STATE     READ WRITE CKSUM
    zfspool                                   ONLINE       0     0     0
     mirror-0                                ONLINE       0     0     0
       ata-TOSHIBA_MG06ACA10TE_Z1F0A004FLEF  ONLINE       0     0     0  block size: 512B configured, 4096B native
       ata-TOSHIBA_MG06ACA10TE_Z1E0A04PFLEF  ONLINE       0     0     0  block size: 512B configured, 4096B native

Oftewel: zfs rapporteert dat ik als block size 512B geconfigureerd heb, maar dat de schijven aangeven dat 4096B hun native block size is.

Dat eerste klopt, ik heb idd de zpool aangemaakt met "ashift=9", want uit de specs van de schijven blijkt:

[Afbeelding]

Echter zie ik in deze specsheet:
[Afbeelding]

Haal ik wat zaken door elkaar? Of kan het zijn dat ZFS er met zijn melding naast zit over de block size?

Host 512, native 4k betekend dat de drive 512b sectoren faked. Dat is niet zo goed voor performance, maar eigenlijk alleen voor Random IO. Je kan het forceren met wat zfs instellingen, maar als je weinig tot geen random io doet, lekker laten.

[d3vlin]

FireDrunk schreef op dinsdag 13 september 2022 @ 17:19:
PS: ik weet niet precies welk chipset ik heb, zal die kastjes eens open frotten. Ik heb JMicron JMS578

Vandaag 5 x Toshiba 18TB als raidz1 pool in een 5-bay Yottamaster FS5U3 gestopt.

Sep 16 19:53:13 hostname kernel: [534147.103684] usb-storage 2-3:1.0: USB Mass Storage device detected
Sep 16 19:53:13 hostname kernel: [534147.104334] usb-storage 2-3:1.0: Quirks match for vid 152d pid 0578: 1000000
Sep 16 19:53:13 hostname kernel: [534147.104450] scsi host7: usb-storage 2-3:1.0

Bus 002 Device 007: ID 152d:0578 JMicron Technology Corp. / JMicron USA Technology Corp. JMS578 SATA 6Gb/s

/:  Bus 02.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/10p, 5000M
    |__ Port 3: Dev 7, If 0, Class=Mass Storage, Driver=usb-storage, 5000M

JMS578 chipset maar helaas gaat ook deze naar usb-storage en geen uas. Desondanks gemiddeld ~400 MiB/s sequential writes naar de usb pool dus mij hoor je niet klagen.

[ Voor 51% gewijzigd door d3vlin op 16-09-2022 21:36 ]

[nero355]

Kaspers schreef op vrijdag 16 september 2022 @ 12:11:
[Afbeelding]

Haal ik wat zaken door elkaar? Of kan het zijn dat ZFS er met zijn melding naast zit over de block size?

512e staat voor Emulatie van 512 sectoren en 4Kn staat voor Native 4096 sectoren als het goed is dus ZFS heeft gelijk

Verder kan je geloof ik naar ashift=12 gaan en alle data opnieuw wegschrijven naar je Pool met die waarde actief, maar afhankelijk van hoe vol je Pool is kan het best wel heel lang duren om dat beetje optimalisatie ervoor terug te krijgen...

/Aanvulling reactie van @FireDrunk

[Thralas]

Kaspers schreef op vrijdag 16 september 2022 @ 12:11:
Dat eerste klopt, ik heb idd de zpool aangemaakt met "ashift=9", want uit de specs van de schijven blijkt:

Je kunt ashift beter niet meegeven, ZFS kan zelf prima bepalen wat de native sector size van je disk is. In dit geval 4096. Handmatig specificeren was 10 jaar geleden nodig, toen er disks waren die de werkelijke sector size niet prijsgaven.

Nu loop je vooral het risico er zelf mee de mist in te gaan

[eheijnen]

Heb even een korte vraag. Al wat rond gekeken op het net maar geen goede info kunnen vinden. Dus dacht ik hier zitten de ZFS afficionados....

Als er van een mirror een disk vervangen moet worden wat zijn dan de juiste stappen om dit te doen.

Heb al eens in een VM geprobeerd....
En kwam op het volgende uit
1. Gewenste schijf op offline zetten. ZPOOL OFFLINE
2. Fysiek verwijderen
3. Nieuwe aansluiten
4. Dan met ZPOOL REPLACE vervangen/toevoegen aan het volume.

Is dit goed of kan het beter?

[RobertMe]

eheijnen schreef op maandag 19 september 2022 @ 14:38:
Heb even een korte vraag. Al wat rond gekeken op het net maar geen goede info kunnen vinden. Dus dacht ik hier zitten de ZFS afficionados....

Als er van een mirror een disk vervangen moet worden wat zijn dan de juiste stappen om dit te doen.

Heb al eens in een VM geprobeerd....
En kwam op het volgende uit
1. Gewenste schijf op offline zetten. ZPOOL OFFLINE
2. Fysiek verwijderen
3. Nieuwe aansluiten
4. Dan met ZPOOL REPLACE vervangen/toevoegen aan het volume.

Is dit goed of kan het beter?

Het beste is sowieso proberen om beide schijven tegelijkertijd aan te sluiten. Voordeel dan is dat schijf uitval tijdens de replace geen gevolgen mag hebben (immers is de pool healthy tijdens de resilver, i.p.v. unhealthy omdat die de data voor een vervangende schijf moet opbouwen). Daarnaast is het vullen van de nieuwe schijf dan min of meer een kwestie van bit voor bit alles overzetten. Haal je de oude schijf er uit zal bij een RAIDZ pool de data voor de nieuwe schijf opnieuw "gegenereerd" moeten worden op basis van de data/parity die op de andere schijven staat.

[Xantis]

eheijnen schreef op maandag 19 september 2022 @ 14:38:
Heb even een korte vraag. Al wat rond gekeken op het net maar geen goede info kunnen vinden. Dus dacht ik hier zitten de ZFS afficionados....

Als er van een mirror een disk vervangen moet worden wat zijn dan de juiste stappen om dit te doen.

Heb al eens in een VM geprobeerd....
En kwam op het volgende uit
1. Gewenste schijf op offline zetten. ZPOOL OFFLINE
2. Fysiek verwijderen
3. Nieuwe aansluiten
4. Dan met ZPOOL REPLACE vervangen/toevoegen aan het volume.

Is dit goed of kan het beter?

Als je Allan Jude (ZFS developer) moet geloven is het 't beste om de oude schijf aangesloten te laten en online te houden tijdens replacement. Bron: YouTube: A Chat about Linus' DATA Recovery w/ Allan Jude (die offset? Ja echt )

[eheijnen]

In de VM:
Direct met replace gewerkt (zoals Robert zei) en alle disks toegevoegd terwijl het os draait (heet-plugge:).
Dat gaat dus prima zover. Je kunt "gewoon" de schijven in de pool zo vervangen terwijl de handel draait.

[ Voor 4% gewijzigd door eheijnen op 19-09-2022 15:35 ]

[eheijnen]

Ik heb nog een aansluitende vraag om na te gaan of ik de juiste weg bewandel.

1. In de test binnen de VM heb ik de mirror gemaakt met twee 8GB disks.
2. Van die mirror heb ik de schijven 1 voor 1 door 32GB disks vervangen.
3. Daarna heb ik het volume property AutoExpand op ON gezet.

Dat het volume vergroot was werd pas na ca. 30 minuten zichtbaar met ZPOOL LIST
Ondanks dat kon ik direct meer data dan de initiele 8GB erop kwijt, zonder problemen.

Zijn dit de juiste stappen om een volume te vergroten?
Is het normaal dat het een tijdje duurde voordat de nieuwe grootte zichtbaar werd?

[nero355]

eheijnen schreef op dinsdag 20 september 2022 @ 12:37:
Dat het volume vergroot was werd pas na ca. 30 minuten zichtbaar met ZPOOL LIST
Ondanks dat kon ik direct meer data dan de initiele 8GB erop kwijt, zonder problemen.

Zijn dit de juiste stappen om een volume te vergroten?
Is het normaal dat het een tijdje duurde voordat de nieuwe grootte zichtbaar werd?

Opzich allemaal prima, maar wat betreft die 30 minuten kan ik zo gauw geen antwoord vinden, maar wel het volgende : Het grote ZFS topic
Wat onder andere dit als resultaten geeft :
- DrFlash in "Het grote ZFS topic"
- syl765 in "Het grote ZFS topic"

En ook nog de optie om zoiets te doen :

zpool online -e

Of gewoon je NAS te rebooten of een wijziging toe te passen die de autoexpand triggert!

[FireDrunk]

eheijnen schreef op dinsdag 20 september 2022 @ 12:37:
Ik heb nog een aansluitende vraag om na te gaan of ik de juiste weg bewandel.

1. In de test binnen de VM heb ik de mirror gemaakt met twee 8GB disks.
2. Van die mirror heb ik de schijven 1 voor 1 door 32GB disks vervangen.
3. Daarna heb ik het volume property AutoExpand op ON gezet.

Dat het volume vergroot was werd pas na ca. 30 minuten zichtbaar met ZPOOL LIST
Ondanks dat kon ik direct meer data dan de initiele 8GB erop kwijt, zonder problemen.

Zijn dit de juiste stappen om een volume te vergroten?
Is het normaal dat het een tijdje duurde voordat de nieuwe grootte zichtbaar werd?

Nou wil ik niet heel negatief zijn, maar dat lijkt me praktisch onmogelijk.
ZFS is vrij rigide qua vrije ruimte, en zal je niet zomaar meer data laten schrijven dan het zelf aan denkt te kunnen.
Misschien heb je bij ZFS list gekeken ipv bij zpool list? Die waardes kunnen nog wel eens verschillen van elkaar.

Over de juiste stappen: AutoExpand is niet verplicht, dus dat is relatief.
Maar in principe is 1 voor 1 je schijven vervangen, en wachten totdat je pool netjes healthy aangeeft altijd prima. Daarna kan je met de hand of zoals je zelf al deed met AutoExpand je pool vergroten.

Overigens kan het commando `udevadm trigger` nog wel eens helpen bij een expand om nieuwe ruimte te detecteren (vooral in VM's)

[ Voor 4% gewijzigd door FireDrunk op 20-09-2022 20:54 ]

[eheijnen]

@FireDrunk

EDIT:
Je hebt gelijk. Ik heb zelf niet goed opgelet toen ik die mirror opnieuw aanmaakte en daarbij niet het mount point meegegeven.

Dan blijft toch nog dat half uur over voordat het zicht baar was. Daar kijk ik later nog eens naar dat is wat meer werk om te testen.

[ Voor 80% gewijzigd door eheijnen op 20-09-2022 21:42 ]

[aawe mwan]

d3vlin schreef op vrijdag 16 september 2022 @ 20:17:
[...]
Vandaag 5 x Toshiba 18TB als raidz1 pool in een 5-bay Yottamaster FS5U3 gestopt.

Aha, de nieuwe versie van de enclosure, waarbij de voeding niet een los blok is, maar ingebouwd is.

Bij de vorige versie hoorde je vaak de „klacht” dat de schijven vrij snel vanzelf in slaap gaan als je ze niet gebruikt en dat dit niet te beïnvloeden is vanuit de computer. Is dat bij de nieuwe versie ook zo?

[nero355]

FireDrunk schreef op dinsdag 20 september 2022 @ 20:52:
Over de juiste stappen: AutoExpand is niet verplicht, dus dat is relatief.
Maar in principe is 1 voor 1 je schijven vervangen, en wachten totdat je pool netjes healthy aangeeft altijd prima. Daarna kan je met de hand of zoals je zelf al deed met AutoExpand je pool vergroten.

Overigens kan het commando `udevadm trigger` nog wel eens helpen bij een expand om nieuwe ruimte te detecteren (vooral in VM's)

Wat ik dus tegenkom is dat als je AutoExpand alvast aanzet en dan de laatste HDD verzilvert dat de AutoExpand automatisch start!

[d3vlin]

aawe mwan schreef op dinsdag 20 september 2022 @ 23:14:
[...]

Aha, de nieuwe versie van de enclosure, waarbij de voeding niet een los blok is, maar ingebouwd is.

Bij de vorige versie hoorde je vaak de „klacht” dat de schijven vrij snel vanzelf in slaap gaan als je ze niet gebruikt en dat dit niet te beïnvloeden is vanuit de computer. Is dat bij de nieuwe versie ook zo?

YouTube: How to Stop the RAID Enclosure Enter Sleep Mode ｜Yottamaster How-to ...

"About Sleep Mode Setting. Please note that the Sleep Mode only applies to Yottamaster Multiple Bay Enclosure with RAID funtion models"

De variant die ik hier heb heeft (bewust) geen RAID en ik heb hem ook nog niet in sleep mode zien gaan.

[eheijnen]

FireDrunk schreef op dinsdag 20 september 2022 @ 20:52:
[...]

Nou wil ik niet heel negatief zijn, maar dat lijkt me praktisch onmogelijk.
ZFS is vrij rigide qua vrije ruimte, en zal je niet zomaar meer data laten schrijven dan het zelf aan denkt te kunnen.
Misschien heb je bij ZFS list gekeken ipv bij zpool list? Die waardes kunnen nog wel eens verschillen van elkaar.

Over de juiste stappen: AutoExpand is niet verplicht, dus dat is relatief.
Maar in principe is 1 voor 1 je schijven vervangen, en wachten totdat je pool netjes healthy aangeeft altijd prima. Daarna kan je met de hand of zoals je zelf al deed met AutoExpand je pool vergroten.

Overigens kan het commando `udevadm trigger` nog wel eens helpen bij een expand om nieuwe ruimte te detecteren (vooral in VM's)

@FireDrunk
Ben er nog wat verder ingedoken.

Het toevoegen van een (VM SCSI) disk wordt door het systeem niet goed opgemerkt. En heeft refresh nodig via "udevadm trigger". Een USB disk wordt wel direct zichtbaar.

Nadat de AutoExpand op ON is gezet op de mirror moet ook hier weer een refresh worden afgedwongen met udevadm en toont ZPOOL LIST wel de juiste waardes.

Bij Debian 11 met kernel: 5.10.0-18-amd64 treed dit op.
Op Arch met kernel: 5.8.12-arch1-1 werkt het wel

Kan zijn dat de virtio drivers in deze kernels verschillen...

[CurlyMo]

eheijnen schreef op woensdag 21 september 2022 @ 12:57:
[...]
Het toevoegen van een (VM SCSI) disk wordt door het systeem niet goed opgemerkt. En heeft refresh nodig via "udevadm trigger". Een USB disk wordt wel direct zichtbaar.

Als ik hier mijn schijven hotswap, dan is dit standaard onderdeel van de procedure. Anders merkt die inderdaad de nieuwe situatie niet op.

[HyperBart]

Vanmorgen ook al met @FireDrunk even besproken, oordeel daar was dat de SSD de sjaak was.

Situatie
Pool met 1 SSD, wordt intensief gebruikt voor downloads, dockertjes op te draaien en logging op te doen.
Denk aan minimaal 1TB à 1.5TB per maand aan writes.
Monitoring gaf aan dat de pool in SUSPENDED was gegaan.



NVMe drive was ook verdwenen uit /dev/, niks meer van terug te vinden.
Server poweroff, power on
NVMe drive is terug, pool kwam netjes terug online, niets meer aan de hand. Scrub is voltooid zonder problemen en SMART vinden jullie hieronder.



Tot deze ochtend dacht ik "jammer, direct een nieuwe bestellen" maar vanavond even nader bekeken en ik zie heel weinig indicatoren van falen (of ik kijk er over).

Tot zonet leek het nog even of downloads trager binnenkwamen maar ook dat lijkt zich terug gestabiliseerd te hebben.

Zal zodadelijk ook nog wel even crossposten in check je SMART maar ik wou het hier toch ook al eens even afchecken. Bijzonder vind ik dat ik met smartctl -a /dev/nvme heel weinig SMART data terug krijg.
Dat moet ik nog even nader bekijken.

[Thralas]

HyperBart schreef op woensdag 28 september 2022 @ 21:02:
Vanmorgen ook al met @FireDrunk even besproken, oordeel daar was dat de SSD de sjaak was.

Nope. Je moet de firmware van die SSD updaten. Zie Controller failure due to broken APST support

Op dezelfde wiki staat eveneens hoe je de firmware onder Linux update (zie het kopje Kingston). En ja, dat kan gewoon live. Rest nog de vraag waarom je ertegenaanloopt - destijds was de laagste power state van de A2000 geblacklist als workaround, misschien is dat ooit teruggedraaid (niet onterecht, er is immers een firmware update).

[HyperBart]

Thralas schreef op woensdag 28 september 2022 @ 21:27:
[...]


Nope. Je moet de firmware van die SSD updaten. Zie Controller failure due to broken APST support

Op dezelfde wiki staat eveneens hoe je de firmware onder Linux update (zie het kopje Kingston). En ja, dat kan gewoon live. Rest nog de vraag waarom je ertegenaanloopt - destijds was de laagste power state van de A2000 geblacklist als workaround, misschien is dat ooit teruggedraaid (niet onterecht, er is immers een firmware update).

Toevallig... Heb ik wel net een tijdje geleden (8 dagen geleden) een upgrade gedaan naar Ubuntu 22.04, voorheen draaide ik 20.04 LTS. Misschien daar iets?

Upgrade lijkt nog niet helemaal goed te gaan:

root@nas:~/A2000_FW_Update# md5sum -c S5Z42109.md5
S5Z42109.bin: OK
root@nas:~/A2000_FW_Update# nvme fw-download /dev/nvme0n1 --fw=S5Z42109.bin
Firmware download success
root@nas:~/A2000_FW_Update# nvme fw-activate /dev/nvme0n1 --slot=1 --action=1
NVMe status: FIRMWARE_IMAGE: The firmware image specified for activation is invalid and not loaded by the controller(0x107)
Multiple Update Detected (MUD) Value: 46
Detected an overlapping firmware/boot partition image update command sequence due to processing a command from an Admin SQ on a controller

EDIT:
Is mijn versie (S5Z44106) niet gewoon al hoger dan die ik probeer te installeren?


S5Z44106 (huidige op mijn SSD)
S5Z42109 (versie die gesuggereerd wordt)

[ Voor 32% gewijzigd door HyperBart op 28-09-2022 23:01 ]

[Thralas]

Welja. Terwijl de site van Kingston nog steeds S5Z42109 aanbiedt ter download.

Lijkt me dat je dan inderdaad een nieuwere (?) versie hebt - en die nummering is lekker onduidelijk. Moeite waard om na te gaan of APST dan toch weer aan staat en/of de workaround proberen.

[orvintax]

Thralas schreef op woensdag 28 september 2022 @ 21:27:
[...]


Nope. Je moet de firmware van die SSD updaten. Zie Controller failure due to broken APST support

Op dezelfde wiki staat eveneens hoe je de firmware onder Linux update (zie het kopje Kingston). En ja, dat kan gewoon live. Rest nog de vraag waarom je ertegenaanloopt - destijds was de laagste power state van de A2000 geblacklist als workaround, misschien is dat ooit teruggedraaid (niet onterecht, er is immers een firmware update).

Offtopic, maar hartelijk bedankt hiervoor! Ik heb toevallig een Kingston A2000 in mijn pc liggen en ga hier morgen even naar kijken!

[mrmrmr]

Thralas schreef op woensdag 28 september 2022 @ 21:27:
Rest nog de vraag waarom je ertegenaanloopt - destijds was de laagste power state van de A2000 geblacklist als workaround, misschien is dat ooit teruggedraaid (niet onterecht, er is immers een firmware update).

De kernelaanpassing wordt vermoedelijk niet teruggedraaid, het zit in de huidige master, net als een aantal andere NVMe drives waarbij NVME_QUIRK_NO_DEEPEST_PS actief is. Patch 538e4a8c571efdf131834431e0c14808bcfb1004 met deze workaround zit in deze kernels voor zover ik kon terugvinden:
4.14.221
4.19.175
5.4.97
5.10.15
5.11
of nieuwer.

[orvintax]

HyperBart schreef op woensdag 28 september 2022 @ 22:34:
[...]

Toevallig... Heb ik wel net een tijdje geleden (8 dagen geleden) een upgrade gedaan naar Ubuntu 22.04, voorheen draaide ik 20.04 LTS. Misschien daar iets?

Upgrade lijkt nog niet helemaal goed te gaan:

root@nas:~/A2000_FW_Update# md5sum -c S5Z42109.md5
S5Z42109.bin: OK
root@nas:~/A2000_FW_Update# nvme fw-download /dev/nvme0n1 --fw=S5Z42109.bin
Firmware download success
root@nas:~/A2000_FW_Update# nvme fw-activate /dev/nvme0n1 --slot=1 --action=1
NVMe status: FIRMWARE_IMAGE: The firmware image specified for activation is invalid and not loaded by the controller(0x107)
Multiple Update Detected (MUD) Value: 46
Detected an overlapping firmware/boot partition image update command sequence due to processing a command from an Admin SQ on a controller

EDIT:
Is mijn versie (S5Z44106) niet gewoon al hoger dan die ik probeer te installeren?


S5Z44106 (huidige op mijn SSD)
S5Z42109 (versie die gesuggereerd wordt)

Het is net wel bij mij gelukt, maar ik heb geen idee wel versie ik eerst had

[mrmrmr]

HyperBart schreef op donderdag 29 september 2022 @ 10:49:
Dat is die 2de screenshot, meer komt er niet , dat vond ik dus ook zo raar .

Ja, dat lijkt niet op de smartctl -a output van een andere A2000 die ik zag. Heb je nvme0 gebruikt? Dat zou de fysieke device moeten zijn (in plaats van partities of volumes).

root@nas:~# uname -a
Linux nas 5.15.0-48-generic #54-Ubuntu SMP Fri Aug 26 13:26:29 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux

Dan heb je de fix voor de low power state in de kernel en is de oorzaak iets anders.

De link die ik gaf met soortgelijke foutmeldingen heeft het over het vervangen van de voeding. Dat lijkt een beetje raar, maar misschien is de 3.3V lijn voor PCIe niet stabiel genoeg voor de SSD. Met name onder belasting. Als je een multimeter hebt kun je de spanning dicht bij het moederbord meten. Het zou boven 12V, 5V moeten liggen en ongeveer 3.3V.

[HyperBart]

mrmrmr schreef op donderdag 29 september 2022 @ 12:15:
[...]


Ja, dat lijkt niet op de smartctl -a output van een andere A2000 die ik zag. Heb je nvme0 gebruikt? Dat zou de fysieke device moeten zijn (in plaats van partities of volumes).

Ik vertrouw ook nooit antwoorden zonder de uitdraai . Zie hier voor de volledigheid nog eens een laatste log/uitdraai van acties:

root@nas:~# smartctl /dev/nvme
nvme0         nvme0n1       nvme0n1p1     nvme-fabrics
root@nas:~# smartctl -a /dev/nvme0
smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.15.0-48-generic] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Number:                       KINGSTON SA2000M81000G
Serial Number:                      ikdenkhetnietjoh
Firmware Version:                   S5Z44106
PCI Vendor/Subsystem ID:            0x2646
IEEE OUI Identifier:                0x0026b7
Controller ID:                      1
NVMe Version:                       1.3
Number of Namespaces:               1
Namespace 1 Size/Capacity:          1,000,204,886,016 [1.00 TB]
Namespace 1 Utilization:            996,400,762,880 [996 GB]
Namespace 1 Formatted LBA Size:     512
Namespace 1 IEEE EUI-64:            0026b7 68501484d5
Local Time is:                      Thu Sep 29 13:00:11 2022 CEST
Firmware Updates (0x14):            2 Slots, no Reset required
Optional Admin Commands (0x0017):   Security Format Frmw_DL Self_Test
Optional NVM Commands (0x005f):     Comp Wr_Unc DS_Mngmt Wr_Zero Sav/Sel_Feat Timestmp
Log Page Attributes (0x0f):         S/H_per_NS Cmd_Eff_Lg Ext_Get_Lg Telmtry_Lg
Maximum Data Transfer Size:         32 Pages
Warning  Comp. Temp. Threshold:     75 Celsius
Critical Comp. Temp. Threshold:     80 Celsius

Supported Power States
St Op     Max   Active     Idle   RL RT WL WT  Ent_Lat  Ex_Lat
 0 +     9.00W       -        -    0  0  0  0        0       0
 1 +     4.60W       -        -    1  1  1  1        0       0
 2 +     3.80W       -        -    2  2  2  2        0       0
 3 -   0.0450W       -        -    3  3  3  3     2000    2000
 4 -   0.0040W       -        -    4  4  4  4    15000   15000

Supported LBA Sizes (NSID 0x1)
Id Fmt  Data  Metadt  Rel_Perf
 0 +     512       0         0

=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

SMART/Health Information (NVMe Log 0x02)
Critical Warning:                   0x00
Temperature:                        29 Celsius
Available Spare:                    100%
Available Spare Threshold:          10%
Percentage Used:                    10%
Data Units Read:                    29,260,812 [14.9 TB]
Data Units Written:                 94,315,259 [48.2 TB]
Host Read Commands:                 1,090,004,758
Host Write Commands:                2,177,387,371
Controller Busy Time:               6,338
Power Cycles:                       23
Power On Hours:                     9,147
Unsafe Shutdowns:                   3
Media and Data Integrity Errors:    0
Error Information Log Entries:      0
Warning  Comp. Temperature Time:    0
Critical Comp. Temperature Time:    0
Thermal Temp. 1 Transition Count:   92
Thermal Temp. 1 Total Time:         3759

Error Information (NVMe Log 0x01, 16 of 256 entries)
No Errors Logged

[...]


Dan heb je de fix voor de low power state in de kernel en is de oorzaak iets anders.

De link die ik gaf met soortgelijke foutmeldingen heeft het over het vervangen van de voeding. Dat lijkt een beetje raar, maar misschien is de 3.3V lijn voor PCIe niet stabiel genoeg voor de SSD. Met name onder belasting. Als je een multimeter hebt kun je de spanning dicht bij het moederbord meten. Het zou boven 12V, 5V moeten liggen en ongeveer 3.3V.

Ik ben zo blij dat ik op dit soort momenten mijn monitoring zo strak getrokken heb. Netdata, Telegram berichtjes voor SMART en ZFS/ZED . Moet @FireDrunk daar nog eens een extra biertje voor klaar zetten als ie nog eens komt .

Men krijgt dit soort berichtjes niet graag maar oh wat is het heerlijk om geen onnodige berichten te krijgen, alleen als er echt iets mis is rinkelt Telegram in een bepaald groepje of gesprek. Die ochtend had ik 15000 berichten (6 notifications, Telegram kapt wel ergens blijkbaar ) dat er iets mis was met ZFS. Een tijdje geleden de backup server die een SMART foutje gooide. Een jaar ofzo geleden een bericht dat een HDD aan het falen was. Vroeger wist je dit soort dingen gewoon NIET, nu is het ZFS die de data-integriteit bewaakt, heerlijk .

Anyway: hieronder de metingen uit Netdata. Gaat wel maar tot 27/09 23:00 terug maar ik zie toch niks gek, zijn vaak X aantal cijfertjes na de komma.

[ Voor 21% gewijzigd door HyperBart op 29-09-2022 13:15 ]

[HyperBart]

Toevallig zijn die momenten waarop er geen data is/was ook wel de momenten dat de SSD er tussen uit gegooid is. Ik weet niet of ik een en het ander aan dezelfde oorzaak mag linken (voeding) of dat er door het uitwerpen van de SSD wel wat andere dingen "bokten".

Netdata draait normaal onafhankelijk van de A2000 SSD, is een manuele install.
Principe bij mij is dat alles op docker draait van applicaties, Netdata is om de server zelf in de gaten te houden en wat adhoc peeks te kunnen doen naar wat er bezig is dus beschouw ik niet als een "hosted application".

[nero355]

mrmrmr schreef op donderdag 29 september 2022 @ 12:15:
Dan heb je de fix voor de low power state in de kernel en is de oorzaak iets anders.

De link die ik gaf met soortgelijke foutmeldingen heeft het over het vervangen van de voeding. Dat lijkt een beetje raar, maar misschien is de 3.3V lijn voor PCIe niet stabiel genoeg voor de SSD. Met name onder belasting. Als je een multimeter hebt kun je de spanning dicht bij het moederbord meten. Het zou boven 12V, 5V moeten liggen en ongeveer 3.3V.

Volgens mij is die 3,3 Volt lijn tegenwoordig een beetje het zwarte schaap in de familie bij voedingen en heb je vaak kans dat terwijl de 5 Volt en 12 Volt lijnen super stabiel zijn de 3,3 Volt lijn behoorlijk minder presteert of in ieder geval op het randje van stabiel zit!

Maar wat ik me afvroeg :

HyperBart schreef op donderdag 29 september 2022 @ 13:24:
Toevallig zijn die momenten waarop er geen data is/was ook wel de momenten dat de SSD er tussen uit gegooid is.
Ik weet niet of ik een en het ander aan dezelfde oorzaak mag linken (voeding) of dat er door het uitwerpen van de SSD wel wat andere dingen "bokten".

Kan je niet het een en ander in je BIOS/UEFI forceren om die Kingston A2000 de hele tijd in een soort "High Performance Mode" te houden

Daarnaast heb je IMHO wel echt de slechtste SSD keuze gemaakt i.c.m. Linux
Ik noem dat soort modelletjes dan ook altijd "Gaming SSD" en niet meer dan dat!
En zelfs dat zou ik die A2000 niet toevertrouwen : Daar heb ik een fatsoenlijk beschermde Crucial M500 voor!

[HyperBart]

nero355 schreef op donderdag 29 september 2022 @ 15:59:
[...]

Volgens mij is die 3,3 Volt lijn tegenwoordig een beetje het zwarte schaap in de familie bij voedingen en heb je vaak kans dat terwijl de 5 Volt en 12 Volt lijnen super stabiel zijn de 3,3 Volt lijn behoorlijk minder presteert of in ieder geval op het randje van stabiel zit!

OK, ik volg je maar dat lijkt op basis van wat die IC meet in Netdata niet het geval te zijn, toch?

Maar wat ik me afvroeg :

[...]

Kan je niet het een en ander in je BIOS/UEFI forceren om die Kingston A2000 de hele tijd in een soort "High Performance Mode" te houden

Grrrrrrr
Ergens in 2019 of 2020, * HyperBart :

"neuh joh ik heb geen IPMI nodig, hoe vaak heb je dat nou nodig, staat permanent te verbruiken

Dan moet ik ff met een DisplayPort scherm naar boven.

Daarnaast heb je IMHO wel echt de slechtste SSD keuze gemaakt i.c.m. Linux
Ik noem dat soort modelletjes dan ook altijd "Gaming SSD" en niet meer dan dat!
En zelfs dat zou ik die A2000 niet toevertrouwen : Daar heb ik een fatsoenlijk beschermde Crucial M500 voor!

Ja kijk, ik was er in alle geval niet van op de hoogte... Indertijd op de BBG afgegaan:
review: Ssd Best Buy Guide - Oktober 2021
1TB, top, A2000, ok, besteld.

Ik ben ondertussen al zwaar aan het denken om een 980 aan te schaffen (of iets anders).

Dat ik anno 2022 mogelijk met dit soort gare bugs moet dealen verbaast me enigszins wel wat...

Ik heb hier nog een M500 SATA liggen van 120GB maar die is me wat te klein voor die scratch/incoming partition voor downloads.

[RobertMe]

De wonderen van de A2000 zijn dus nog steeds niet de wereld uit:
Proxmox lockups door NVME drive?

Die van mij heb ik toen vrij snel vervangen door een 970 Evo (uit mijn hoofd). Vervolgens ook nooit meer naar omgekeken en de A2000 ligt nog op zolder in een doos. Misschien dat die er ooit uit komt. Maar dan moet ik ook aan de firmware update denken .

Server draait intussen op een ZFS mirror met een 980 ernaast (beide 500Gb), black friday deal. En de downloads en zo ook nog eens op een losse WD Blue SATA SSD. PC zit nu ook een 980 in, maar 1TB, ook van BF. Daarnaast zit daar de antieke NVME drive ook nog in (denk 950). Samsungs zijn dus rock solid voor mij. Kingston komt er niet meer in. Gevalletje goedkoop is duurkoop.

[HyperBart]

RobertMe schreef op donderdag 29 september 2022 @ 17:05:
De wonderen van de A2000 zijn dus nog steeds niet de wereld uit:
Proxmox lockups door NVME drive?

Die van mij heb ik toen vrij snel vervangen door een 970 Evo (uit mijn hoofd). Vervolgens ook nooit meer naar omgekeken en de A2000 ligt nog op zolder in een doos. Misschien dat die er ooit uit komt. Maar dan moet ik ook aan de firmware update denken .

Server draait intussen op een ZFS mirror met een 980 ernaast (beide 500Gb), black friday deal. En de downloads en zo ook nog eens op een losse WD Blue SATA SSD. PC zit nu ook een 980 in, maar 1TB, ook van BF. Daarnaast zit daar de antieke NVME drive ook nog in (denk 950). Samsungs zijn dus rock solid voor mij. Kingston komt er niet meer in. Gevalletje goedkoop is duurkoop.

Die Kingston kostte toen even veel als die Samsung.
Ach ja, Amazon ging me al refunden dus geen schade .

[RobertMe]

HyperBart schreef op donderdag 29 september 2022 @ 17:06:
[...]


Die Kingston kostte toen even veel als die Samsung.
Ach ja, Amazon ging me al refunden dus geen schade .

Daar deed Azerty wat moeilijker over. In ieder geval in combinatie met mijn "ik wil hem eigenlijk niet retourneren want data drager". Uiteindelijk wel een paar euro korting gekregen op de Samsung na lang bedelen, maar "meer ging echt niet".

offtopic:
Maar Amazon doet inderdaad nooit moeilijk. Recentelijk 2x Intel AX200 wifi adapter besteld. Na levering kwam ik er eerst al achter dat het een kinda foutje was waarbij de Pricewatch listing naar de variant met desktop kit gaat, voor de prijs van de losse adapter, en er een duurdere listing is voor daadwerkelijk de desktop kit. En daarna zag ik dat het tweede doosje open was geweest (sticker open geknipt). Verschillende dagen later contact op genomen met een "is niet nieuw, terwijl jullie het wel zo verkopen". En kreeg ik direct twee nieuwe opgestuurd. Zelfs zo direct dat ik 's morgens contact opnam en reactie kreeg, en 's avonds DHL al aan de deur stond. Vervolgens bleek wel dat een van de twee nieuwe hetzelfde euvel had Ook de sticker al open. Daarover maar geen bericht meer gestuurd. Eigenlijk had ik gehoopt op een zelfde gelukje als bij Bosch gereedschap eerder dit jaar. Was ook sticker / zegel verbroken, op de L-boxxx. Contact opgenomen en kon ik kiezen voor een paar euro restitutie of omruilen. En dus voor restitutie gegaan omdat het verder allemaal in orde was.

[nero355]

HyperBart schreef op donderdag 29 september 2022 @ 16:43:
OK, ik volg je maar dat lijkt op basis van wat die IC meet in Netdata niet het geval te zijn, toch?

Niet echt naar gekeken eerlijk gezegd, want nooit mee gewerkt...

Grrrrrrr
Ergens in 2019 of 2020, * HyperBart :

[...]

Dan moet ik ff met een DisplayPort scherm naar boven.

Hehehe!

Als het een echt Server moederbord was geweest dan heb je ook grotere kans dat er een dergelijke optie op zit!

Ja kijk, ik was er in alle geval niet van op de hoogte... Indertijd op de BBG afgegaan:
review: Ssd Best Buy Guide - Oktober 2021
1TB, top, A2000, ok, besteld.

HA! Dat soort guides moet je lekker negeren joh! Nooit wat daarin wordt aangeraden gekocht en nooit spijt van gehad!

Vooral voor dit soort DIY NAS/Server dingetjes...

Ik ben ondertussen al zwaar aan het denken om een 980 aan te schaffen (of iets anders).

Dat ik anno 2022 mogelijk met dit soort gare bugs moet dealen verbaast me enigszins wel wat...

RobertMe schreef op donderdag 29 september 2022 @ 17:05:
Die van mij heb ik toen vrij snel vervangen door een 970 Evo (uit mijn hoofd).
Vervolgens ook nooit meer naar omgekeken

Samsungs zijn dus rock solid voor mij.

Ik heb ook rare dingen met Samsung SSD's gezien, maar dat was de 850 Pro Serie destijds dus alles kan stuk!

Daarnaast hadden ze ook wat fratsen met hun NVMe modellen hier en daar met firmwares en stiekeme wijzigingen aan de gebruikte NAND/Controller/Cache/enz...
Vergeet ook niet dat gedoe met iets van spyware in die "Magician" software van ze een paar jaar terug!

Ik heb hier nog een M500 SATA liggen van 120GB maar die is me wat te klein voor die scratch/incoming partition voor downloads.

Als je toch niks ermee doet...

RobertMe schreef op donderdag 29 september 2022 @ 17:17:
Daar deed Azerty wat moeilijker over.

Azerty a.k.a. "Wij doen wel de RMA voor een winkel die failliet is, maar we laten je pas weten dat het je geld gaat kosten NADAT we het produkt hebben ontvangen!" is sowieso een EPIC FAIL winkel!

[HyperBart]

@nero355: die hele setup is natuurlijk wel gekozen met zuinigheid voorop. Ik weet niet hoeveel Watt die performance setting invloed heeft op het verbruik maar het is wel iets wat ik in het achterhoofd hou.

Ik bedoel maar, mijn ESXi die op hetzelfde setje gebaseerd is draait rond de 10W.
De NAS (speclist hieronder) draait rustig kachelend met disks in spindown een 30W.

Moet het ff bekijken, als hij het nog eens doet dan

1. koop ik een PCIe naar NVMe insteek kaartje,
2. koop ik een nieuwe NVMe SSD
3. Hang ik beide er in
4. Maak er een mirror van
5. Gaat die A2000 er uit en

[joker1977]

nero355 schreef op vrijdag 30 september 2022 @ 00:06:
Azerty a.k.a. "Wij doen wel de RMA voor een winkel die failliet is, maar we laten je pas weten dat het je geld gaat kosten NADAT we het produkt hebben ontvangen!" is sowieso een EPIC FAIL winkel!

Staat een beetje los van ZFS, maar ik ben wel nieuwsgierig naar dit. Persoonlijk snap ik dat winkels niet zondermeer RMA's voor andere winkels gratis doen. Immers: Ze hebben niet de winst op de verkoop gemaakt, maar moeten nu wel de kosten maken van garantie/service-afwikkeling. Hoe had jij je dat dan voorgesteld?

[nero355]

joker1977 schreef op vrijdag 30 september 2022 @ 10:37:
Staat een beetje los van ZFS, maar ik ben wel nieuwsgierig naar dit. Persoonlijk snap ik dat winkels niet zondermeer RMA's voor andere winkels gratis doen. Immers: Ze hebben niet de winst op de verkoop gemaakt, maar moeten nu wel de kosten maken van garantie/service-afwikkeling. Hoe had jij je dat dan voorgesteld?

offtopic:
Gewoon VOORAF vermelden dat het me geld gaat kosten en dan is er niks aan de hand!

HyperBart schreef op vrijdag 30 september 2022 @ 10:12:
Die hele setup is natuurlijk wel gekozen met zuinigheid voorop. Ik weet niet hoeveel Watt die performance setting invloed heeft op het verbruik maar het is wel iets wat ik in het achterhoofd hou.

Het is maar een SSD dus zoveel zou het niet mogen zijn

Ik bedoel maar, mijn ESXi die op hetzelfde setje gebaseerd is draait rond de 10W.
De NAS (speclist hieronder) draait rustig kachelend met disks in spindown een 30W.

Meer disks = Meer verbruik dus dat verbaast me niet echt!

Moet het ff bekijken, als hij het nog eens doet dan

1. koop ik een PCIe naar NVMe insteek kaartje,
2. koop ik een nieuwe NVMe SSD
3. Hang ik beide er in
4. Maak er een mirror van
5. Gaat die A2000 er uit en

Mag ik dan voorstellen om gewoon zoiets te overwegen : uitvoering: Samsung PM9A3 M.2 960GB

Als het toch al Samsung moet zijn...

[HyperBart]

nero355 schreef op vrijdag 30 september 2022 @ 15:19:
[...]
Mag ik dan voorstellen om gewoon zoiets te overwegen : uitvoering: Samsung PM9A3 M.2 960GB

Wel dubbel zo duur? Ik bedoel, het is maar een scratch partitie + mijn apps partitie he en de apps worden gebackupped.

Als het toch al Samsung moet zijn...

Neuh joh, helemaal niet, sta voor alles open.

[Kaspers]

FireDrunk schreef op vrijdag 16 september 2022 @ 19:00:
[...]

Host 512, native 4k betekend dat de drive 512b sectoren faked. Dat is niet zo goed voor performance, maar eigenlijk alleen voor Random IO. Je kan het forceren met wat zfs instellingen, maar als je weinig tot geen random io doet, lekker laten.

nero355 schreef op maandag 19 september 2022 @ 02:11:
[...]

512e staat voor Emulatie van 512 sectoren en 4Kn staat voor Native 4096 sectoren als het goed is dus ZFS heeft gelijk

Verder kan je geloof ik naar ashift=12 gaan en alle data opnieuw wegschrijven naar je Pool met die waarde actief, maar afhankelijk van hoe vol je Pool is kan het best wel heel lang duren om dat beetje optimalisatie ervoor terug te krijgen...

/Aanvulling reactie van @FireDrunk

Thralas schreef op maandag 19 september 2022 @ 10:51:
[...]


Je kunt ashift beter niet meegeven, ZFS kan zelf prima bepalen wat de native sector size van je disk is. In dit geval 4096. Handmatig specificeren was 10 jaar geleden nodig, toen er disks waren die de werkelijke sector size niet prijsgaven.

Nu loop je vooral het risico er zelf mee de mist in te gaan

Dank voor deze reacties. Ik heb m'n zfspool inmiddels gemigreerd naar een pool waarbij ik ashift niet heb meegegeven bij de creatie. De strategie (inclusief commands, misschien heeft iemand er nog iets aan):

1. Alle datasets backuppen naar een zfspool elders.
2. De 2-disk mirrored pool "zfspool" omgezet naar een 1-disk pool door 1 disk te 'detachen'.
   
   code:
   

   sudo zpool detach zfspool ata-TOSHIBA_MG06ACA10TE_Z1E0A04PFLEF

3. Een nieuwe zfspool "zfspool2" aangemaakt met de beschikbaar gekomen schijf
   
   code:
   

   sudo zpool create zfspool2 ata-TOSHIBA_MG06ACA10TE_Z1E0A04PFLEF
   sudo zfs set compression=lz4 zfspool2

4. Snapshots gemaakt van "zfspool" en gesynct naar "zfspool2"
   
   code:
   

   syncoid --recursive --no-stream zfspool/dataset1 zfspool2/dataset1 && syncoid --recursive --no-stream zfspool/dataset2 zfspool2/dataset2 && syncoid --recursive --no-stream zfspool/dataset3 zfspool2/dataset3 && etc

5. Pools exporteren, zodat ze hernoemd kunnen worden:
   
   code:
   

   sudo zpool export zfspool
   sudo zpool export zfspool2

6. De nieuwe pool renamen:
   
   code:
   

   sudo zpool import zfspool2 zfspool

7. De schijf van de oude pool lostrekken en toevoegen aan de nieuwe pool:
   
   code:
   

   sudo zpool attach zfspool ata-TOSHIBA_MG06ACA10TE_Z1E0A04PFLEF ata-TOSHIBA_MG06ACA10TE_Z1F0A004FLEF

Snelheidsverschil in wegschrijven van een 40GB tar.gz over NFS van een kubernetes host naar de storage server: van 25Mbytes/sec naar 89.59Mbytes/sec, zinvolle exercitie dus .

[HaTe]

Ik heb last van erg hoge IO delay op het moment dat de server aan het indexeren is bijvoorbeeld of wat aan het kopiëren is. Dit loopt vaak snel op naar 30 of 40% en ben er wel een beetje klaar mee. Dit zorgt er soms zelfs voor dat mijn server niet bereikbaar meer is. Ik las dat de schijven die ik gebruik niet super geschikt zijn:
uitvoering: WD Red Plus, 4TB (64MB cache)

Ik las dat deze beter zijn, maar is dat ook zo? Ik zie in de specificaties niet veel verschil:
uitvoering: Seagate IronWolf, 4TB

Het gaat om een raidz1 met 4 schijven in een HP Microserver gen 8

ZFS configuratie heb ik hier gepost: HaTe in "Het grote ZFS topic"

[ Voor 18% gewijzigd door HaTe op 02-11-2022 16:44 ]

[Thralas]

HaTe schreef op woensdag 2 november 2022 @ 16:36:
Ik heb last van erg hoge IO delay op het moment dat de server aan het indexeren is bijvoorbeeld of wat aan het kopiëren is. Dit loopt vaak snel op naar 30 of 40% en ben er wel een beetje klaar mee.

30 a 40% van wat?

Wat laat zpool iostat -l 1 of iostat -x 1 zien? Zijn het reads? Writes?

Dit zorgt er soms zelfs voor dat mijn server niet bereikbaar meer is.

Je eerdere post suggereert dat je je OS ook op die array hebt staan. Dat is natuurlijk niet handig (understatement). Je OS hoort op een SSD en/of gebruik HDDs alleen voor bulk storage.

Ik las dat de schijven die ik gebruik niet super geschikt zijn:
uitvoering: WD Red Plus, 4TB (64MB cache)

Die specifieke schijf lijkt me oké, maar het exacte model is wel van belang. Iets nieuwere WDs zijn soms (al dan niet verkapte) SMR en dat is wel een recipe for disaster.

Wat is het exacte model?

Ik las dat deze beter zijn, maar is dat ook zo? Ik zie in de specificaties niet veel verschil:
uitvoering: Seagate IronWolf, 4TB

Harddisks zijn altijd traag in bepaalde workloads. Tenzij je toch SMR-schijven hebt denk ik niet dat je significante winst haalt uit andere schijven. Eerder aan een SSD op de juiste plek, meer RAM of een special vdev.

[Sando]

Kan ik ook een schijf in een 4-disk raidz1 vdev veilig(er) vervangen door er tijdelijk 5 schijven in te zetten?

Eén disk was failed wegens leesfouten, en na een clear doet hij het weer prima. Geen SMART fouten, tests foutloos doorstaan. Toch ga ik deze disk voor de zekerheid zsm vervangen.

In theorie zou ik de cleared schijf willen clonen of een al dan niet tijdelijke mirror maken, maar volgens mij kan dat niet zo:

code:

# Oude situatie

NAME         STATE   READ WRITE CKSUM
pool         ONLINE     0     0     0
  raidz1-0   ONLINE     0     0     0
    sda      ONLINE     0     0     0
    sdb      ONLINE     0     0     0
    sdc      ONLINE     0     0     0
    sdd      ONLINE     116   0     7 # vervangen

# Nieuwe situatie

NAME         STATE   READ WRITE CKSUM
pool         ONLINE     0     0     0
  raidz1-0   ONLINE     0     0     0
    sda      ONLINE     0     0     0
    sdb      ONLINE     0     0     0
    sdc      ONLINE     0     0     0
    mirror1  ONLINE     0     0     0
      sdd    ONLINE     0     0     0 # oud
      sde    ONLINE     0     0     0 # nieuw

In bovenstaand scenario zou ik de mirror kunnen laten blijven bestaan als extra veiligheid, en als de schijf opnieuw fouten maakt, dan verwijderen. Maar dat kan dus niet. Zit er echt niets anders op dan een zpool offline pool sdd gevolgd door een zpool replace pool sde?

[RobertMe]

Sando schreef op donderdag 3 november 2022 @ 05:37:
Kan ik ook een schijf in een 4-disk raidz1 vdev veilig(er) vervangen door er tijdelijk 5 schijven in te zetten?

Eén disk was failed wegens leesfouten, en na een clear doet hij het weer prima. Geen SMART fouten, tests foutloos doorstaan. Toch ga ik deze disk voor de zekerheid zsm vervangen.

In theorie zou ik de cleared schijf willen clonen of een al dan niet tijdelijke mirror maken, maar volgens mij kan dat niet zo:

code:

# Oude situatie

NAME         STATE   READ WRITE CKSUM
pool         ONLINE     0     0     0
  raidz1-0   ONLINE     0     0     0
    sda      ONLINE     0     0     0
    sdb      ONLINE     0     0     0
    sdc      ONLINE     0     0     0
    sdd      ONLINE     116   0     7 # vervangen

# Nieuwe situatie

NAME         STATE   READ WRITE CKSUM
pool         ONLINE     0     0     0
  raidz1-0   ONLINE     0     0     0
    sda      ONLINE     0     0     0
    sdb      ONLINE     0     0     0
    sdc      ONLINE     0     0     0
    mirror1  ONLINE     0     0     0
      sdd    ONLINE     0     0     0 # oud
      sde    ONLINE     0     0     0 # nieuw

In bovenstaand scenario zou ik de mirror kunnen laten blijven bestaan als extra veiligheid, en als de schijf opnieuw fouten maakt, dan verwijderen. Maar dat kan dus niet. Zit er echt niets anders op dan een zpool offline pool sdd gevolgd door een zpool replace pool sde?

Volgens mij zegt de man page van zpool replace vrij letterlijk dat het hetzelfde is als een zpool attach (om een mirror te maken van twee disks), die na een succesvolle resilver automatisch een detach doet van de oude schijf. Dus als het je niet lukt om die mirror handmatig op te zetten kun je het beste even aangeven waarom dat niet lukt, dan kunnen anderen meedenken. Want dit zou gewoon moeten werken.

Overigens moet je AFAIK bij een replace altijd twee disks opgeven (oud en nieuw). En als de oude disk werkt zou ik die lekker online houden. Dan kan de data van de oude disk worden gelezen, geverifieerd, en naar de nieuwe disk worden geschreven. Zet je de oude disk op offline dan moet de data opnieuw berekend worden op basis van de resterende schijven en dat lijkt mij een stuk trager.

[nero355]

Sando schreef op donderdag 3 november 2022 @ 05:37:
Kan ik ook een schijf in een 4-disk raidz1 vdev veilig(er) vervangen door er tijdelijk 5 schijven in te zetten?

Dit had je moeten doen :

RobertMe schreef op donderdag 3 november 2022 @ 06:32:
Overigens moet je AFAIK bij een replace altijd twee disks opgeven (oud en nieuw). En als de oude disk werkt zou ik die lekker online houden. Dan kan de data van de oude disk worden gelezen, geverifieerd, en naar de nieuwe disk worden geschreven. Zet je de oude disk op offline dan moet de data opnieuw berekend worden op basis van de resterende schijven en dat lijkt mij een stuk trager.

Is al heeeel vaak gepost in dit topic!

[Sando]

RobertMe schreef op donderdag 3 november 2022 @ 06:32:
[...]

Volgens mij zegt de man page van zpool replace vrij letterlijk dat het hetzelfde is als een zpool attach (om een mirror te maken van twee disks), die na een succesvolle resilver automatisch een detach doet van de oude schijf.

Alleen staat daar het volgende:

zpool attach [-f] pool device new_device
Attaches new_device to an existing zpool device. The existing device cannot be part of a raidz configuration.

Daar staat dus dat het niet kan. Kan het in de nieuwste versie van zfs wel? Kan je voor mij dat stukje man quoten? /cc @nero355
Belangrijke edit: Ik gebruik ZoL, niet Oracle.

als het je niet lukt om die mirror handmatig op te zetten kun je het beste even aangeven waarom dat niet lukt, dan kunnen anderen meedenken. Want dit zou gewoon moeten werken.

Er staat data op die ik liever niet uit glacier backup haal, dus ik wil nog niets gaan doen voordat ik precies weet hoe ik dit het beste aan zou moeten pakken. Volgens mijn interpretatie van de manpage zou dat dus niet werken.

En als de oude disk werkt zou ik die lekker online houden. Dan kan de data van de oude disk worden gelezen, geverifieerd, en naar de nieuwe disk worden geschreven. Zet je de oude disk op offline dan moet de data opnieuw berekend worden op basis van de resterende schijven en dat lijkt mij een stuk trager.

Ja precies! Trager en gevaarlijker. Andere schijven kunnen in de problemen komen door de rebuild. Dat is plan B, maar het klinkt zo onlogisch om geen gebruik te maken van de oude schijf als die nog werkt.

[nero355]

Sando schreef op donderdag 3 november 2022 @ 14:07:
Daar staat dus dat het niet kan. Kan het in de nieuwste versie van zfs wel? Kan je voor mij dat stukje man quoten? /cc @nero355

Ja precies! Trager en gevaarlijker. Andere schijven kunnen in de problemen komen door de rebuild. Dat is plan B, maar het klinkt zo onlogisch om geen gebruik te maken van de oude schijf als die nog werkt.

Het is dus altijd veel beter om niet de kapotte HDD offline te halen en te vervangen door een nieuwe HDD maar gewoon die kapotte te laten zitten totdat de boel weer resilvered is i.c.m. de nieuwe HDD en daarna kan je veilig de kapotte HDD offline halen!

Dat is alles...

[Sando]

nero355 schreef op donderdag 3 november 2022 @ 14:13:
[...]

Het is dus altijd veel beter om [de oude HDD] te laten zitten totdat de boel weer resilvered is i.c.m. de nieuwe HDD

Dat lijkt mij ook, maar volgens de man pages kan het niet met raidz vdevs. Weet je zeker dat je niet in de war bent met mirror vdevs? Of is de manual onhandig geschreven?

zpool replace [-f] pool old_device [new_device]
Replaces old_device with new_device. This is equivalent to attaching new_device, waiting for it to resilver, and then detaching old_device.

zpool attach [-f] pool device new_device
Attaches new_device to an existing zpool device. The existing device cannot be part of a raidz configuration.

offtopic:
PS - de nieuwe schijf is nog een paar uur bezig met badblocks voordat ik de oude schijf ga vervangen.

[ Voor 6% gewijzigd door Sando op 03-11-2022 14:49 ]