Het grote ZFS topic

[nero355]

FireDrunk schreef op vrijdag 28 juni 2019 @ 08:09:
Plex library data overzetten klinkt als veel werk, ik zou die opnieuw laten genereren

Of gewoon NIET scrapen!

F-Tim schreef op vrijdag 28 juni 2019 @ 00:05:
en dan kijken of ik de Plex library data ook van FreeBSD naar Linux kan overzetten.

A1AD schreef op vrijdag 28 juni 2019 @ 09:06:
Ik heb is van ubuntu server naar debian gemigreerd, dat was 1 scp commando en wat instellingen in Plex.
Hier zo: https://support.plex.tv/a...nstall-to-another-system/

HyperBart schreef op vrijdag 28 juni 2019 @ 11:02:
T’is wel fijn als je je viewed status enzo kan meenemen.

Kwestie van de MariaDB/MySQL database exporteren en daarna importeren als je gewoon Kodi gebruikt : Heerlijk!

[A1AD]

nero355 schreef op vrijdag 28 juni 2019 @ 17:09:
Kwestie van de MariaDB/MySQL database exporteren en daarna importeren als je gewoon Kodi gebruikt : Heerlijk!

En dan niet met andere plex servers kunnen verbinden / transcoderen naar andere apparaten / offline syncen?

Nee dank u

[nero355]

A1AD schreef op vrijdag 28 juni 2019 @ 19:19:
En dan niet met andere plex servers kunnen verbinden / transcoderen naar andere apparaten / offline syncen?

Nee dank u

Achterhaalde meuk met de hedendaagse H.264/H.265 capable apparaten

Offline Syncen moet je voor betalen! En dan nog wordt er geen 1:1 kopie gemaakt... Handig!

Doe mij maar een OpenVPN lijntje naar mijn ZFS NAS, hoewel ik nog het liefst alles gewoon thuis kijk

[FireDrunk]

Hmm, vandaag groot onderhoud aan mijn ZFS Pool aan het doen, verwijder ik een aantal oude snapshots, en ineens heb ik nog maar 4% fragmentatie over.

[Betaside]

Ik gebruik sinds kort ZFS op mijn klein home servertje dat op de laatste versie van proxmox draait. Echter loopt het de laatste tijd vaak mis met mijn storage pool. Omdat ik zelf niet zoveel ZFS ervaring heb en geen gelijkaardige problemen kon vinden op het internet zou ik graag jullie advies willen vragen.

Ik merk dat mijn storage pool vaak naar een gedegradeerde status terug valt nadat er veel schrijf activiteiten hebben plaats gevonden. De error melding die ik dan krijg ziet er zo uit...


root@NAS:~# zpool status
pool: Pool
state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
Sufficient replicas exist for the pool to continue functioning in a
degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
repaired.
scan: resilvered 26.6G in 0h10m with 0 errors on Wed Jul 3 20:11:58 2019
config:

NAME STATE READ WRITE CKSUM
Pool DEGRADED 0 0 0
raidz1-0 DEGRADED 0 0 0
Pool_drive1 FAULTED 0 4.15K 0 too many errors
Pool_drive2 ONLINE 0 0 3
Pool_drive3 ONLINE 0 0 0

errors: No known data errors


Omdat de schijven net nieuw zijn en de smart waardes niet gek zijn probeer ik dit probleem op te lossen met


ZFS clear Pool


Jammer genoeg is dit probleem de laatste maanden een paar keer opgetreden en wil graag jullie mening weten wat dit probleem zou kunnen veroorzaken.

Ik heb een AS Rock H370M-ITX/AC moederbord met een Intel G5400 processor.
Harde schijven zijn 3x Maxtor M3 4TB 2.5" en ram geheugen is 8GB DDR4 2400 CL17 Crucial (non ECC!)

Zelf heb ik al geprobeerd:

• De sata kabels te wisselen met nieuwe.
• Mijn pool vaker te scrubben.

[CurlyMo]

@Betaside Lijkt op een voedingsprobleem als het elke keer gebeurt bij schrijfacties.

[Betaside]

CurlyMo schreef op zondag 14 juli 2019 @ 22:54:
@Betaside Lijkt op een voedingsprobleem als het elke keer gebeurt bij schrijfacties.

Ik gebruik een "picopsu-90 12 V DC-DC ATX Mini-ITX" en heb het verbruik nooit boven de 50W zien komen...

[nero355]

CurlyMo schreef op zondag 14 juli 2019 @ 22:54:
@Betaside Lijkt op een voedingsprobleem als het elke keer gebeurt bij schrijfacties.

Ik zou eerder denken aan :

- De HDD zelf.
- De PCB van de HDD.
- De SATA kabel van de HDD.
- De SATA poort op het moederbord.

Kortom @Betaside : Geef ons eens een mooie smartctl output !

[jacovn]

Ik heb inmiddels afscheid genomen van ZFSguru en alles over gezet naar FreeNas.
En wat ben ik ermee opgeschoten.. SMB V3 en wel 100 MB in de piek meer transfer rate naar een NAS toe.

Maar goed, dit wordt onderhouden.

[CurlyMo]

@nero355 Bij een normale PSU zou ik dat ook zeggen, maar een PicoPSU vind ik met dit probleem wel verdacht. @Betaside kan je eens testen met een reguliere PSU?

[zzattack]

8TB WD Red voor €170 maar geen shipping naar NLD..
https://www.amazon.de/dp/...nkCode=df0&language=nl_NL

[0xDEADBEEF]

[quote]zzattack schreef op maandag 15 juli 2019 @ 09:19:
8TB WD Red voor €170 maar geen shipping naar NLD..
https://www.amazon.de/dp/...nkCode=df0&language=nl_NL
[/quote]
Foutje in de prijs zeker? https://geizhals.eu/weste...tb-wd80efax-a1816589.html

[mdbraber]

Ik heb een ZFS pool met een single zdev (1x 2.5" Seagate ST5000LM000 5TB HDD). De disk is een LUKS encrypted disk. Bij het creëren van de ZFS pool zijn er (klaarblijkelijk) twee partities ontstaan (in tegenstelling tot mijn mirror zdev pool waarbij de disks full-disk ZFS lijken?). Ik krijg het niet voor elkaar om `zpool import -a` de tank1 pool ook te laten herkennen, tenzij ik wat heen en weer klooi met dingen als `kpartx`.

Weten jullie hoe ik ZFS (ZFSonLinux 0.8 inmiddels) zover krijg de pool wel te herkennen met `zpool import tank1`? Bijgevoegd ook een screenshot van de partitie-indeling

[FireDrunk]

mdbraber schreef op maandag 15 juli 2019 @ 12:57:
Ik heb een ZFS pool met een single zdev (1x 2.5" Seagate ST5000LM000 5TB HDD). De disk is een LUKS encrypted disk. Bij het creëren van de ZFS pool zijn er (klaarblijkelijk) twee partities ontstaan (in tegenstelling tot mijn mirror zdev pool waarbij de disks full-disk ZFS lijken?). Ik krijg het niet voor elkaar om `zpool import -a` de tank1 pool ook te laten herkennen, tenzij ik wat heen en weer klooi met dingen als `kpartx`.

Weten jullie hoe ik ZFS (ZFSonLinux 0.8 inmiddels) zover krijg de pool wel te herkennen met `zpool import tank1`? Bijgevoegd ook een screenshot van de partitie-indeling

[Afbeelding]

zpool import -d /dev/disk/by-id <naam>

[Kortfragje]

Ben een klein probleempje tegengekomen tijdens een scrub:

code:

gertdus@gertdus:~$ zpool status
  pool: zfspool
 state: ONLINE
status: One or more devices has experienced an unrecoverable error.  An
    attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
    using 'zpool clear' or replace the device with 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-9P
  scan: scrub repaired 32K in 27h49m with 0 errors on Mon Jul 15 16:52:00 2019
config:

    NAME                                          STATE     READ WRITE CKSUM
    zfspool                                       ONLINE       0     0     0
      raidz2-0                                    ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741APJZ  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A9VN  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A0SN  ONLINE       0     0     1
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A3U2  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741AURX  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741ATS5  ONLINE       0     0     0

errors: No known data errors

Ik zal de pool clearen en dan nog een scrub runnen, als ik het goed begrijp is er nog niets aan de hand en zal de fout dan hopelijk weg zijn.

Maar, is er een manier om uit te vogelen welk bestand een foute checksum had?

[Freeaqingme]

Kortfragje schreef op maandag 15 juli 2019 @ 17:12:

Maar, is er een manier om uit te vogelen welk bestand een foute checksum had?

Ik denk het niet, maar wellicht dat iemand anders een manier weet. Ik weet wel dat als er irrecoverable problemen geweest waren er wel een listing geweest zou zijn van welke files stuk zijn bij een 'zpool status'. Daarnaast hoeft een stukje corrupte data natuurlijk niet in een bestand te zitten, maar kan het ook ergens in wat metadata zitten.

[HyperBart]

Kortfragje schreef op maandag 15 juli 2019 @ 17:12:
Ben een klein probleempje tegengekomen tijdens een scrub:

Ik zal de pool clearen en dan nog een scrub runnen, als ik het goed begrijp is er nog niets aan de hand en zal de fout dan hopelijk weg zijn.

Als het telkens bij 1 error blijft maak ik me daar geen zorgen om, ZFS handled it .

Heb jij spindown aanstaan toevallig? Dan krijg je dit soort dingetjes vaak, en telkens doorgaans maar 1 fout.

Maar, is er een manier om uit te vogelen welk bestand een foute checksum had?

Neen, alleen als het echt naar de verdommenis is laat ZFS het zien.

[mdbraber]

FireDrunk schreef op maandag 15 juli 2019 @ 15:40:
[...]

zpool import -d /dev/disk/by-id <naam>

Die had ik al geprobeerd, maar werkt niet:

code:

mdbraber@zark:/dev/disk/by-id$ sudo zpool import -d /dev/disk/by-id/dm-name-QT85_crypt tank1
cannot import 'tank1': no such pool available

[FireDrunk]

Zonder de disk naam, -d is de directory waarin zfs zoekt.

[mdbraber]

FireDrunk schreef op maandag 15 juli 2019 @ 20:58:
Zonder de disk naam, -d is de directory waarin zfs zoekt.

Zelfde verhaal:

code:

mdbraber@zark:/dev/disk/by-id$ sudo zpool import -d /dev/disk/by-id  -a
no pools available to import

[FireDrunk]

Ik twijfel of dat partitie type werkt. Wat is de hex code van dat type? Moet dacht ik A504 zijn voor BSD en ZFSonLinux. Jij hebt Solaris type.

[mdbraber]

FireDrunk schreef op maandag 15 juli 2019 @ 21:45:
Ik twijfel of dat partitie type werkt. Wat is de hex code van dat type? Moet dacht ik A504 zijn voor BSD en ZFSonLinux. Jij hebt Solaris type.

EDIT:

Wijzigen van het partitietype verander niets. Wat ik nu heb gedaan als workaround om het aan het werk te krijgen is:

code:

sgdisk -G /dev/disk/by-id/dm-name-QT85_crypt
kpartx -a /dev/disk/by-id/dm-name-QT85_crypt

Eerste commando is voor het randomize van de partuuid's en het tweede om de partlabels weer toe te voegen. Ik moet nu nog kijken of dit wel bij een reboot behouden blijft (de vorige keer niet, maar misschien was ik een `zpool export` vergeten te doen...)

[Betaside]

Wat ik misschien nog moet vermelden is dat de schijven encrypted zijn met LUKS. Vandaar dat er ook Pool_drive1 in mijn zpool status overzicht staat. (deel dat gemapped word in /dev/mapper/Pool_drive1)

@CurlyMo Jammer genoeg geen andere PSU ter beschikking.
@nero355 Komt eraan!

sudo smartctl -a /dev/sdd
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.15.18-9-pve] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     ST4000LM024-2AN17V
Serial Number:    ----------
LU WWN Device Id: 5 000c50 0bdef8e21
Firmware Version: 0001
User Capacity:    4,000,787,030,016 bytes [4.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5526 rpm
Form Factor:      2.5 inches
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Mon Jul 15 21:51:02 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00)	Offline data collection activity
					was never started.
					Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(    0) seconds.
Offline data collection
capabilities: 			 (0x73) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					No Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   1) minutes.
Extended self-test routine
recommended polling time: 	 ( 656) minutes.
Conveyance self-test routine
recommended polling time: 	 (   2) minutes.
SCT capabilities: 	       (0x30a5)	SCT Status supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   074   064   006    Pre-fail  Always       -       23510082
  3 Spin_Up_Time            0x0003   100   099   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   072   072   020    Old_age   Always       -       29372
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   080   060   045    Pre-fail  Always       -       94850467
  9 Power_On_Hours          0x0032   094   094   000    Old_age   Always       -       5256 (41 17 0)
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       22
183 Runtime_Bad_Block       0x0032   100   100   000    Old_age   Always       -       0
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       0
189 High_Fly_Writes         0x003a   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   067   045   040    Old_age   Always       -       33 (Min/Max 32/33)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   086   086   000    Old_age   Always       -       29878
193 Load_Cycle_Count        0x0032   041   041   000    Old_age   Always       -       118365
194 Temperature_Celsius     0x0022   033   055   000    Old_age   Always       -       33 (0 22 0 0 0)
195 Hardware_ECC_Recovered  0x001a   074   064   000    Old_age   Always       -       23510082
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
240 Head_Flying_Hours       0x0000   100   253   000    Old_age   Offline      -       1264 (121 23 0)
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       7338680027
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       32388617064
254 Free_Fall_Sensor        0x0032   100   100   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      5256         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay. 

sudo smartctl -a /dev/sdc
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.15.18-9-pve] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     ST4000LM024-2AN17V
Serial Number:    -----------
LU WWN Device Id: 5 000c50 0bdef17f5
Firmware Version: 0001
User Capacity:    4,000,787,030,016 bytes [4.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5526 rpm
Form Factor:      2.5 inches
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Mon Jul 15 21:50:59 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
See vendor-specific Attribute list for marginal Attributes.

General SMART Values:
Offline data collection status:  (0x00)	Offline data collection activity
					was never started.
					Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(    0) seconds.
Offline data collection
capabilities: 			 (0x73) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					No Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   1) minutes.
Extended self-test routine
recommended polling time: 	 ( 644) minutes.
Conveyance self-test routine
recommended polling time: 	 (   2) minutes.
SCT capabilities: 	       (0x30a5)	SCT Status supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   075   064   006    Pre-fail  Always       -       29100377
  3 Spin_Up_Time            0x0003   100   099   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   068   068   020    Old_age   Always       -       32870
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   080   060   045    Pre-fail  Always       -       106371977
  9 Power_On_Hours          0x0032   095   095   000    Old_age   Always       -       5151 (79 213 0)
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       21
183 Runtime_Bad_Block       0x0032   100   100   000    Old_age   Always       -       0
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       0
189 High_Fly_Writes         0x003a   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   066   039   040    Old_age   Always   In_the_past 34 (0 1 36 33 0)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       3
192 Power-Off_Retract_Count 0x0032   084   084   000    Old_age   Always       -       33788
193 Load_Cycle_Count        0x0032   037   037   000    Old_age   Always       -       126949
194 Temperature_Celsius     0x0022   034   061   000    Old_age   Always       -       34 (0 22 0 0 0)
195 Hardware_ECC_Recovered  0x001a   075   064   000    Old_age   Always       -       29100377
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
240 Head_Flying_Hours       0x0000   100   253   000    Old_age   Offline      -       1347 (117 155 0)
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       7351601102
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       40618637679
254 Free_Fall_Sensor        0x0032   100   100   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      5151         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

sudo smartctl -a /dev/sdb
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.15.18-9-pve] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     ST4000LM024-2AN17V
Serial Number:    ---------------
LU WWN Device Id: 5 000c50 0bde59094
Firmware Version: 0001
User Capacity:    4,000,787,030,016 bytes [4.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5526 rpm
Form Factor:      2.5 inches
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Mon Jul 15 21:50:54 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00)	Offline data collection activity
					was never started.
					Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(    0) seconds.
Offline data collection
capabilities: 			 (0x73) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					No Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   1) minutes.
Extended self-test routine
recommended polling time: 	 ( 651) minutes.
Conveyance self-test routine
recommended polling time: 	 (   2) minutes.
SCT capabilities: 	       (0x30a5)	SCT Status supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   083   064   006    Pre-fail  Always       -       180444141
  3 Spin_Up_Time            0x0003   100   099   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   073   073   020    Old_age   Always       -       28246
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   080   060   045    Pre-fail  Always       -       97425782
  9 Power_On_Hours          0x0032   095   095   000    Old_age   Always       -       5157 (112 84 0)
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       22
183 Runtime_Bad_Block       0x0032   100   100   000    Old_age   Always       -       0
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       0
189 High_Fly_Writes         0x003a   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   069   042   040    Old_age   Always       -       31 (Min/Max 31/36)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       4
192 Power-Off_Retract_Count 0x0032   086   086   000    Old_age   Always       -       28893
193 Load_Cycle_Count        0x0032   042   042   000    Old_age   Always       -       116538
194 Temperature_Celsius     0x0022   031   058   000    Old_age   Always       -       31 (0 22 0 0 0)
195 Hardware_ECC_Recovered  0x001a   083   064   000    Old_age   Always       -       180444141
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
240 Head_Flying_Hours       0x0000   100   253   000    Old_age   Offline      -       1351 (255 97 0)
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       7083262355
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       34160996327
254 Free_Fall_Sensor        0x0032   100   100   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      5157         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Mijn smart waardes zien er duidelijk niet meer zo goed uit als ik ze me herinnerde. Vandaag trouwens weer problemen gehad. server uitschakelen, sata poorten op een andere aansluiting aansluiten was de enige manier om mijn pool weer online te krijgen...

[CurlyMo]

Betaside schreef op maandag 15 juli 2019 @ 22:18:
@CurlyMo Jammer genoeg geen andere PSU ter beschikking.

Ik verdenk echt die PicoPSU. Het kan zijn dat de piekspanningen van je HDD bij schrijfacties te hoog zijn voor ofwel de Pico als geheel ofwel voor een specifieke rail (e.g. +12v, +5v).

[DirkZzZ]

zzattack schreef op maandag 15 juli 2019 @ 09:19:
8TB WD Red voor €170 maar geen shipping naar NLD..
https://www.amazon.de/dp/...nkCode=df0&language=nl_NL

Mogelijk ook interessant voor de slopers onder ons; 8TB voor 135 euro. (Wel even letten op PWDIS en TLER)
8TB WD My Book

[BonJonBovi]

Mijn ZFS pool is degraded omdat een van mijn schijven schijnbaar aan het overlijden is. ZFS geeft het volgende aan:

code:

    NAME                                          STATE     READ WRITE CKSUM
    pool                                          DEGRADED     0     0     0
      raidz2-0                                    DEGRADED     0     0     0
        ata-ST4000LM024-2AN17V_WFF0QA0A           FAULTED      0     0     2  too many errors
        ata-WDC_WD40EFRX-68N32N0_WD-WCC7K6PP58L4  ONLINE       0     0     0
        ata-ST4000LM024-2AN17V_WCK3WJXK           ONLINE       0     0     0
        ata-WDC_WD40EFRX-68N32N0_WD-WCC7K4HA3U0H  ONLINE       0     0     0

SMART tests lukken ook niet zonder error:

code:

smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.15.18-18-pve] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Seagate Barracuda 2.5 5400
Device Model:     ST4000LM024-2AN17V
Serial Number:    WFF0QA0A
LU WWN Device Id: 5 000c50 0bdf209af
Firmware Version: 0001
User Capacity:    4,000,787,030,016 bytes [4.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5526 rpm
Form Factor:      2.5 inches
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Tue Jul 16 09:46:50 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
AAM feature is:   Unavailable
APM level is:     1 (minimum power consumption with standby)
Rd look-ahead is: Enabled
Write cache is:   Disabled
ATA Security is:  Disabled, frozen [SEC2]
Wt Cache Reorder: Unavailable

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                    was never started.
                    Auto Offline Data Collection: Disabled.
Self-test execution status:      ( 121) The previous self-test completed having
                    the read element of the test failed.
Total time to complete Offline
data collection:        (    0) seconds.
Offline data collection
capabilities:            (0x73) SMART execute Offline immediate.
                    Auto Offline data collection on/off support.
                    Suspend Offline collection upon new
                    command.
                    No Offline surface scan supported.
                    Self-test supported.
                    Conveyance Self-test supported.
                    Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                    power-saving mode.
                    Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                    General Purpose Logging supported.
Short self-test routine
recommended polling time:    (   1) minutes.
Extended self-test routine
recommended polling time:    ( 720) minutes.
Conveyance self-test routine
recommended polling time:    (   2) minutes.
SCT capabilities:          (0x30a5) SCT Status supported.
                    SCT Data Table supported.

SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAGS    VALUE WORST THRESH FAIL RAW_VALUE
  1 Raw_Read_Error_Rate     POSR--   056   056   006    -    147406052
  3 Spin_Up_Time            PO----   100   099   000    -    0
  4 Start_Stop_Count        -O--CK   100   100   020    -    177
  5 Reallocated_Sector_Ct   PO--CK   100   100   010    -    8
  7 Seek_Error_Rate         POSR--   082   060   045    -    163808311
  9 Power_On_Hours          -O--CK   098   098   000    -    2447 (121 210 0)
 10 Spin_Retry_Count        PO--C-   100   100   097    -    0
 12 Power_Cycle_Count       -O--CK   100   100   020    -    72
183 SATA_Downshift_Count    -O--CK   100   100   000    -    0
184 End-to-End_Error        -O--CK   100   100   099    -    0
187 Reported_Uncorrect      -O--CK   061   061   000    -    39
188 Command_Timeout         -O--CK   100   099   000    -    17180131335
189 High_Fly_Writes         -O-RCK   100   100   000    -    0
190 Airflow_Temperature_Cel -O---K   066   056   040    -    34 (Min/Max 26/44)
191 G-Sense_Error_Rate      -O--CK   100   100   000    -    1
192 Power-Off_Retract_Count -O--CK   100   100   000    -    250
193 Load_Cycle_Count        -O--CK   099   099   000    -    3344
194 Temperature_Celsius     -O---K   034   044   000    -    34 (0 12 0 0 0)
195 Hardware_ECC_Recovered  -O-RC-   082   064   000    -    147406052
197 Current_Pending_Sector  -O--C-   100   100   000    -    136
198 Offline_Uncorrectable   ----C-   100   100   000    -    136
199 UDMA_CRC_Error_Count    -OSRCK   200   200   000    -    0
240 Head_Flying_Hours       ------   100   253   000    -    2343 (137 158 0)
241 Total_LBAs_Written      ------   100   253   000    -    20803949851
242 Total_LBAs_Read         ------   100   253   000    -    45827367781
254 Free_Fall_Sensor        -O--CK   100   100   000    -    0
                            ||||||_ K auto-keep
                            |||||__ C event count
                            ||||___ R error rate
                            |||____ S speed/performance
                            ||_____ O updated online
                            |______ P prefailure warning

General Purpose Log Directory Version 1
SMART           Log Directory Version 1 [multi-sector log support]
Address    Access  R/W   Size  Description
0x00       GPL,SL  R/O      1  Log Directory
0x01           SL  R/O      1  Summary SMART error log
0x02           SL  R/O      5  Comprehensive SMART error log
0x03       GPL     R/O      5  Ext. Comprehensive SMART error log
0x04       GPL,SL  R/O      8  Device Statistics log
0x06           SL  R/O      1  SMART self-test log
0x07       GPL     R/O      1  Extended self-test log
0x09           SL  R/W      1  Selective self-test log
0x0c       GPL     R/O   2048  Pending Defects log
0x10       GPL     R/O      1  SATA NCQ Queued Error log
0x11       GPL     R/O      1  SATA Phy Event Counters log
0x21       GPL     R/O      1  Write stream error log
0x22       GPL     R/O      1  Read stream error log
0x24       GPL     R/O    512  Current Device Internal Status Data log
0x30       GPL,SL  R/O      9  IDENTIFY DEVICE data log
0x80-0x9f  GPL,SL  R/W     16  Host vendor specific log
0xa1       GPL,SL  VS      24  Device vendor specific log
0xa2       GPL     VS    8160  Device vendor specific log
0xa8-0xa9  GPL,SL  VS     136  Device vendor specific log
0xab       GPL     VS       1  Device vendor specific log
0xb0       GPL     VS    9048  Device vendor specific log
0xbe-0xbf  GPL     VS   65535  Device vendor specific log
0xc0       GPL,SL  VS       1  Device vendor specific log
0xc1       GPL,SL  VS      16  Device vendor specific log
0xc3       GPL,SL  VS       8  Device vendor specific log
0xc4       GPL,SL  VS      24  Device vendor specific log
0xd1       GPL     VS     168  Device vendor specific log
0xd3       GPL     VS    1920  Device vendor specific log
0xe0       GPL,SL  R/W      1  SCT Command/Status
0xe1       GPL,SL  R/W      1  SCT Data Transfer

SMART Extended Comprehensive Error Log Version: 1 (5 sectors)
Device Error Count: 39 (device log contains only the most recent 20 errors)
    CR     = Command Register
    FEATR  = Features Register
    COUNT  = Count (was: Sector Count) Register
    LBA_48 = Upper bytes of LBA High/Mid/Low Registers ]  ATA-8
    LH     = LBA High (was: Cylinder High) Register    ]   LBA
    LM     = LBA Mid (was: Cylinder Low) Register      ] Register
    LL     = LBA Low (was: Sector Number) Register     ]
    DV     = Device (was: Device/Head) Register
    DC     = Device Control Register
    ER     = Error register
    ST     = Status register
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 39 [18] log entry is empty
Error 38 [17] log entry is empty
Error 37 [16] log entry is empty
Error 36 [15] log entry is empty
Error 35 [14] log entry is empty
Error 34 [13] log entry is empty
Error 33 [12] log entry is empty
Error 32 [11] log entry is empty
SMART Extended Self-test Log Version: 1 (1 sectors)
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed: read failure       90%      2446         836401616
# 2  Short offline       Completed: read failure       90%      2446         836401616
# 3  Short offline       Completed without error       00%      1554         -
# 4  Short offline       Completed without error       00%      1545         -
# 5  Short offline       Interrupted (host reset)      90%      1539         -
# 6  Short offline       Completed without error       00%      1517         -
# 7  Short offline       Completed without error       00%      1493         -
# 8  Short offline       Completed without error       00%      1469         -
# 9  Short offline       Completed without error       00%      1445         -
#10  Extended offline    Completed without error       00%      1437         -
#11  Short offline       Completed without error       00%      1397         -
#12  Short offline       Completed without error       00%      1373         -
#13  Short offline       Completed without error       00%      1349         -
#14  Short offline       Completed without error       00%      1325         -
#15  Short offline       Completed without error       00%      1301         -
#16  Short offline       Completed without error       00%      1277         -
#17  Short offline       Completed without error       00%      1253         -
#18  Short offline       Completed without error       00%      1229         -
#19  Short offline       Completed without error       00%      1205         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

SCT Status Version:                  3
SCT Version (vendor specific):       522 (0x020a)
SCT Support Level:                   1
Device State:                        Active (0)
Current Temperature:                    34 Celsius
Power Cycle Min/Max Temperature:     26/44 Celsius
Lifetime    Min/Max Temperature:     12/51 Celsius
Under/Over Temperature Limit Count:   0/0

SCT Temperature History Version:     2
Temperature Sampling Period:         3 minutes
Temperature Logging Interval:        59 minutes
Min/Max recommended Temperature:     14/55 Celsius
Min/Max Temperature Limit:           10/60 Celsius
Temperature History Size (Index):    128 (38)

Index    Estimated Time   Temperature Celsius
  39    2019-07-11 04:08    38  *******************
  40    2019-07-11 05:07    38  *******************
  41    2019-07-11 06:06    38  *******************
  42    2019-07-11 07:05    37  ******************
  43    2019-07-11 08:04    37  ******************
  44    2019-07-11 09:03    37  ******************
  45    2019-07-11 10:02    38  *******************
  46    2019-07-11 11:01    40  *********************
  47    2019-07-11 12:00    38  *******************
  48    2019-07-11 12:59    37  ******************
  49    2019-07-11 13:58    38  *******************
  50    2019-07-11 14:57    38  *******************
  51    2019-07-11 15:56    38  *******************
  52    2019-07-11 16:55    37  ******************
  53    2019-07-11 17:54    37  ******************
  54    2019-07-11 18:53    37  ******************
  55    2019-07-11 19:52    38  *******************
 ...    ..( 16 skipped).    ..  *******************
  72    2019-07-12 12:35    38  *******************
  73    2019-07-12 13:34    39  ********************
  74    2019-07-12 14:33    38  *******************
 ...    ..(  7 skipped).    ..  *******************
  82    2019-07-12 22:25    38  *******************
  83    2019-07-12 23:24    39  ********************
  84    2019-07-13 00:23    38  *******************
 ...    ..(  2 skipped).    ..  *******************
  87    2019-07-13 03:20    38  *******************
  88    2019-07-13 04:19    39  ********************
  89    2019-07-13 05:18    39  ********************
  90    2019-07-13 06:17    39  ********************
  91    2019-07-13 07:16    38  *******************
  92    2019-07-13 08:15    38  *******************
  93    2019-07-13 09:14    38  *******************
  94    2019-07-13 10:13    36  *****************
  95    2019-07-13 11:12    37  ******************
  96    2019-07-13 12:11    39  ********************
  97    2019-07-13 13:10    38  *******************
  98    2019-07-13 14:09    37  ******************
  99    2019-07-13 15:08    37  ******************
 100    2019-07-13 16:07    38  *******************
 101    2019-07-13 17:06    37  ******************
 102    2019-07-13 18:05    38  *******************
 103    2019-07-13 19:04    38  *******************
 104    2019-07-13 20:03    39  ********************
 105    2019-07-13 21:02    38  *******************
 106    2019-07-13 22:01    38  *******************
 107    2019-07-13 23:00    38  *******************
 108    2019-07-13 23:59    39  ********************
 109    2019-07-14 00:58    38  *******************
 110    2019-07-14 01:57    42  ***********************
 111    2019-07-14 02:56    42  ***********************
 112    2019-07-14 03:55    42  ***********************
 113    2019-07-14 04:54    43  ************************
 114    2019-07-14 05:53    42  ***********************
 ...    ..(  3 skipped).    ..  ***********************
 118    2019-07-14 09:49    42  ***********************
 119    2019-07-14 10:48    41  **********************
 120    2019-07-14 11:47    42  ***********************
 121    2019-07-14 12:46    41  **********************
 122    2019-07-14 13:45    41  **********************
 123    2019-07-14 14:44    41  **********************
 124    2019-07-14 15:43    35  ****************
 125    2019-07-14 16:42    35  ****************
 126    2019-07-14 17:41    34  ***************
 127    2019-07-14 18:40    36  *****************
   0    2019-07-14 19:39    34  ***************
 ...    ..(  2 skipped).    ..  ***************
   3    2019-07-14 22:36    34  ***************
   4    2019-07-14 23:35    33  **************
 ...    ..( 20 skipped).    ..  **************
  25    2019-07-15 20:14    33  **************
  26    2019-07-15 21:13    34  ***************
  27    2019-07-15 22:12    33  **************
  28    2019-07-15 23:11    34  ***************
 ...    ..(  9 skipped).    ..  ***************
  38    2019-07-16 09:01    34  ***************

SCT Error Recovery Control command not supported

Device Statistics (GP Log 0x04)
Page  Offset Size        Value Flags Description
0x01  =====  =               =  ===  == General Statistics (rev 1) ==
0x01  0x008  4              72  ---  Lifetime Power-On Resets
0x01  0x010  4            2447  ---  Power-on Hours
0x01  0x018  6     20950397209  ---  Logical Sectors Written
0x01  0x020  6        84695287  ---  Number of Write Commands
0x01  0x028  6     45827436200  ---  Logical Sectors Read
0x01  0x030  6       256981997  ---  Number of Read Commands
0x01  0x038  6               -  ---  Date and Time TimeStamp
0x03  =====  =               =  ===  == Rotating Media Statistics (rev 1) ==
0x03  0x008  4            2390  ---  Spindle Motor Power-on Hours
0x03  0x010  4             620  ---  Head Flying Hours
0x03  0x018  4            3344  ---  Head Load Events
0x03  0x020  4               8  ---  Number of Reallocated Logical Sectors
0x03  0x028  4             387  ---  Read Recovery Attempts
0x03  0x030  4               0  ---  Number of Mechanical Start Failures
0x03  0x038  4             136  ---  Number of Realloc. Candidate Logical Sectors
0x03  0x040  4             251  ---  Number of High Priority Unload Events
0x04  =====  =               =  ===  == General Errors Statistics (rev 1) ==
0x04  0x008  4             384  ---  Number of Reported Uncorrectable Errors
0x04  0x010  4               7  ---  Resets Between Cmd Acceptance and Completion
0x05  =====  =               =  ===  == Temperature Statistics (rev 1) ==
0x05  0x008  1              34  ---  Current Temperature
0x05  0x010  1              33  ---  Average Short Term Temperature
0x05  0x018  1              38  ---  Average Long Term Temperature
0x05  0x020  1              44  ---  Highest Temperature
0x05  0x028  1              20  ---  Lowest Temperature
0x05  0x030  1              42  ---  Highest Average Short Term Temperature
0x05  0x038  1              31  ---  Lowest Average Short Term Temperature
0x05  0x040  1              38  ---  Highest Average Long Term Temperature
0x05  0x048  1              33  ---  Lowest Average Long Term Temperature
0x05  0x050  4               0  ---  Time in Over-Temperature
0x05  0x058  1              55  ---  Specified Maximum Operating Temperature
0x05  0x060  4               0  ---  Time in Under-Temperature
0x05  0x068  1              13  ---  Specified Minimum Operating Temperature
0x06  =====  =               =  ===  == Transport Statistics (rev 1) ==
0x06  0x008  4             123  ---  Number of Hardware Resets
0x06  0x010  4              24  ---  Number of ASR Events
0x06  0x018  4               0  ---  Number of Interface CRC Errors
                                |||_ C monitored condition met
                                ||__ D supports DSN
                                |___ N normalized value

SATA Phy Event Counters (GP Log 0x11)
ID      Size     Value  Description
0x000a  2           26  Device-to-host register FISes sent due to a COMRESET
0x0001  2            0  Command failed due to ICRC error
0x0003  2            0  R_ERR response for device-to-host data FIS
0x0004  2            0  R_ERR response for host-to-device data FIS
0x0006  2            0  R_ERR response for device-to-host non-data FIS
0x0007  2            0  R_ERR response for host-to-device non-data FIS

Het betreft een Seagate Barracude 4TB 2.5 inch van slechts een half jaar oud. Kunnen jullie voor mij verifiëren dat ik inderdaad het beste deze schijf kan vervangen, of is het waarschijnlijk dat iets anders deze fouten veroorzaakt?

[FireDrunk]

Kabel al vervangen?

[mdbraber]

BonJonBovi schreef op dinsdag 16 juli 2019 @ 09:47:
Mijn ZFS pool is degraded omdat een van mijn schijven schijnbaar aan het overlijden is. ZFS geeft het volgende aan:

code:

    NAME                                          STATE     READ WRITE CKSUM
    pool                                          DEGRADED     0     0     0
      raidz2-0                                    DEGRADED     0     0     0
        ata-ST4000LM024-2AN17V_WFF0QA0A           FAULTED      0     0     2  too many errors
        ata-WDC_WD40EFRX-68N32N0_WD-WCC7K6PP58L4  ONLINE       0     0     0
        ata-ST4000LM024-2AN17V_WCK3WJXK           ONLINE       0     0     0
        ata-WDC_WD40EFRX-68N32N0_WD-WCC7K4HA3U0H  ONLINE       0     0     0

SMART tests lukken ook niet zonder error:

[...]

Het betreft een Seagate Barracude 4TB 2.5 inch van slechts een half jaar oud. Kunnen jullie voor mij verifiëren dat ik inderdaad het beste deze schijf kan vervangen, of is het waarschijnlijk dat iets anders deze fouten veroorzaakt?

Ik heb iets soortgelijks een paar maanden geleden ooit gehad. Uiteindelijk heb ik de schijf vervangen, maar de 'kapotte' schijf werkt nu uiteindelijk toch weer gewoon. Dus het hoeft zeker niet EOL te zijn voor je schijf. Je kan 'm eruithalen en 'vervangen' door dezelfde schijf (resilvering). Je kan ook voorlopig de errors negeren (clearen). Maar ik zou eerst doen wat @FireDrunk ook zegt, even de kabel checken/vervangen eerst.

[Brahiewahiewa]

BonJonBovi schreef op dinsdag 16 juli 2019 @ 09:47:
Mijn ZFS pool is degraded omdat een van mijn schijven schijnbaar aan het overlijden is. ZFS geeft het volgende aan:

code:

    NAME                                          STATE     READ WRITE CKSUM
    pool                                          DEGRADED     0     0     0
      raidz2-0                                    DEGRADED     0     0     0
        ata-ST4000LM024-2AN17V_WFF0QA0A           FAULTED      0     0     2  too many errors
        ata-WDC_WD40EFRX-68N32N0_WD-WCC7K6PP58L4  ONLINE       0     0     0
        ata-ST4000LM024-2AN17V_WCK3WJXK           ONLINE       0     0     0
        ata-WDC_WD40EFRX-68N32N0_WD-WCC7K4HA3U0H  ONLINE       0     0     0

...
Het betreft een Seagate Barracude 4TB 2.5 inch van slechts een half jaar oud. Kunnen jullie voor mij verifiëren dat ik inderdaad het beste deze schijf kan vervangen, of is het waarschijnlijk dat iets anders deze fouten veroorzaakt?

Vergelijk de smart waardes eens met die van de andere seagate. Als die duidelijk verschillen heb je waarschijnlijk een maandagochtend exemplaar. Ik zou dan garantie claimen. D'r zit meen ik 24 maanden garantie op, dan moet-ie niet na een half jaar al de geest gaan geven

[BonJonBovi]

FireDrunk schreef op dinsdag 16 juli 2019 @ 10:31:
Kabel al vervangen?

Nee, nog niet. Ga ik doen. Welke moet ik vervangen? Voedingskabel en/of SATA?

Brahiewahiewa schreef op dinsdag 16 juli 2019 @ 10:49:
[...]

Vergelijk de smart waardes eens met die van de andere seagate. Als die duidelijk verschillen heb je waarschijnlijk een maandagochtend exemplaar. Ik zou dan garantie claimen. D'r zit meen ik 24 maanden garantie op, dan moet-ie niet na een half jaar al de geest gaan geven

Ja die verschilt wel met die andere Seagate (tevens van dezelfde leeftijd)

[mdbraber]

ZFS 0.8 ondersteunt native encryption wat LUKS praktisch overbodig maakt (en meer mogelijkheden geeft). Al mijn HDDs zijn op dit moment LUKS encrypted. Hebben jullie al gekeken / werk gemaakt van een upgrade path om native encryption ipv LUKS te gebruiken? Ik zie dat er ook mensen die zeggen dat beide voordelen heeft (https://www.reddit.com/r/...s_encryption_vs_luks_zfs/). Ben wel benieuwd naar de meningen / inzichten hier.

[nero355]

Betaside schreef op maandag 15 juli 2019 @ 22:18:
Mijn smart waardes zien er duidelijk niet meer zo goed uit als ik ze me herinnerde.

Valt allemaal wel mee wat mij betreft

Vandaag trouwens weer problemen gehad. server uitschakelen, sata poorten op een andere aansluiting aansluiten was de enige manier om mijn pool weer online te krijgen...

Ik denk dan ook dat je het vooral daarin moet zoeken, want de HDD's zelf zouden gewoon goed moeten zijn!

Het gebeurt wel vaker dat sommige onderdelen van een moederbord na een tijdje beginnen te overlijden...

CurlyMo schreef op maandag 15 juli 2019 @ 22:22:
Ik verdenk echt die PicoPSU. Het kan zijn dat de piekspanningen van je HDD bij schrijfacties te hoog zijn voor ofwel de Pico als geheel ofwel voor een specifieke rail (e.g. +12v, +5v).

Als het geheel prima werkt op de andere SATA poorten dan is de voeding gewoon goed lijkt mij

Maar het is inderdaad misschien geen gek idee om een tijdje met een normale voeding te draaien

BonJonBovi schreef op dinsdag 16 juli 2019 @ 09:47:
Mijn ZFS pool is degraded omdat een van mijn schijven schijnbaar aan het overlijden is.

code:

5 Reallocated_Sector_Ct   PO--CK   100   100   010    -    8
197 Current_Pending_Sector  -O--C-   100   100   000    -    136

Het betreft een Seagate Barracude 4TB 2.5 inch van slechts een half jaar oud. Kunnen jullie voor mij verifiëren dat ik inderdaad het beste deze schijf kan vervangen, of is het waarschijnlijk dat iets anders deze fouten veroorzaakt?

Die HDD is overduidelijk aan het overlijden dus gauw vervangen en het komt vanzelf wel goed!

[A1AD]

mdbraber schreef op dinsdag 16 juli 2019 @ 14:46:
ZFS 0.8 ondersteunt native encryption wat LUKS praktisch overbodig maakt (en meer mogelijkheden geeft). Al mijn HDDs zijn op dit moment LUKS encrypted. Hebben jullie al gekeken / werk gemaakt van een upgrade path om native encryption ipv LUKS te gebruiken? Ik zie dat er ook mensen die zeggen dat beide voordelen heeft (https://www.reddit.com/r/...s_encryption_vs_luks_zfs/). Ben wel benieuwd naar de meningen / inzichten hier.

Same here. Ik heb eens een poging gedaan om schijf per schijf de LUKS encryptie er af te halen (en telkens te resilveren) maar dat liep niet goed af?

[mdbraber]

A1AD schreef op woensdag 17 juli 2019 @ 10:17:
[...]
Same here. Ik heb eens een poging gedaan om schijf per schijf de LUKS encryptie er af te halen (en telkens te resilveren) maar dat liep niet goed af?

Hmm, misschien is het wel goed om ook te bedenken hoeveel overhead het precies is om LUKS + native ZFS encryption te gebruiken. Als het niet 'simpel' is om een pool te 'de-LUKS-en' dan vraag ik me serieus af of ik daaraan wil beginnen... (het moet ook leuk blijven )

Wat ik overigens heel interessant vind aan ZFS native encryption is dat je encrypted data sets incrementeel kan backuppen naar een off-site locatie waar ze encrypted at rest kunnen worden opgeslagen. Of dat je kortdurend een ZFS dataset decrypt, updates uitvoert (bijv data toevoegt) en dan weer encrypt. Het grootste 'probleem' om dat soort zaken te doen is dat je uiteindelijk toch altijd ergens de keys moet opslaan dus er altijd een attack vector is. Ik heb hier een uitgebreide uitleg gevonden hoe je een key via SSH direct naar een proces stuurt (ipv in een disk of RAMdisk op te slaan): https://github.com/hughobrien/zfs-remote-mirror

[mdbraber]

Voor iedereen die ZFS 0.8 gebruikt: er is een kernel regressie tussen de 4.15 en de 5.0 kernels mbt to "FPU/SIMD symbol exports" waardoor je significant lagere schrijfsnelheden krijgt met ZFS in sommige gevallen. Het lijkt er op dat het gefixed is in ZFS 0.8.2.

Fix Brian Behlendorf / ZFS:
https://www.reddit.com/r/...=share&utm_medium=ios_app

/EDIT: heerlijk die discussies van de Linux kernel developers, zoals hier: https://www.phoronix.com/...=ZFS-On-Linux-5.0-Problem

Linus Torvalds' second in command, Greg KH, had to say the following about his views about ZFS On Linux with the current issue at hand: "My tolerance for ZFS is pretty non-existant. Sun explicitly did not want their code to work on Linux, so why would we do extra work to get their code to work properly?"

[ Voor 36% gewijzigd door mdbraber op 19-07-2019 11:29 ]

[Reveal!]

Ik wil een virtualisatie server draaien met 3x wd red pro 10tb en een Intel 900p opstane.
Welke ZFS lay-out raden jullie aan?

Er zijn 2 VM's met databases. (1x Oracle en 1x MSSQL)

[HyperBart]

Reveal! schreef op zaterdag 20 juli 2019 @ 08:08:
Ik wil een virtualisatie server draaien met 3x wd red pro 10tb en een Intel 900p opstane.
Welke ZFS lay-out raden jullie aan?

Er zijn 2 VM's met databases. (1x Oracle en 1x MSSQL)

Hoeveel space heb je netto nodig?

[nero355]

Reveal! schreef op zaterdag 20 juli 2019 @ 08:08:
Ik wil een virtualisatie server draaien met 3x wd red pro 10tb en een Intel 900p opstane.

Hoe groot is die Opgestane SSD ? +

Is het voor werk of voor thuis bedoeld ?!

[Freeaqingme]

Reveal! schreef op zaterdag 20 juli 2019 @ 08:08:
Ik wil een virtualisatie server draaien met 3x wd red pro 10tb en een Intel 900p opstane.
Welke ZFS lay-out raden jullie aan?

Er zijn 2 VM's met databases. (1x Oracle en 1x MSSQL)

Ik vind de volgorde wel interessant. Meeste mensen gaan kijken wat vanuit hun requirements een logische set up, en zoeken daar dan de hw bij.

Op basis van wat je tot nu toe gemeld hebt zou ik zeggen:
- 2x HDD in mirror
- 1x HDD spare
- 1 partitie (max 10G) op optane als ZIL
- 1 partitie (de rest) op optane als SLOG

Edit: Om het wel gezegd te hebben: als je een ZIL gaat inzetten moet die eigenlijk redundant zijn. Met een enkele ZIL heb je kans op dataloss als 'ie stuk gaat (dan mis je de laatste X van je ZFS transacties).

[ Voor 14% gewijzigd door Freeaqingme op 20-07-2019 18:14 ]

[Reveal!]

Ruimte heb ik hierbij meer dan genoeg.
Het is voor werk.
Ik zat an 3x mirror te denken

[Q]

Reveal! schreef op zaterdag 20 juli 2019 @ 19:43:
Ruimte heb ik hierbij meer dan genoeg.
Het is voor werk.
Ik zat an 3x mirror te denken

Als het voor werk is dan weet ik niet of ik zelf zou gaan 'knutselen' met ZFS... Hangt heel erg van de context af, zeker als er ook andere mensen van afhankelijk zijn.

[Paul]

Reveal! schreef op zaterdag 20 juli 2019 @ 19:43:
Ruimte heb ik hierbij meer dan genoeg.
Het is voor werk.
Ik zat an 3x mirror te denken

één Optane? Geen redundancy? Helaas, weggegooid geld... En dan SATA harddisks? Performance boeit dus ook niet? Raar, Oracle is zeker niet goedkoop, en dan ga je het hier op draaien...

Koop nog twee van die servers en VMware vSAN, of neem een van de andere enterprise oplossingen, want het klinkt nu inderdaad alsof je aan het knutselen bent. Als je je daar bewust van bent dan is dat prima, maar snap wat het inhoudt. En als je deze vragen hier stelt dan is het voor ons heel makkelijk te denken dat je niet goed weet wat de gevolgen zijn.

Freeaqingme schreef op zaterdag 20 juli 2019 @ 18:00:
- 1 partitie (max 10G) op optane als ZIL
- 1 partitie (de rest) op optane als SLOG

Een ZIL om de sync writes naar een SLOG te loggen werkt niet; een SLOG is zelf een ZIL maar dan op een ander device Bedoel je misschien L2ARC ipv SLOG?

[Freeaqingme]

Paul schreef op zondag 21 juli 2019 @ 12:32:

[...]
Een ZIL om de sync writes naar een SLOG te loggen werkt niet; een SLOG is zelf een ZIL maar dan op een ander device Bedoel je misschien L2ARC ipv SLOG?

Uhm, ja. Je hebt helemaal gelijk

[nero355]

Q schreef op zondag 21 juli 2019 @ 08:36:
Als het voor werk is dan weet ik niet of ik zelf zou gaan 'knutselen' met ZFS... Hangt heel erg van de context af, zeker als er ook andere mensen van afhankelijk zijn.

FreeNAS is toch in feite een Enterprise produkt

En ik heb al een jaar of 3 geleden al heel wat professioneel ingezette ZFS systemen gezien op basis van ZoL die het prima deden, zolang de hardware in orde was!

[Brahiewahiewa]

nero355 schreef op zondag 21 juli 2019 @ 14:55:
...
En ik heb al een jaar of 3 geleden al heel wat professioneel ingezette ZFS systemen gezien op basis van ZoL die het prima deden, zolang de hardware in orde was!

Tuluk, maar die waren ook samengesteld en geïnstalleerd door professionals en niet door iemand die op t.net komt vragen hoe dat moet

[Betaside]

CurlyMo schreef op maandag 15 juli 2019 @ 22:22:
[...]

Ik verdenk echt die PicoPSU. Het kan zijn dat de piekspanningen van je HDD bij schrijfacties te hoog zijn voor ofwel de Pico als geheel ofwel voor een specifieke rail (e.g. +12v, +5v).

Hi CurlyMo, ik denk het niet mijn HDD's zijn namelijk "always on". Anyways ik wil het wel proberen met een andere voeding, heb er net een bij amazon besteld. more info soon!

[CurlyMo]

Betaside schreef op zondag 21 juli 2019 @ 21:27:
[...]


Hi CurlyMo, ik denk het niet mijn HDD's zijn namelijk "always on". Anyways ik wil het wel proberen met een andere voeding, heb er net een bij amazon besteld. more info soon!

In een PicoPSU wordt de 12v rail direct doorgegeven vanuit je adapter. Het kan dus goed dat daar ook iets niet goed gaat.

[Kortfragje]

(Zet hem toch hier ivm de zfs specifieke context, als ie beter thuis is in SMART gaarne verplaatsen maar dat is niet mijn vraag).

Ik heb het idee dat een van mijn disks aan het sterven is want de scrubs lopen erg traag...

code:

  pool: zfspool1
 state: ONLINE
  scan: scrub in progress since Mon Jul 22 08:20:11 2019
        1.24T scanned out of 8.89T at 42.0M/s, 53h5m to go
        0B repaired, 13.94% done
config:

        NAME        STATE     READ WRITE CKSUM
        zfspool1    ONLINE       0     0     0
          raidz2-0  ONLINE       0     0     0
            2tb1    ONLINE       0     0     0
            2tb2    ONLINE       0     0     0
            2tb3    ONLINE       0     0     0
            2tb4    ONLINE       0     0     0
            2tb5    ONLINE       0     0     0
            2tb6    ONLINE       0     0     0

errors: No known data errors

versus eerder dit jaar

code:

  pool: zfspool1
 state: ONLINE
  scan: scrub in progress since Mon Apr  2 12:18:56 2018
        2.61T scanned out of 4.68T at 212M/s, 2h50m to go
        0B repaired, 55.75% done
config:

        NAME        STATE     READ WRITE CKSUM
        zfspool1    ONLINE       0     0     0
          raidz2-0  ONLINE       0     0     0
            2tb1    ONLINE       0     0     0
            2tb2    ONLINE       0     0     0
            2tb3    ONLINE       0     0     0
            2tb4    ONLINE       0     0     0
            2tb5    ONLINE       0     0     0
            2tb6    ONLINE       0     0     0

errors: No known data errors

volgens SAS lijkt het door /dev/sdb te komen (gemiddelde van 11 metingen tijdens lopende scrub)

code:

Average:          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
Average:          sdb     66.42  12079.34     77.16    183.01      1.48     23.55     14.24     94.57
Average:          sdc    129.39  12080.07     77.16     93.96      0.13      1.00      0.64      8.29
Average:          sdd    119.11  12085.90     77.16    102.12      0.22      1.86      1.24     14.75
Average:          sda    126.21  12077.16     77.16     96.31      0.15      1.20      0.75      9.53
Average:          sde    116.38  12083.71     77.16    104.49      0.18      1.54      0.97     11.29
Average:          sdf    106.19  12088.81     77.16    114.57      0.21      1.99      1.20     12.78
Average:          sdo      1.73      0.00     31.30     18.11      0.02     12.37      8.11      1.40
Average:          sdg      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:          sdj      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:          sdl      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:          sdm      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:          sdn      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:          sdk      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:          sdi      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:          sdh      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

Echter de smart ziet er nog goed uit (afgezien van een groot aantal load cycles):

code:

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAGS    VALUE WORST THRESH FAIL RAW_VALUE
  1 Raw_Read_Error_Rate     POSR-K   195   195   051    -    7932
  3 Spin_Up_Time            POS--K   169   166   021    -    6525
  4 Start_Stop_Count        -O--CK   100   100   000    -    899
  5 Reallocated_Sector_Ct   PO--CK   200   200   140    -    0
  7 Seek_Error_Rate         -OSR-K   200   200   000    -    0
  9 Power_On_Hours          -O--CK   073   073   000    -    20185
 10 Spin_Retry_Count        -O--CK   100   100   000    -    0
 11 Calibration_Retry_Count -O--CK   100   100   000    -    0
 12 Power_Cycle_Count       -O--CK   100   100   000    -    641
192 Power-Off_Retract_Count -O--CK   198   198   000    -    1955
193 Load_Cycle_Count        -O--CK   096   096   000    -    313960
194 Temperature_Celsius     -O---K   118   111   000    -    32
196 Reallocated_Event_Count -O--CK   200   200   000    -    0
197 Current_Pending_Sector  -O--CK   200   200   000    -    0
198 Offline_Uncorrectable   ----CK   200   200   000    -    0
199 UDMA_CRC_Error_Count    -O--CK   200   200   000    -    0
200 Multi_Zone_Error_Rate   ---R--   199   199   000    -    269
                            ||||||_ K auto-keep
                            |||||__ C event count
                            ||||___ R error rate
                            |||____ S speed/performance
                            ||_____ O updated online
                            |______ P prefailure warning

SMART Extended Comprehensive Error Log Version: 1 (6 sectors)
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%     20090         -
# 2  Short offline       Completed without error       00%     19816         -
# 3  Short offline       Completed without error       00%     19813         -
# 4  Short offline       Completed without error       00%     19792         -
# 5  Short offline       Completed without error       00%     19261         -
# 6  Short offline       Completed without error       00%     19167         -
# 7  Short offline       Completed without error       00%     19087         -
# 8  Short offline       Completed without error       00%     19015         -
# 9  Short offline       Completed without error       00%     18938         -
#10  Short offline       Completed without error       00%     18665         -
#11  Extended offline    Completed without error       00%     18227         -
#12  Short offline       Completed without error       00%     18138         -
#13  Short offline       Completed without error       00%     18095         -
#14  Short offline       Completed without error       00%     17945         -
#15  Short offline       Completed without error       00%     17879         -

Mijn vraag, zou hier een andere oorzaak logisch voor kunnen zijn (kabel)? En ten tweede is het handig de disk te vervangen voor de scrub afloopt of beter NA?

[ Voor 7% gewijzigd door Kortfragje op 22-07-2019 16:51 ]

[nero355]

Kortfragje schreef op maandag 22 juli 2019 @ 16:49:
(Zet hem toch hier ivm de zfs specifieke context, als ie beter thuis is in SMART gaarne verplaatsen maar dat is niet mijn vraag).

Ik heb het idee dat een van mijn disks aan het sterven is want de scrubs lopen erg traag...

Hoeveel vrije ruimte heb je nog ?!

Echter de smart ziet er nog goed uit (afgezien van een groot aantal load cycles):

code:

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAGS    VALUE WORST THRESH FAIL RAW_VALUE
  1 Raw_Read_Error_Rate     POSR-K   195   195   051    -    7932
  3 Spin_Up_Time            POS--K   169   166   021    -    6525
  4 Start_Stop_Count        -O--CK   100   100   000    -    899
  5 Reallocated_Sector_Ct   PO--CK   200   200   140    -    0
  7 Seek_Error_Rate         -OSR-K   200   200   000    -    0
  9 Power_On_Hours          -O--CK   073   073   000    -    20185
 10 Spin_Retry_Count        -O--CK   100   100   000    -    0
 11 Calibration_Retry_Count -O--CK   100   100   000    -    0
 12 Power_Cycle_Count       -O--CK   100   100   000    -    641
192 Power-Off_Retract_Count -O--CK   198   198   000    -    1955
193 Load_Cycle_Count        -O--CK   096   096   000    -    313960
194 Temperature_Celsius     -O---K   118   111   000    -    32
196 Reallocated_Event_Count -O--CK   200   200   000    -    0
197 Current_Pending_Sector  -O--CK   200   200   000    -    0
198 Offline_Uncorrectable   ----CK   200   200   000    -    0
199 UDMA_CRC_Error_Count    -O--CK   200   200   000    -    0
200 Multi_Zone_Error_Rate   ---R--   199   199   000    -    269
                            ||||||_ K auto-keep
                            |||||__ C event count
                            ||||___ R error rate
                            |||____ S speed/performance
                            ||_____ O updated online
                            |______ P prefailure warning

SMART Extended Comprehensive Error Log Version: 1 (6 sectors)
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%     20090         -
# 2  Short offline       Completed without error       00%     19816         -
# 3  Short offline       Completed without error       00%     19813         -
# 4  Short offline       Completed without error       00%     19792         -
# 5  Short offline       Completed without error       00%     19261         -
# 6  Short offline       Completed without error       00%     19167         -
# 7  Short offline       Completed without error       00%     19087         -
# 8  Short offline       Completed without error       00%     19015         -
# 9  Short offline       Completed without error       00%     18938         -
#10  Short offline       Completed without error       00%     18665         -
#11  Extended offline    Completed without error       00%     18227         -
#12  Short offline       Completed without error       00%     18138         -
#13  Short offline       Completed without error       00%     18095         -
#14  Short offline       Completed without error       00%     17945         -
#15  Short offline       Completed without error       00%     17879         -

Welk merk HDD is het

Mijn vraag, zou hier een andere oorzaak logisch voor kunnen zijn (kabel)?

Dat kan altijd, maar dit lijkt op een HDD probleem als het geen Seagate is...

En ten tweede is het handig de disk te vervangen voor de scrub afloopt of beter NA?

Ik zou het sowieso in een rust stand doen zeg maar

[Freeaqingme]

Staat er ook in je log files niets over sdb? Ik weet niet of dat ding makkelijk fysiek te bereiken is (of remote hands), maar ik zou gewoon sdb even lostrekken. Je kan 'm altijd later weer toevoegen eventueel, maar 1 schijf die continue >90% doet terwijl de rest loopt te idlen is doorgaans een indicatie dat die schijf aan 't overlijden is.

SMART is leuk, maar in mijn beleving zijn heuristics als deze een veel betrouwbaardere indicator.

Overigens:

Kortfragje schreef op maandag 22 juli 2019 @ 16:49:

code:

  scan: scrub in progress since Mon Jul 22 08:20:11 2019
        1.24T scanned out of [b]8.89T[/b] at 42.0M/s, 53h5m to go
        0B repaired, 13.94% done

versus eerder dit jaar

code:

  scan: scrub in progress since Mon Apr  2 12:18:56 2018
        2.61T scanned out of [b]4.68T[/b] at 212M/s, 2h50m to go
        0B repaired, 55.75% done

Enerzijds moet 'ie nu dubbel zo veel data scannen als een tijdje terug. Anderzijds weet ik van resilvers dat die vaak langzaam beginnen, en gaandeweg steeds sneller gaan. Of dat bij een scrub ook zo is weet ik niet, maar ook dat zou deels kunnen verklaren waarom de ETA van een scrub die op 14% zit veel hoger is dan de eta van een scrub die op 56% zit.

[ Voor 8% gewijzigd door Freeaqingme op 22-07-2019 17:20 ]

[Kortfragje]

Dank voor de reacties!

Het is een WD en pool is voor 80% vol. Tweede pool van dezelfde WD disks ook voor 80% vol heeft het probleem niet...

Qua ETA, klopt maar meestal loopt ie na 2% al op volle snelheid...

Kijk morgen even hoe ver de scrub is, en anders stop ik de scrub en beging in mn overgang maar 5TB disks in deze pool eerder...

HyperBart schreef op maandag 15 juli 2019 @ 17:55:
[...]

Als het telkens bij 1 error blijft maak ik me daar geen zorgen om, ZFS handled it .

Heb jij spindown aanstaan toevallig? Dan krijg je dit soort dingetjes vaak, en telkens doorgaans maar 1 fout.

[...]

Neen, alleen als het echt naar de verdommenis is laat ZFS het zien.

Idd Hyperbart, tweede scrub loste het op!

[ Voor 39% gewijzigd door Kortfragje op 22-07-2019 17:58 ]

[Betaside]

CurlyMo schreef op zondag 21 juli 2019 @ 22:07:
[...]

In een PicoPSU wordt de 12v rail direct doorgegeven vanuit je adapter. Het kan dus goed dat daar ook iets niet goed gaat.

Ik heb net mijn nieuwe voeding binnen, een be quiet! Pure Power 11 300w. Ik begin een paar films te kopiëren en na minder dan een uur valt mijn pool weer terug naar DEGRADED. Het is telkens een andere schijf die het probleem veroorzaakt. ik ben ten einde raad...
Hebben jullie nog een idee?

 pool: Pool
state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
 Sufficient replicas exist for the pool to continue functioning in a
 degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
 repaired.
 scan: resilvered 529M in 0h0m with 0 errors on Sun Jul 21 20:36:19 2019
config:

 NAME                  STATE     READ WRITE CKSUM
 Pool             DEGRADED     0     0     0
   raidz1-0            DEGRADED     0     0     0
     Pool_drive1  ONLINE       0     0     0
     Pool_drive2  ONLINE       0     0     0
     Pool_drive3  FAULTED      1     5     0  too many errors

errors: No known data errors

[ Voor 40% gewijzigd door Betaside op 23-07-2019 22:34 ]

[HyperBart]

Kortfragje schreef op maandag 22 juli 2019 @ 17:56:
Dank voor de reacties!

Het is een WD en pool is voor 80% vol. Tweede pool van dezelfde WD disks ook voor 80% vol heeft het probleem niet...

Qua ETA, klopt maar meestal loopt ie na 2% al op volle snelheid...

Kijk morgen even hoe ver de scrub is, en anders stop ik de scrub en beging in mn overgang maar 5TB disks in deze pool eerder...

Als de pool voller zit gaat het bij mij ook wel trager, maar als die disk het zo zwaar heeft dan is dat misschien wel een indicator. Nu ja, moet je je daar zorgen over maken? In mijn ogen met ZFS niet, als die disk nog "netjes mee doet" en je hebt voldoende redundantie voor jouw doel dan zou ik het gewoon lekker zo laten, knalt ie er uit? Prima, bewijst dat je gelijk hebt. Doet ie het nog lang mee? Prima, data is veilig. Ik zei overlaatst nog tegen @FireDrunk : djeezes, als dit soort dingen met not good old classic RAID gebeurde zat ik al met de pepers. Nu met ZFS en genoeg redundantie, geen vuiltje aan de lucht.

Betaside schreef op dinsdag 23 juli 2019 @ 22:30:
[...]


Ik heb net mijn nieuwe voeding binnen, een be quiet! Pure Power 11 300w. Ik begin een paar films te kopiëren en na minder dan een uur valt mijn pool weer terug naar DEGRADED. Het is telkens een andere schijf die het probleem veroorzaakt. ik ben ten einde raad...
Hebben jullie nog een idee?

 pool: Pool
state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
 Sufficient replicas exist for the pool to continue functioning in a
 degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
 repaired.
 scan: resilvered 529M in 0h0m with 0 errors on Sun Jul 21 20:36:19 2019
config:

 NAME                  STATE     READ WRITE CKSUM
 Pool             DEGRADED     0     0     0
   raidz1-0            DEGRADED     0     0     0
     Pool_drive1  ONLINE       0     0     0
     Pool_drive2  ONLINE       0     0     0
     Pool_drive3  FAULTED      1     5     0  too many errors

errors: No known data errors

Da's niet zo fijn.

Even recappen, je hebt:

• Pool op basis van LUKS volumes
• Alle disks hebben het probleem, het probleem is dus niet beperkt tot één disk
• SATA kabels al vervangen van de betrokken disks
• Voeding al vervangen
• AS Rock H370M-ITX/AC met G4500 en 8GB non ECC memory

Zou je eens een Memtest willen draaien? Bij voorkeur zo lang mogelijk (+24h minimum en eigenlijk graag zo lang als je je server kan missen).

Ik zou als het geheugen is CKSUM errors verwachten maar hier is het de disk/device die de error geeft en geen melding van CKSUM. De enige gemeenschappelijke delers voor de disks hier zijn HBA(chipset moederbord),moederbord,cpu,geheugen. Die laatste ga je met memtest nu moeten nakijken.

Krijg je wat in /var/log/messages?

[ Voor 29% gewijzigd door HyperBart op 24-07-2019 00:56 ]

[CurlyMo]

@Betaside Mijn tweede gok zou inderdaad ook wat @HyperBart zegt, je geheugen zijn. Dus inderdaad even memtesten.

[DataGhost]

HyperBart schreef op dinsdag 23 juli 2019 @ 23:51:
[...]


Ik zou als het geheugen is CKSUM errors verwachten maar hier is het de disk/device die de error geeft en geen melding van CKSUM. De enige gemeenschappelijke delers voor de disks hier zijn HBA(chipset moederbord),moederbord,cpu,geheugen. Die laatste ga je met memtest nu moeten nakijken.

Krijg je wat in /var/log/messages?

Ik heb zelf zo'n 7 maanden met kapot geheugen en een onstabiel mobo (qua DIMM-slots) gedraaid (totdat ik eindelijk fysiek bij de machine kon komen) en ik heb daar alleen maar CKSUMs gezien eigenlijk, en dan ook gewoon duizenden per scrub zodat ik op een gegeven moment het scrubben gewoon heb uitgezet. R/W errors heb ik precies 0 gezien. Ik zou daarom eerder de controller (het mobo) verdenken.

[HyperBart]

DataGhost schreef op woensdag 24 juli 2019 @ 13:57:
[...]

Ik heb zelf zo'n 7 maanden met kapot geheugen en een onstabiel mobo (qua DIMM-slots) gedraaid (totdat ik eindelijk fysiek bij de machine kon komen) en ik heb daar alleen maar CKSUMs gezien eigenlijk, en dan ook gewoon duizenden per scrub zodat ik op een gegeven moment het scrubben gewoon heb uitgezet. R/W errors heb ik precies 0 gezien. Ik zou daarom eerder de controller (het mobo) verdenken.

Dat klopt, dat vermeld ik ook. Ik schat de kans op geheugenproblemen laag in. Maar als ik de ondertoon van @Betaside wat juist inschat dan denk ik dat hij niet met alle plezier nu al zijn hardware componenten wil gaan swappen naar een ander moederbord. Een memtest is een kleine inspanning en een softwarematige test om geheugenproblemen alvast uit te sluiten zonder dat hij een halve rebuild van zijn NAS moet doen.

@Betaside doe die memtest maar eens om als laatste alles uit te sluiten maar als die goed terug komt dan vrees ik inderdaad ook dat er iets is met je SATA-controller/chipset. Wil je dat ook nog gaan troubleshooten dan zou je een SATA insteekkaartje kunnen kopen en je disks daar aan hangen, maar daar zijn we nog niet .

EDIT: ivm met wat @FireDrunk hier beneden aangeeft; welk OS en versie draai je op je server?

[ Voor 4% gewijzigd door HyperBart op 24-07-2019 14:42 ]

[FireDrunk]

@Betaside Deze post toevallig gezien?
FireDrunk in "Het grote zuinige server topic - deel 2"

Dat zou je ook nog kunnen proberen.

[zzattack]

Vagelijk herinner ik mij dat er een aantal jaar geleden redenen waren om consumer grade disks te prefereren boven enterprise NAS disks i.c.m. ZFS. Geldt dit nog steeds?

[Freeaqingme]

zzattack schreef op woensdag 24 juli 2019 @ 17:16:
Vagelijk herinner ik mij dat er een aantal jaar geleden redenen waren om consumer grade disks te prefereren boven enterprise NAS disks i.c.m. ZFS. Geldt dit nog steeds?

Lees vooral de blogposts van Backblaze eens waarin ze in HDD's vergelijken. Toen ik die dingen nog in bulk bestelde deden we ook gewoon consumer/NAS drives. Inmiddels is de density van HDD's zo hoog dat ook in de consumenten-HDD's technieken worden toegepast die vroeger waren voorbehouden aan de enterprise disks (zoals helium, en andere anti-vibration technologie).

Het enige verschil tussen enterprise en consumenten/NAS drives is een garantieperiode van 5 jaar ipv 2 jaar, en dat je geen SAS drives gaat vinden in het consumentensegment.

[HyperBart]

zzattack schreef op woensdag 24 juli 2019 @ 17:16:
Vagelijk herinner ik mij dat er een aantal jaar geleden redenen waren om consumer grade disks te prefereren boven enterprise NAS disks i.c.m. ZFS. Geldt dit nog steeds?

Het is eigenlijk omgekeerd. ZFS is net dermate betrouwbaar dat je niet meer voor enterprise disks moet kiezen, tenzij owv performantie maar daar zijn HDD’s uiteraard al lang voorbij gestoken door SSD’s.

Je kan nog prima voor enterprise disks (denk aan SAS) disks kiezen maar ZFS gaat er inherent van uit dat de disks er onder onbetrouwbaar zijn. Dus mits je genoeg redundantie voorziet en ZFS zo direct mogelijke controle voorziet van de disks (lees: geen RAID controllers ertussen) dan zit je goed.

Er is niks mis met enterprise disks kiezen, want dat houdt doorgaans een hogere MTBF in, maar het is niet meer zo belangrijk. Maar het gaat je ongetwijfeld wel een ‘duurzamere’ array geven.

Wat Backblaze doet is ettelijke klasses groter, die zitten bijna in de mindset dat een hele rack zo belangrijk is voor hen als één disk in jouw of mijn array’tje.

[FireDrunk]

Daarbovenop hebben Enterprise schijven TLER, wat je een stabielere array tegemoet komt (niet per se veiliger).
Je hebt met TLER minder bokkende IO op het moment dat een schijf moeilijk doet, omdat die tijd beperkter is.
Doorgaans enkele seconden (enterprise) ipv minuten (consumer).

[HyperBart]

Ik wou net over TLER beginnen

[Betaside]

Alvast bedankt voor jullie input!

HyperBart schreef op dinsdag 23 juli 2019 @ 23:51:
Even recappen, je hebt:

• Pool op basis van LUKS volumes
• Alle disks hebben het probleem, het probleem is dus niet beperkt tot één disk
• SATA kabels al vervangen van de betrokken disks
• Voeding al vervangen
• AS Rock H370M-ITX/AC met G4500 en 8GB non ECC memory

Ja klopt. Op dit moment schiet er mijn niets te binnen dat mist op dit lijstje.

HyperBart schreef op dinsdag 23 juli 2019 @ 23:51:
Zou je eens een Memtest willen draaien? Bij voorkeur zo lang mogelijk (+24h minimum en eigenlijk graag zo lang als je je server kan missen).

Ik zou als het geheugen is CKSUM errors verwachten maar hier is het de disk/device die de error geeft en geen melding van CKSUM. De enige gemeenschappelijke delers voor de disks hier zijn HBA(chipset moederbord),moederbord,cpu,geheugen. Die laatste ga je met memtest nu moeten nakijken.

Thanks! Ja dat ga ik vrijdag eens proberen.

HyperBart schreef op dinsdag 23 juli 2019 @ 23:51:
Krijg je wat in /var/log/messages?

Daar staan zo te zien wel een paar hdd gerelateerde messages in.

code:

Jul 23 22:25:25 apollo kernel: [ 3733.399072] sd 4:0:0:0: [sdd] tag#21 CDB: Synchronize Cache(10) 35 00 00 00 00 00 00 00 00 00
Jul 23 22:25:25 apollo kernel: [ 3733.399089] sd 4:0:0:0: [sdd] tag#22 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 23 22:25:25 apollo kernel: [ 3733.399130] sd 4:0:0:0: [sdd] tag#23 CDB: Read(16) 88 00 00 00 00 00 00 00 12 10 00 00 00 10 00 00
Jul 23 22:25:25 apollo kernel: [ 3733.399138] sd 4:0:0:0: [sdd] tag#24 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 23 23:09:18 apollo kernel: [ 6367.060622] audit: type=1400 audit(1563916158.766:55): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-103_</var/lib/lxc>" name="/" pid=14848 comm="(ionclean)" flags="rw, rslave"
Jul 23 23:39:18 apollo kernel: [ 8167.028750] audit: type=1400 audit(1563917958.761:56): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-103_</var/lib/lxc>" name="/" pid=27960 comm="(ionclean)" flags="rw, rslave"
Jul 24 00:39:18 apollo kernel: [11766.979256] audit: type=1400 audit(1563921558.748:58): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-103_</var/lib/lxc>" name="/" pid=21615 comm="(ionclean)" flags="rw, rslave"
Jul 24 07:23:32 apollo kernel: [36020.253545] sd 4:0:0:0: [sdd] tag#1 CDB: ATA command pass through(16) 85 06 2c 00 00 00 00 00 00 00 00 00 00 00 e5 00
Jul 24 07:39:18 apollo kernel: [36966.691452] audit: type=1400 audit(1563946758.748:72): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-103_</var/lib/lxc>" name="/" pid=21040 comm="(ionclean)" flags="rw, rslave"
Jul 24 07:53:32 apollo kernel: [37820.261357] sd 4:0:0:0: [sdd] tag#3 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 11:53:32 apollo kernel: [52220.007180] sd 4:0:0:0: [sdd] tag#19 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 11:53:32 apollo kernel: [52220.007182] sd 4:0:0:0: [sdd] tag#19 CDB: ATA command pass through(16) 85 06 2c 00 00 00 00 00 00 00 00 00 00 00 e5 00
Jul 24 16:53:30 apollo kernel: [70218.404011] sd 4:0:0:0: [sdd] tag#8 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 17:23:37 apollo kernel: [72024.914372] sd 4:0:0:0: [sdd] tag#10 CDB: ATA command pass through(16) 85 06 2c 00 00 00 00 00 00 00 00 00 00 00 e5 00
Jul 24 20:23:32 apollo kernel: [82819.925287] sd 4:0:0:0: [sdd] tag#22 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 20:23:32 apollo kernel: [82819.925289] sd 4:0:0:0: [sdd] tag#22 CDB: ATA command pass through(16) 85 06 2c 00 00 00 00 00 00 00 00 00 00 00 e5 00
Jul 24 21:23:32 apollo kernel: [86419.934977] sd 4:0:0:0: [sdd] tag#26 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 21:53:32 apollo kernel: [88219.939994] sd 4:0:0:0: [sdd] tag#28 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 21:53:32 apollo kernel: [88219.939997] sd 4:0:0:0: [sdd] tag#28 CDB: ATA command pass through(16) 85 06 2c 00 00 00 00 00 00 00 00 00 00 00 e5 00

@HyperBart Ik draai op dit moment proxmox 5.2 (kernel versie 4.15.18)
@FireDrunk Merci ga ik ook eens bekijken.


Volgende stappen:

• 24h Memtest
• Upgrade bios, update proxmox
• Upgrade proxmox to version 6?
• grub parameter aanpassen, zoals voorgesteld door @FireDrunk
• HDD aansluiten op een extra pci kaartje

Nog iets dat ik over het hoofd zie?

[HyperBart]

Betaside schreef op woensdag 24 juli 2019 @ 23:20:
Daar staan zo te zien wel een paar hdd gerelateerde messages in.

code:

Jul 23 22:25:25 apollo kernel: [ 3733.399072] sd 4:0:0:0: [sdd] tag#21 CDB: Synchronize Cache(10) 35 00 00 00 00 00 00 00 00 00
Jul 23 22:25:25 apollo kernel: [ 3733.399089] sd 4:0:0:0: [sdd] tag#22 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 23 22:25:25 apollo kernel: [ 3733.399130] sd 4:0:0:0: [sdd] tag#23 CDB: Read(16) 88 00 00 00 00 00 00 00 12 10 00 00 00 10 00 00
Jul 23 22:25:25 apollo kernel: [ 3733.399138] sd 4:0:0:0: [sdd] tag#24 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 23 23:09:18 apollo kernel: [ 6367.060622] audit: type=1400 audit(1563916158.766:55): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-103_</var/lib/lxc>" name="/" pid=14848 comm="(ionclean)" flags="rw, rslave"
Jul 23 23:39:18 apollo kernel: [ 8167.028750] audit: type=1400 audit(1563917958.761:56): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-103_</var/lib/lxc>" name="/" pid=27960 comm="(ionclean)" flags="rw, rslave"
Jul 24 00:39:18 apollo kernel: [11766.979256] audit: type=1400 audit(1563921558.748:58): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-103_</var/lib/lxc>" name="/" pid=21615 comm="(ionclean)" flags="rw, rslave"
Jul 24 07:23:32 apollo kernel: [36020.253545] sd 4:0:0:0: [sdd] tag#1 CDB: ATA command pass through(16) 85 06 2c 00 00 00 00 00 00 00 00 00 00 00 e5 00
Jul 24 07:39:18 apollo kernel: [36966.691452] audit: type=1400 audit(1563946758.748:72): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-103_</var/lib/lxc>" name="/" pid=21040 comm="(ionclean)" flags="rw, rslave"
Jul 24 07:53:32 apollo kernel: [37820.261357] sd 4:0:0:0: [sdd] tag#3 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 11:53:32 apollo kernel: [52220.007180] sd 4:0:0:0: [sdd] tag#19 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 11:53:32 apollo kernel: [52220.007182] sd 4:0:0:0: [sdd] tag#19 CDB: ATA command pass through(16) 85 06 2c 00 00 00 00 00 00 00 00 00 00 00 e5 00
Jul 24 16:53:30 apollo kernel: [70218.404011] sd 4:0:0:0: [sdd] tag#8 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 17:23:37 apollo kernel: [72024.914372] sd 4:0:0:0: [sdd] tag#10 CDB: ATA command pass through(16) 85 06 2c 00 00 00 00 00 00 00 00 00 00 00 e5 00
Jul 24 20:23:32 apollo kernel: [82819.925287] sd 4:0:0:0: [sdd] tag#22 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 20:23:32 apollo kernel: [82819.925289] sd 4:0:0:0: [sdd] tag#22 CDB: ATA command pass through(16) 85 06 2c 00 00 00 00 00 00 00 00 00 00 00 e5 00
Jul 24 21:23:32 apollo kernel: [86419.934977] sd 4:0:0:0: [sdd] tag#26 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 21:53:32 apollo kernel: [88219.939994] sd 4:0:0:0: [sdd] tag#28 FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
Jul 24 21:53:32 apollo kernel: [88219.939997] sd 4:0:0:0: [sdd] tag#28 CDB: ATA command pass through(16) 85 06 2c 00 00 00 00 00 00 00 00 00 00 00 e5 00

Toeval misschien maar als ik zoek op "hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK" dan kom ik veel ProxMox mede-gebruikers tegen die dit probleem ook hebben en in even veel gevallen kom ik ook tegen dat het daar het moederbord is wat vervangen is. Dit losstaand van ZFS en ook bij MDADM RAID sets.

Volgende stappen:

• 24h Memtest
• Upgrade bios, update proxmox
• Upgrade proxmox to version 6?
• grub parameter aanpassen, zoals voorgesteld door @FireDrunk
• HDD aansluiten op een extra pci kaartje

Ik zou niet te veel ineens doen. Die memtest en BIOS update zou ik eerst even doen en dan kijken wat het oplevert. Alhoewel de config van @FireDrunk wie weet ook wel helpt verdenk ik nu nog steeds je hardware, als je het kan oplossen met de config parameters van @FireDrunk en het voldoet voor je zou ik het doen, maar ergens bekruipt me dan het gevoel dat het toch nog steeds HW is en je met de config gewoon toevallig de dingen buitenspel zet waar de chipset de defecten op vertoont.

Wacht nog even met proxmox te updaten.

Die HDD's aansluiten op een extra PCIe kaartje is in zekere mate uitsluitsel maar ook niet compleet, als je moederbord echt ergens stuk dan kan dit een vertekend resultaat opleveren maar ik gok dat het daar mee opgelost is. Ik kom echt heel veel resultaten tegen waarbij de HBA of het moederbord vervangen is.

[Betaside]

Ondertussen loopt mijn memtest al 14 uur, ik ben bij pass 10 zonder error's. Heeft het nog zin deze langer te laten lopen?

[CurlyMo]

Nog 10 uurtjes voor de zekerheid.

[A1AD]

Een waarschuwing voor diegene dat ZoR gebruiken met ZoL 0.8 en Grub als bootloader: eens je een encrypted dataset maakt op de rpool herkend grub je filesystem niet meer.

https://github.com/zfsonlinux/zfs/issues/7153

https://forum.proxmox.com...fter-rpool-upgrade.56381/

[DataGhost]

Ja maar dat is een beetje je eigen schuld dan hoor. Volgens mij wordt er op genoeg plekken gewaarschuwd dat o.a. bootloaders misschien niet overweg kunnen met nieuwe features dus dat je ze niet lukraak moet enablen.

$ zpool status
  pool: main
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
    still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
    the pool may no longer be accessible by software that does not support
    the features. See zpool-features(5) for details.

En Gentoo waarschuwt nog steeds bij elke zfs-kmod upgrade:

 * This version of ZFSOnLinux includes support for new feature flags
 * that are incompatible with previous versions. GRUB2 support for
 * /boot with the new feature flags is not yet available.
 * Do *NOT* upgrade root pools to use the new feature flags.
 * Any new pools will be created with the new feature flags by default
 * and will not be compatible with older versions of ZFSOnLinux. To
 * create a newpool that is backward compatible wih GRUB2, use 
[...]
 * GRUB2 support will be updated as soon as either the GRUB2
 * developers do a tag or the Gentoo developers find time to backport
 * support from GRUB2 HEAD.

[ Voor 84% gewijzigd door DataGhost op 27-07-2019 15:49 ]

[A1AD]

DataGhost schreef op zaterdag 27 juli 2019 @ 15:45:
Ja maar dat is een beetje je eigen schuld dan hoor.

Hoor je mij klagen dan?

_{edit: DataGhost zijn quote wat kleiner gemaakt}

[ Voor 89% gewijzigd door A1AD op 27-07-2019 16:29 ]

[HyperBart]

Betaside schreef op zaterdag 27 juli 2019 @ 12:45:
Ondertussen loopt mijn memtest al 14 uur, ik ben bij pass 10 zonder error's. Heeft het nog zin deze langer te laten lopen?

@CurlyMo gaf het ook al aan dat het langer mag maar als je kan zou ik het heel het weekend laten draaien (48h), tenzij je ECHT niet zonder je server kan, maar dan nog altijd minimum 24h. Boot zondagavond rond 23h00 dan je server dan dat je klaar bent voor de werkweek.

Had je nog een ander SATA kaartje liggen?

[ Voor 4% gewijzigd door HyperBart op 27-07-2019 20:10 ]

[Betaside]

HyperBart schreef op zaterdag 27 juli 2019 @ 20:10:
[...]

@CurlyMo gaf het ook al aan dat het langer mag maar als je kan zou ik het heel het weekend laten draaien (48h), tenzij je ECHT niet zonder je server kan, maar dan nog altijd minimum 24h. Boot zondagavond rond 23h00 dan je server dan dat je klaar bent voor de werkweek.

Had je nog een ander SATA kaartje liggen?

Heb de test vanochtend afgebroken. Na 37 uur en 28 passes geen enkele error gevonden.
Heb nu het bios geupdated, en voer zo meteen nog een schrijf test uit om te kijken of de problemen weer optreden.Ik hou jullie op de hoogte.

Nee heb geen Sata kaartje liggen, gelukkig zijn die niet duur en levert amazon hier heel snel.

[ Voor 6% gewijzigd door Betaside op 28-07-2019 17:56 ]

[nero355]

Betaside schreef op dinsdag 23 juli 2019 @ 22:30:
Ik heb net mijn nieuwe voeding binnen, een be quiet! Pure Power 11 300w. Ik begin een paar films te kopiëren en na minder dan een uur valt mijn pool weer terug naar DEGRADED. Het is telkens een andere schijf die het probleem veroorzaakt. ik ben ten einde raad...
Hebben jullie nog een idee?

Ja : Naar mij luisteren in mijn vorige posts over je probleem!

HyperBart schreef op dinsdag 23 juli 2019 @ 23:51:
Als de pool voller zit gaat het bij mij ook wel trager, maar als die disk het zo zwaar heeft dan is dat misschien wel een indicator. Nu ja, moet je je daar zorgen over maken? In mijn ogen met ZFS niet, als die disk nog "netjes mee doet" en je hebt voldoende redundantie voor jouw doel dan zou ik het gewoon lekker zo laten, knalt ie er uit? Prima, bewijst dat je gelijk hebt. Doet ie het nog lang mee? Prima, data is veilig. Ik zei overlaatst nog tegen @FireDrunk : djeezes, als dit soort dingen met not good old classic RAID gebeurde zat ik al met de pepers. Nu met ZFS en genoeg redundantie, geen vuiltje aan de lucht.

Die HDD van hem is gewoon aan het overlijden!

Dus ik zou juist nu zolang die "nog netjes mee doet" een nieuw exemplaar erbij zetten en ZFS de boel laten rebuilden/resilveren en niet straks als de HDD helemaal overleden is...

<sub>Als ik me niet vergis werd het altijd aangeraden om de kapotte HDD pas weg te halen als de boel volledig i.c.m. de nieuwe vervangende HDD draait, maar dat weet ik effe niet meer zeker...

In ieder geval zo netjes mogelijk vervangen en geen gekke dingen doen!</sub>

Betaside schreef op zondag 28 juli 2019 @ 17:55:
Heb de test vanochtend afgebroken. Na 37 uur en 28 passes geen enkele error gevonden.
Heb nu het bios geupdated, en voer zo meteen nog een schrijf test uit om te kijken of de problemen weer optreden.Ik hou jullie op de hoogte.

Nee heb geen Sata kaartje liggen, gelukkig zijn die niet duur en levert amazon hier heel snel.

Waar woon je ongeveer ? Ik heb wel een spare LSI Controller liggen en de juiste kabels die je kan lenen!

[CurlyMo]

@nero355 Klopt

[Betaside]

nero355 schreef op zondag 28 juli 2019 @ 23:18:
[...]

Ja : Naar mij luisteren in mijn vorige posts over je probleem!


[...]
Waar woon je ongeveer ? Ik heb wel een spare LSI Controller liggen en de juiste kabels die je kan lenen!

@nero355 Ik weet niet over welke post je het hebt.
Gaat hem waarschijnlijk niet worden ik woon in het zuiden van Duitsland. Maar bedankt voor het aanbod.

[ Voor 3% gewijzigd door Betaside op 29-07-2019 18:31 ]

[nero355]

Betaside schreef op maandag 29 juli 2019 @ 18:31:
@nero355 Ik weet niet over welke post je het hebt.

- nero355 in "Het grote ZFS topic"
- nero355 in "Het grote ZFS topic"

Gaat hem waarschijnlijk niet worden ik woon in het zuiden van Duitsland. Maar bedankt voor het aanbod.

Jammer!

Gelukkig kosten ze niet zoveel meer op eBay dus kijk daar eens rond

[HyperBart]

nero355 schreef op maandag 29 juli 2019 @ 21:30:
[...]

- nero355 in "Het grote ZFS topic"
- nero355 in "Het grote ZFS topic"

[...]

Jammer!

Gelukkig kosten ze niet zoveel meer op eBay dus kijk daar eens rond

Waar heb je gelezen dat als ze naar andere SATA poorten gaan (op zelfde mobo) het probleem zich niet stelt?

[nero355]

HyperBart schreef op maandag 29 juli 2019 @ 21:49:
Waar heb je gelezen dat als ze naar andere SATA poorten gaan (op zelfde mobo) het probleem zich niet stelt?

Zijn oude posts hé!

Maar dat was hier :

Betaside schreef op maandag 15 juli 2019 @ 22:18:
Vandaag trouwens weer problemen gehad. server uitschakelen, sata poorten op een andere aansluiting aansluiten was de enige manier om mijn pool weer online te krijgen...

[Betaside]

Ik had al een paar keer de sata poorten gewisseld. Het was ook telkens een andere schijf. Het is dus niet terug te leiden naar 1 aansluiting/kabel of HDD maar het lijkt van het moederbord of software te komen.

[HyperBart]

@Betaside hoe is het met de schrijftest afgelopen na je BIOS update?

[Betaside]

HyperBart schreef op woensdag 31 juli 2019 @ 13:42:
@Betaside hoe is het met de schrijftest afgelopen na je BIOS update?

Goed, ik heb nog geen errors gezien, en heb al een paar intensieve schrijf tests gedaan. Het lijkt opgelost te zijn, ik vermoed dat het probleem bij de bios versie lag.

[HyperBart]

Betaside schreef op donderdag 1 augustus 2019 @ 07:24:
[...]


Goed, ik heb nog geen errors gezien, en heb al een paar intensieve schrijf tests gedaan. Het lijkt opgelost te zijn, ik vermoed dat het probleem bij de bios versie lag.

Well I'll be damned.. . Blij dat het opgelost is!

@Betaside : doe je ook nog eens een paar scrubs? Ben benieuwd wat daar nog uitkomt.

[ Voor 11% gewijzigd door HyperBart op 02-08-2019 12:09 ]

[Betaside]

HyperBart schreef op donderdag 1 augustus 2019 @ 14:12:
@Betaside : doe je ook nog eens een paar scrubs? Ben benieuwd wat daar nog uitkomt.

Gisteren nog een scrub gestart en nu blijkt dat hij is door gelopen zonder enig probleem. Ik bouw zometeen mijn picopsu er weer in en kijk of hij zo stabiel blijft. Lijkt er echt op als of het probleem opgelost is...

[pica]

Weet iemand wat de status is van RAID-Z Expansion?

[DataGhost]

pica schreef op dinsdag 13 augustus 2019 @ 14:14:
Weet iemand wat de status is van RAID-Z Expansion?

https://github.com/zfsonlinux/zfs/pull/8853

[pica]

Juist, merci, ziet er al veelbelovend uit!

[CH4OS]

Zoals sommigen van jullie wellicht hebben gezien in het Check je SMART topic, heb ik een disk wat een beetje bokt. Nadat ik die disk op een andere SATA kabel had aangesloten en de fouten bleven, heb ik besloten de disk te vervangen (hij zit namelijk ook nog in garantie).

Nu heb ik de vervangende disk gekregen, maar ik zit een beetje met hoe ik nu deze defecte disk het beste in de ZFS pool kan vervangen. Disk is van hetzelfde merk, type en grootte, dus dat gaat in elk geval geen probleem zijn. Na wat Googlen kom ik op diverse sites uit, waaronder Ask Ubuntu en lees verschillende manieren, maar meestal is dat wanneer de pool in een degraded state is. Mijn pool is dat echter niet en ik durf het om eerlijk te zijn niet aan om de commando's in te geven zoals in de topics die ik erover vind worden aangegeven.

Hoe kan ik het nu het beste de disk vervangen in de ZFS pool?

[DataGhost]

Tsja, dat wordt dan beginnen zoals in de quickstart. Wat heb je precies al gevonden? En waarom denk je dat dat niet zou werken? Uiteindelijk is er (vrijwel) geen verschil tussen het vervangen van disks in een normale pool en een degraded pool. De man-pages horen je goed op weg te helpen en al je zorgen weg te nemen. Dus zet hier neer wat de "verschillende manieren" zeggen wat je moet doen en voorzie dat van commentaar waarom dat wel of niet goed zou zijn, dan kunnen wij daar ook commentaar op geven. En als je het echt niet zeker weet kan je gewoon een stapel images bij elkaar dd-en, een pool van bouwen, daarin een image replacen, en als het goed gaat hetzelfde doen op je echte pool.

[CH4OS]

Het is niet zozeer dat ik denk dat het niet werken zou, maar kwam bijvoorbeeld een topic op AskUbuntu tegen waarbij iemand wel een degraded ZFS pool had, daarbij een defecte disk al uit het systeem had verwijderd en uiteindelijk via ID's van de disks de een uit de pool kon halen en de nieuwe disk kon toevoegen aan de pool met dan een opmerking erbij van 'deze disk vervangt die' en dan geloof ik ook weer met de ID's mee te geven.

Wellicht werkt het voor mij nu anders, aangezien ik geen degraded ZFS pool heb?

[DataGhost]

Ja, nou, hoe doet 'ie dat dan? Zonder m'n console erbij te pakken gok ik dat het gebruikte commando "zpool replace" is, en niet "zpool replace-in-degraded" of "zpool replace-in-non-degraded". Ik weet niet precies hoe straightforward je het wilt hebben.

[CH4OS]

Het topic dat ik vond was deze, die al de nodige jaren oud is. Ik hoef niet zozeer met de hand meegenomen te worden, maar wil wel graag weten (in een notendop) wat het handigste is wat ik moet doen. Is zeg maar de eerste keer dat ik in een ZFS pool een disk vervang.

Kan ik gewoon de oude disk uit de pool halen, dan de disk fysiek uit de machine halen (heb anders geen plek voor de nieuwe disk), de nieuwe er in stoppen en dan met zpool replace de pool bijwerken?

[ Voor 22% gewijzigd door CH4OS op 14-08-2019 20:06 ]

[CurlyMo]

@CH4OS precies dit thema is echt al tig keren langsgekomen in dit topic? Hoe je dan bij AskUbuntu uitkomt is me een raadsel.

Helemaal omdat wat je wel vond niet de gangbare methode is. Oftewel, zoek eerst eens naar wat er hier over geschreven staat.

[CH4OS]

CurlyMo schreef op woensdag 14 augustus 2019 @ 20:05:
@CH4OS precies dit thema is echt al tig keren langsgekomen in dit topic? Hoe je dan bij AskUbuntu uitkomt is me een raadsel.

Ik zoek altijd eerst voordat ik op Tweakers kijk.

Helemaal omdat wat je wel vond helemaal de gangbare methode is. Oftewel, zoek eerst eens naar wat er hier over geschreven staat.

Will do.

[DataGhost]

Als ik dat topic bekijk is zijn probleem dat de devicenaam die in zpool status te zien is niet meer aanwezig is op z'n systeem, dan moet je inderdaad de device GUID hebben. Als ik het goed begrijp zit die disk er bij jou nog wel in (anders was 'ie wel degraded) dus dan zou je even man zpool in moeten rammelen, en bij het stukje over zpool replace kijken hoe het allemaal werkt.

En ik quote mezelf:

DataGhost schreef op woensdag 14 augustus 2019 @ 19:52:
En als je het echt niet zeker weet kan je gewoon een stapel images bij elkaar dd-en, een pool van bouwen, daarin een image replacen, en als het goed gaat hetzelfde doen op je echte pool.

[CurlyMo]

CH4OS schreef op woensdag 14 augustus 2019 @ 20:06:
[...]
Ik zoek altijd eerst voordat ik op Tweakers kijk.

Dus tweakers is je tweede keus als het gaat om kennis, maar vervolgens vraag je hier wel om hulp over de kennis die je uit je eerste keus hebt verzameld? Ikke niet snappen.

@DataGhost dit is gewoon het klassieke gebruik maken van nieuwe technieken, maar niet eerst in een test setup de materie eigen maken.

Het voordeel van ZFS is dat je die materie alsnog eigen kan maken door test pools op te zetten met bestandjes als vdev's.

[CH4OS]

CurlyMo schreef op woensdag 14 augustus 2019 @ 20:10:
Dus tweakers is je tweede keus als het gaat om kennis, maar vervolgens vraag je hier wel om hulp over de kennis die je uit je eerste keus hebt verzameld? Ikke niet snappen.

Ik probeer eerst mezelf te informeren. De resultaten die ik dan via Google vind, wijzen dan niet echt naar dit topic nee. Daarna ga ik rondkijken op Tweakers.

@DataGhost dit is gewoon het klassieke gebruik maken van nieuwe technieken, maar niet eerst in een test setup de materie eigen maken.

Het is meer dat het juist bedoelt is als homelab en er dus van te leren? Twee jaar terug heb ik mij zeer zeker ingelezen in ZFS, maar als je er verder niets mee doet (wat ook niet zo raar is als het twee jaar lang niet nodig blijkt te zijn, omdat het zolang prima draait...), dan vergaat de kennis simpelweg. Dus zou het fijn vinden als je een volgende keer je vooroordelen voor je laat; NIVEA (Niet Invullen Voor Een Ander).

Maar ik snap het elitaire gedoe wel weer (zo komt het nu althans wel over)...
Zie hier waarom ik nooit als eerste naar Tweakers grijp om kennis op te doen.

[ Voor 26% gewijzigd door CH4OS op 14-08-2019 20:16 ]

[CurlyMo]

CH4OS schreef op woensdag 14 augustus 2019 @ 20:11:
[...]
Maar ik snap het elitaire gedoe wel weer... Zie nu waarom ik nooit als eerste naar Tweakers grijp om kennis op te doen.

Het elitaire gedoe is gewoon regels volgen van tweakers. En dat is dat je je eerst inleest voordat je vragen stelt. Je hangt hier lang genoeg rond om dat te weten.

En het is een home-lab, waarom probeer je dan niet wat je gevonden hebt?

[ Voor 8% gewijzigd door CurlyMo op 14-08-2019 20:16 ]

[CH4OS]

CurlyMo schreef op woensdag 14 augustus 2019 @ 20:16:
En dat is dat je je eerst inleest voordat je vragen stelt. Je hangt hier lang genoeg rond om dat te weten.[/small]

En dat heb ik toch gedaan? Ik heb dat alleen niet via Tweakers gedaan.

En het is een home-lab, waarom probeer je dan niet wat je gevonden hebt?

Omdat ik eerst de materie mezelf eigen wil maken (en wil weten wat anno 2019 best practices zijn ipv mezelf te moeten baseren op informatie wat misschien al verourderd is, het topic loopt immers ook al even...) voordat ik dingen misschien nog erger naar de filistijnen help?

[ Voor 37% gewijzigd door CH4OS op 14-08-2019 20:18 ]

[CurlyMo]

CH4OS schreef op woensdag 14 augustus 2019 @ 20:16:
[...]
En dat heb ik toch gedaan? Ik heb dat alleen niet via Tweakers gedaan.

En nu heb je die tip gekregen. Wat heb je gevonden?

In een lab omgeving mogen dingen toch ook gewoon sneuvele?. Anders is het een productieomgeving.

[ Voor 16% gewijzigd door CurlyMo op 14-08-2019 20:25 ]

[CH4OS]

CurlyMo schreef op woensdag 14 augustus 2019 @ 20:17:
En nu heb je die tip gekregen. Wat heb je gevonden?

Ik heb met zpool replace geprobeerd, maar wat ik al dacht, werkt dat dus niet direct, want de defecte disk heb ik niet meer in de pool zitten, dus die klapt er uit met een dergelijke foutmelding;


Ook als ik trouwens

 zpool replace data /dev/disk/by-id/ata-WDC_WD40EFRX-68N32N0_WD-WCC7K2YS6RCV /dev/disk/by-id/ata-WDC_WD40EFRX-68N32N0_WD-WCC7K7SP0F7C

doe gaat het fout, de melding is dan 'no such device in pool'. Ben vervolgens gaan kijken hoe ik dat fix en kwam toen

zpool attach

tegen, die je twee parameters kan meegeven, maar ook dat werkte niet, doe ik alleen de nieuwe disk, dan moet ik de new device opgeven... Oftewel, werkt ook niet.

In een lab omgeving mogen dingen toch ook gewoon sneuvele?. Anders is het een productieomgeving.

Iets met voorkomen, genezen, en zo. Maar laten we dat verder als offtopic beschouwen, want dat doet er verder niet ter sprake, imo. Lijkt er dus op dat ik inderdaad terecht kom bij een topic uit 2013...

[ Voor 37% gewijzigd door CH4OS op 14-08-2019 20:57 ]

[CurlyMo]

CH4OS schreef op woensdag 14 augustus 2019 @ 20:53:
[...]
Ik heb met zpool replace geprobeerd, maar wat ik al dacht, werkt dat dus niet direct, want de defecte disk heb ik niet meer in de pool zitten, dus die klapt er uit met een dergelijke foutmelding;

Er wordt gelukkig wat geprobeerd. Tijd om daadwerkelijk te hulp te schieten

Plaats eens een

zpool status