:fill(white):strip_exif()/i/2003943496.jpeg?f=thumbmini)
:strip_exif()/i/1321263566.png?f=thumbmini)
\\ Baloo \\ Mijn iRacing profiel
:strip_icc():strip_exif()/u/4553/crop5ca0fda5ccad1_cropped.jpeg?f=community)
:strip_exif()/u/70909/BlueKachina_60x60.gif?f=community)
He? Je hebt 0 block device op een Intel controller? Dat heb ik nog niet gezien 
Daar geld dit verhaal niet voor
Daar geld dit verhaal niet voor
Even niets...
Het systeem wat ik gebruik ondersteund alleen vt-x (dus geen vt-d), wat voor alleen mapping van harde schijven voldoende zou moeten zijn.:
He? Je hebt 0 block device op een Intel controller? Dat heb ik nog niet gezien
Daar geld dit verhaal niet voor
Zou het kunnen dat ESXi een virtuele LSI controller gebruikt voor het aanbieden van de schijven aan een VM? En dat ik dus moet uitzoeken of er daar een update van VMware voor is?
Jawel dat is precies die fout. mps driver in FreeBSD 9.1 met oudere firmware gaat niet samen. Alleen oude mps driver met oude firmware of nieuwe mps driver met nieuwe firmware.:
He? Je hebt 0 block device op een Intel controller? Dat heb ik nog niet gezien
Daar geld dit verhaal niet voor
Onboard SAS controller betekent vaak dat je tijdens het flashen van het BIOS ook de option ROM van je SAS controller meeflasht. Je zult daarvoor extra moeten zoeken, maar het zou wel moeten kunnen. Zo niet heb je een groot probleem!
/u/102334/avatar_mini.png?f=community){kind=avatar}
Nee, -r vs -z
Het gaat om het vmkfstools commando. Door -r te gebruiken wordt het een virtueel device waar ESXi dus nog tussen de VM en de disk zelf zit. Met -z is er sprake van passthrough.
Ik heb nu -r gebruikt. Zometeen even proberen met -z.
Dit trouwens net via http://vmetc.com/wp-conte...007/11/man-vmkfstools.txt geleerd.
Net even geprobeerd wat een RDM met passthrough (vmkfstools -z /device /path) doet voor Freebsd. Dan gaat het dus fout en krijg je blocklevel 0 errors. Met -r werkt Freebsd wel, maar omdat het OS dan niet meer direct met de schijven kan praten heb ik geen SMART info over mijn schijven in zfsguru.
Misschien op termijn toch maar een vt-d CPU overwegen, dan kan ik de controller in ieder geval direct aan een VM hangen, zonder dat het via die gare VMware LSI controller moet...
[ Voor 33% gewijzigd door Wolfensteijn op 11-11-2012 22:23 ]
Je hebt geen pool om leeg te zijn totdat je hem aanmaakt
Maar als je bedoelt of de disks leeg moeten zijn.. zfs controleert of ze deel uitmaken van bestaande pools en wellicht ook of er al wat anders op staat. Je kan forceren om ze toch te gebruiken.
Lees voordat je begint even de 'man zpool' manual, en vergeet bij het pool aanmaken de ashift12 optie niet.
Ja, als ze geen deel gaan uitmaken van de zpool. Verder moet je MDADM en zfs niet mixen.
Ik heb 24GB voor de boot partitie (ruim genoeg voor alles. Mijn installatie zit nu pas op 2.4GB) en 12GB swap, maar uiteindelijk is het aan jou.
Ik weet niet of je hier ook nog een ZIL (write log) of L2ARC (read cache) op wil zetten en of dat een goed idee is.
:strip_exif()/u/62088/sp_jh2.gif?f=community)
Nou, single threaded maakt opzich niet uit. Ook een single threaded proces kan async I/O doen dus de 'thread' gaat door terwijl de write-opdracht pas net is verstuurd. Zo kan Samba met 'aio' async I/O doen. In de benchmarks merk je dat vooral als een soort NCQ voor je SSD, waarbij de 4K-64 score groter wordt ten opzichte van de 4K score.
Een echt accurate test zou dezelfde APIs moeten gebruiken als de applicatie die je probeert te simuleren. Dat is bij dd niet het geval, maar een goed alternatief ken ik niet. Zo hangt het bijvoorbeeld ook af of de applicatie 'Sendfile' ondersteunt. Dit is een andere manier afwikkeling van disk I/O wat tot kortere latencies zou moeten leiden omdat de direct uit RAM gelezen kan worden, ofzoiets. Dus je zou bijvoorbeeld ook Sendfile performance moeten benchmarken indien je applicatie dit gebruikt. Lighttpd en andere applicaties gebruiken namelijk ook Sendfile.
FreeBSD 9.1-RC3 draait prima hier. Als je gaat upgraden, kun je met beta8 ook makkelijk terug gaan. Je huidige installatie dus niet gelijk verwijderen. Zou je namelijk gezeik krijgen met RC3 dan switch je vrolijk weer terug naar RC1. Dat is juist de gein met het ZFSguru installatieverhaal.
Een echt accurate test zou dezelfde APIs moeten gebruiken als de applicatie die je probeert te simuleren. Dat is bij dd niet het geval, maar een goed alternatief ken ik niet. Zo hangt het bijvoorbeeld ook af of de applicatie 'Sendfile' ondersteunt. Dit is een andere manier afwikkeling van disk I/O wat tot kortere latencies zou moeten leiden omdat de direct uit RAM gelezen kan worden, ofzoiets. Dus je zou bijvoorbeeld ook Sendfile performance moeten benchmarken indien je applicatie dit gebruikt. Lighttpd en andere applicaties gebruiken namelijk ook Sendfile.
FreeBSD 9.1-RC3 draait prima hier. Als je gaat upgraden, kun je met beta8 ook makkelijk terug gaan. Je huidige installatie dus niet gelijk verwijderen. Zou je namelijk gezeik krijgen met RC3 dan switch je vrolijk weer terug naar RC1. Dat is juist de gein met het ZFSguru installatieverhaal.
* FireDrunk bedenkt dat dat ook gewoon remote kan...
* installing....
Oops, dan maar opnieuw installeren...
* installing....
migrating your services from old /services directory to new location /rootpool/zfsguru/services/9.1-004 has failed!
Oops
, dan maar opnieuw installeren...
[ Voor 52% gewijzigd door FireDrunk op 13-11-2012 10:28 ]
Even niets...
Ik had VirtualBox, Sources en Ports tree geinstalleerd.
Wat ook iritant is.. Static IP config gaat niet mee, passwords gaan niet mee...
** Fixed** je moet natuurlijk niet de disk image proberen te importeren...
Nieuwe VM aanmaken, en disk hergebruiken werkt beter
Bridged Alle networking lijkt stuk te zijn, kan niet vinden waarom...
virtio_load="YES"
virtio_pci_load="YES"
virtio_blk_load="YES"
if_vtnet_load="YES"
Stonden niet meer in rc.conf. Net toegevoegd, nu rebooten.
Wat ook iritant is.. Static IP config gaat niet mee, passwords gaan niet mee...
** Fixed** je moet natuurlijk niet de disk image proberen te importeren...
Nieuwe VM aanmaken, en disk hergebruiken werkt beter
Bridged Alle networking lijkt stuk te zijn, kan niet vinden waarom...
virtio_load="YES"
virtio_pci_load="YES"
virtio_blk_load="YES"
if_vtnet_load="YES"
Stonden niet meer in rc.conf. Net toegevoegd, nu rebooten.
[ Voor 254% gewijzigd door FireDrunk op 13-11-2012 12:08 ]
Even niets...
Je zit voor de helft je RAM te testen. Als je bijvoorbeeld 16GB geheugen hebt, word er maar 4GB daadwerkelijk met de snelheid van je disks geschreven, de rest staat in RAM.
Je moet met minimaal 5 keer je RAM testen voor een beetje accurate tests.
----
Ben er overigens achter waarom VirtualBox networking niet wil werken... De nieuwe versie van VirtualBox heeft een nieuwe versie van VirtIO... je moet je guest additions dus updaten en nieuwe kernel modules compilen.
Grmblgdverdmmmmee *KUT* UDEV...
even /etc/rules.d/70-persistent-net deleten in je VM's...
Ze krijgen een nieuw MAC adres natuurlijk, en dat vind een Ubuntu VM niet leuk...
Alles werkt nu dus weer
Je moet met minimaal 5 keer je RAM testen voor een beetje accurate tests.
----
Ben er overigens achter waarom VirtualBox networking niet wil werken... De nieuwe versie van VirtualBox heeft een nieuwe versie van VirtIO... je moet je guest additions dus updaten en nieuwe kernel modules compilen.
Grmblgdverdmmmmee *KUT* UDEV...
even /etc/rules.d/70-persistent-net deleten in je VM's...
Ze krijgen een nieuw MAC adres natuurlijk, en dat vind een Ubuntu VM niet leuk...
Alles werkt nu dus weer
[ Voor 19% gewijzigd door FireDrunk op 13-11-2012 12:59 ]
Even niets...
hmm. Ik vind het nog steeds extreem hoog 
Kan je je hele setup eens uitleggen?
Kan je je hele setup eens uitleggen?
Even niets...
Recap:
Checksum errors (geen smart, geen read/write-errors etc) na het schrijven van data (>1TB) naar een RAID-Z1 pool. Zie voorbeeld:
Naast schijven aansluiten op een onboard controller (INTEL) ipv. de IBM M1015 (IT) en andere schijven probleren (de in bovenstaande voorbeeld 250GB schijven) zijn ook andere RAID opties geprobeerd. R0 & R1 (3x 2 mirror) gevene nagenoeg geen checksum fouten.
Geheugen lijkt het probleem, maar memtest86 heeft 13 passes gedaan zonder fouten te vinden (16GB / 1,5dag ongeveer).
De vraag is, aangezien de storingen optreden onder FreeBSD (ZFSGURU), zijn er geen geheugentesten die werken op/onder FreeBSD?
Ik ga sowieso nog andere geheugentesten proberen, volgens mij kun je met Windows7 startup ook een geheugentest opstarten. Kan helaas pas over 2 weken weer hiermee verder, schiet niet op zo
Voor de volledigheid, enige andere optie die ik zie als probleem is de voeding, maar lijkt me dat ik dan meer fouten zou krijgen.
Ik ga nog wel met ZFSGURU door, want op het werk heb ik het op een PowerEdge 1950 draaien zonder problemen.
Checksum errors (geen smart, geen read/write-errors etc) na het schrijven van data (>1TB) naar een RAID-Z1 pool. Zie voorbeeld:
Naast schijven aansluiten op een onboard controller (INTEL) ipv. de IBM M1015 (IT) en andere schijven probleren (de in bovenstaande voorbeeld 250GB schijven) zijn ook andere RAID opties geprobeerd. R0 & R1 (3x 2 mirror) gevene nagenoeg geen checksum fouten.
Geheugen lijkt het probleem, maar memtest86 heeft 13 passes gedaan zonder fouten te vinden (16GB / 1,5dag ongeveer).
De vraag is, aangezien de storingen optreden onder FreeBSD (ZFSGURU), zijn er geen geheugentesten die werken op/onder FreeBSD?
Ik ga sowieso nog andere geheugentesten proberen, volgens mij kun je met Windows7 startup ook een geheugentest opstarten. Kan helaas pas over 2 weken weer hiermee verder, schiet niet op zo
Voor de volledigheid, enige andere optie die ik zie als probleem is de voeding, maar lijkt me dat ik dan meer fouten zou krijgen.
Ik ga nog wel met ZFSGURU door, want op het werk heb ik het op een PowerEdge 1950 draaien zonder problemen.
Het is inderdaad extreem hoog. Read doet zelfs 2247MB/s.
Meer heb ik eigenlijk niet ingesteld. Veel van de instellingen werken waarschijnlijk niet eens goed. Zoals de APM en advanced format.
Ik kom er net achter, dat ZFSGuru (en camcontrol for that matter) aangeven dat mijn M1015 geen APM ondersteunt.
MAAR, als je camcontrol stop da0 t/m da7 doet.
Gaan WEL keurig alle schijven downspinnen
Met andere woorden. De LSI / IBM controller ZEGT dat hij geen standby/idle ondersteunt, maar honoreert wel het commando richting de disks.
MAAR, als je camcontrol stop da0 t/m da7 doet.
Gaan WEL keurig alle schijven downspinnen
Met andere woorden. De LSI / IBM controller ZEGT dat hij geen standby/idle ondersteunt, maar honoreert wel het commando richting de disks.
Even niets...
Je bent een beetje voorbarig
ada == onboard
da == M1015...
Werkt dus prima... Enige probleem is dus, dat camcontrol het SCSI standby commando niet stuurt, maar het AHCI commando (denk ik...)
Dit is dus met de Spindown utility uit Ports.
Nu nog even kijken hoe ik die als deamon in rc.conf krijg.
Stopping device da0 Unit stopped successfully device: da0, max_idle_time: 600, rd: 735, wr: 960, frees: 0, other: 40, idle time: 600, state: Not spinning Stopping device da1 Unit stopped successfully device: da1, max_idle_time: 600, rd: 764, wr: 961, frees: 0, other: 40, idle time: 600, state: Not spinning Stopping device da2 Unit stopped successfully device: da2, max_idle_time: 600, rd: 760, wr: 953, frees: 0, other: 40, idle time: 600, state: Not spinning Stopping device da3 Unit stopped successfully device: da3, max_idle_time: 600, rd: 734, wr: 941, frees: 0, other: 40, idle time: 600, state: Not spinning Stopping device da4 Unit stopped successfully device: da4, max_idle_time: 600, rd: 686, wr: 970, frees: 0, other: 40, idle time: 600, state: Not spinning Stopping device da5 Unit stopped successfully device: da5, max_idle_time: 600, rd: 704, wr: 962, frees: 0, other: 40, idle time: 600, state: Not spinning Stopping device da6 Unit stopped successfully device: da6, max_idle_time: 600, rd: 737, wr: 959, frees: 0, other: 40, idle time: 600, state: Not spinning Stopping device da7 Unit stopped successfully device: da7, max_idle_time: 600, rd: 757, wr: 955, frees: 0, other: 40, idle time: 600, state: Not spinning Stopping device ada1 Error received from stop unit command (pass9:ahcich2:0:0:0): START STOP UNIT. CDB: 1b 0 0 0 0 0 (pass9:ahcich2:0:0:0): CAM status: CCB request was invalid spindown: Error spinning down device: ada1 device: ada1, max_idle_time: 600, rd: 683, wr: 963, frees: 0, other: 40, idle time: 600, state: Error Stopping device ada2 Error received from stop unit command (pass10:ahcich3:0:0:0): START STOP UNIT. CDB: 1b 0 0 0 0 0 (pass10:ahcich3:0:0:0): CAM status: CCB request was invalid
ada == onboard
da == M1015...
Werkt dus prima... Enige probleem is dus, dat camcontrol het SCSI standby commando niet stuurt, maar het AHCI commando (denk ik...)
Dit is dus met de Spindown utility uit Ports.
Nu nog even kijken hoe ik die als deamon in rc.conf krijg.
Even niets...
Ik ben net die service aan het bouwen testen, moment
APM werkte trouwens bagger, mijn disks gingen de hele tijd na 1 seconde inactivity al down.
Misschien kan powerd helpen.
Service draait, nu 10 minuutjes wachten
APM werkte trouwens bagger, mijn disks gingen de hele tijd na 1 seconde inactivity al down.
Misschien kan powerd helpen.
Service draait, nu 10 minuutjes wachten
[ Voor 73% gewijzigd door FireDrunk op 13-11-2012 19:13 ]
Even niets...
Op welke setting stel je APM dan in?
1 = spindown met maximale stroombesparing (na 1 seconden dus denk ik)
..
127 = spindown met minimale stroombesparing (na een uur spindown of zoiets)
128 = geen spindown, maximale stroombesparing (betekent vaak headparking)
254 = geen spindown, minimale stroombesparing (betekent vaak geen headparking)
Maar je kunt dus ook een APM instelilng van 60 ofzo proberen. ZFSguru web-interface laat je maar kiezen uit enkele instellingen, dat moet ook verbeterd worden. Daar heb ik wel wat ideeën over.
1 = spindown met maximale stroombesparing (na 1 seconden dus denk ik)
..
127 = spindown met minimale stroombesparing (na een uur spindown of zoiets)
128 = geen spindown, maximale stroombesparing (betekent vaak headparking)
254 = geen spindown, minimale stroombesparing (betekent vaak geen headparking)
Maar je kunt dus ook een APM instelilng van 60 ofzo proberen. ZFSguru web-interface laat je maar kiezen uit enkele instellingen, dat moet ook verbeterd worden. Daar heb ik wel wat ideeën over.
127 had ik, maar dat was de hele tijd downspinnen.
Service werkt overigens
Mijn 10-disk RAIDZ2 server, verbruikt momenteel: 53W 44W
Service werkt overigens
Mijn 10-disk RAIDZ2 server, verbruikt momenteel: 53W 44W
[ Voor 19% gewijzigd door FireDrunk op 13-11-2012 20:12 ]
Even niets...
Log ik weer 's aan op m'n OI/Napp-it ZPool - state: DEGRADED. Mental note: vaker onderhoud plegen...
Wat specs op 'n rij:
S.M.A.R.T. info voor c2t50024E9204438979d0
S.M.A.R.T. info voor c2t50024E920443898Bd0
En dan nu de hamvraag - wat te doen?
Wat specs op 'n rij:
- Supermicro X9SCM-F, Intel E3-1230, 16G
- 2x IBM 1015
- 10x Samsung HD204UI in RAIDZ2, allen voorzien van bugfree firmware
- VMWare 5.0.0 vanaf usb, met VM image van OI op 2.5" disk
- SunOS OI-NAS 5.11 oi_151a4 i86pc i386 i86pc
- napp-it v0.8h nightly May.03.2012
pool overview:
pool: dpool
state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
Sufficient replicas exist for the pool to continue functioning in a
degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
repaired.
scan: none requested
config:
NAME STATE READ WRITE CKSUM
dpool DEGRADED 0 0 0
raidz2-0 DEGRADED 0 0 0
c2t50024E9204438955d0 ONLINE 0 0 0
c2t50024E920443896Dd0 ONLINE 0 0 0
c2t50024E9204438979d0 FAULTED 0 0 0 too many errors
c2t50024E920443898Bd0 FAULTED 0 0 0 too many errors
c2t50024E920561485Fd0 ONLINE 0 0 0
c2t50024E9205C2A7CAd0 ONLINE 0 0 0
c2t50024E9205C2A7D4d0 ONLINE 0 0 0
c2t50024E9205C2A872d0 ONLINE 0 0 0
c2t50024E9205C2AAE1d0 ONLINE 0 0 0
c2t50024E9205C2AAF1d0 ONLINE 0 0 0
errors: No known data errors S.M.A.R.T. info voor c2t50024E9204438979d0
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (19620) seconds.
Offline data collection
capabilities: (0x5b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
No Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 255) minutes.
SCT capabilities: (0x003f) SCT Status supported.
SCT Error Recovery Control supported.
SCT Feature Control supported.
SCT Data Table supported.
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 100 100 051 Pre-fail Always - 449
2 Throughput_Performance 0x0026 252 252 000 Old_age Always - 0
3 Spin_Up_Time 0x0023 068 064 025 Pre-fail Always - 9919
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 103
5 Reallocated_Sector_Ct 0x0033 252 252 010 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 252 252 051 Old_age Always - 0
8 Seek_Time_Performance 0x0024 252 252 015 Old_age Offline - 0
9 Power_On_Hours 0x0032 100 100 000 Old_age Always - 697
10 Spin_Retry_Count 0x0032 252 252 051 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 100 000 Old_age Always - 2
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 103
181 Program_Fail_Cnt_Total 0x0022 100 100 000 Old_age Always - 12345309
191 G-Sense_Error_Rate 0x0022 100 100 000 Old_age Always - 13
192 Power-Off_Retract_Count 0x0022 252 252 000 Old_age Always - 0
194 Temperature_Celsius 0x0002 064 051 000 Old_age Always - 35 (Min/Max 18/49)
195 Hardware_ECC_Recovered 0x003a 100 100 000 Old_age Always - 0
196 Reallocated_Event_Count 0x0032 252 252 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 252 252 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 252 252 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0036 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x002a 100 100 000 Old_age Always - 715
223 Load_Retry_Count 0x0032 100 100 000 Old_age Always - 2
225 Load_Cycle_Count 0x0032 100 100 000 Old_age Always - 133
SMART Error Log Version: 1
No Errors Logged
SMART Self-test log structure revision number 1
Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Short offline Completed without error 00% 675 -
# 2 Short offline Completed without error 00% 675 -
# 3 Short offline Completed without error 00% 671 -
Note: selective self-test log revision number (0) not 1 implies that no selective self-test has ever been run
SMART Selective self-test log data structure revision number 0
Note: revision number not 1 implies that no selective self-test has ever been run
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Completed [00% left] (0-65535)
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testingS.M.A.R.T. info voor c2t50024E920443898Bd0
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (19920) seconds.
Offline data collection
capabilities: (0x5b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
No Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 255) minutes.
SCT capabilities: (0x003f) SCT Status supported.
SCT Error Recovery Control supported.
SCT Feature Control supported.
SCT Data Table supported.
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 100 100 051 Pre-fail Always - 130
2 Throughput_Performance 0x0026 252 252 000 Old_age Always - 0
3 Spin_Up_Time 0x0023 067 062 025 Pre-fail Always - 10009
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 99
5 Reallocated_Sector_Ct 0x0033 252 252 010 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 252 252 051 Old_age Always - 0
8 Seek_Time_Performance 0x0024 252 252 015 Old_age Offline - 0
9 Power_On_Hours 0x0032 100 100 000 Old_age Always - 698
10 Spin_Retry_Count 0x0032 252 252 051 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 100 000 Old_age Always - 2
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 102
181 Program_Fail_Cnt_Total 0x0022 100 100 000 Old_age Always - 12348494
191 G-Sense_Error_Rate 0x0022 100 100 000 Old_age Always - 2
192 Power-Off_Retract_Count 0x0022 252 252 000 Old_age Always - 0
194 Temperature_Celsius 0x0002 064 049 000 Old_age Always - 35 (Min/Max 17/51)
195 Hardware_ECC_Recovered 0x003a 100 100 000 Old_age Always - 0
196 Reallocated_Event_Count 0x0032 252 252 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 252 252 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 252 252 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0036 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x002a 100 100 000 Old_age Always - 362
223 Load_Retry_Count 0x0032 100 100 000 Old_age Always - 2
225 Load_Cycle_Count 0x0032 100 100 000 Old_age Always - 129
SMART Error Log Version: 1
No Errors Logged
SMART Self-test log structure revision number 1
Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Short offline Completed without error 00% 675 -
# 2 Short offline Completed without error 00% 671 -
Note: selective self-test log revision number (0) not 1 implies that no selective self-test has ever been run
SMART Selective self-test log data structure revision number 0
Note: revision number not 1 implies that no selective self-test has ever been run
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Completed [00% left] (0-65535)
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testingEn dan nu de hamvraag - wat te doen?
- ...ben geen S.M.A.R.T kenner
- verdenk één van de data kabels (mini SAS 36pin to 4x SATA), al 's eerder gedonder mee gehad
- heb dit forum al van voor naar achter doorgespit...
- ...heb de nodige generieke hints & tips gevonden in de troubleshooting guide
- uitsluiten hardware oorzaak in kabel en/of schijf --> hoe, iemand tips?
- indien schijf, pas dan Troubleshooting guide toe...
- vervolgens herstellen van de pool --> is 'zpool clear -F dpool' voldoende?
- scrub job via Napp-it schedulen --> iemand ervaring mee?
You need vision
:strip_icc():strip_exif()/u/75828/sid.jpg?f=community)
Net de 0.2 beta 8 van ZFSGuru geboot en aan 't installeren op een USB-stick zodat ik later op m'n server van USB kan booten (geen DVD-lezer), maar dat ding staat al een half uur te installeren, de webpagina blijft wel verversen, en het lichtje van de USB-stick blijft flikkeren. Het lijkt me dus niet dat het vastgelopen is. Is het normaal dat de installatie op een stick zoveel tijd in beslag neemt?
Got Leenucks? | Debian Bookworm x86_64 / ARM | OpenWrt: Empower your router | Blogje
@Borromini: je hebt een USB stick die 0,001MB/s aan random write doet; oeps! En 4K optimalisatie is ook wel aanbevolen. Maar laat maar draaien, uiteindelijk is hij klaar en dat booten (lezen) gaat een stuk sneller!
Betere USB sticks doen tussen de 0,1MB/s en 1MB/s random write. Dat is dus al 100 tot 1000 keer sneller! Een hardeschijf zit boven de 1MB/s aan 4K random writes als deze dicht op elkaar zitten (LBA range) anders 0,3MB/s full-LBA.
Deze USB-stick van 4 euro bij Paradigit doet het vrij aardig qua random write en kan ik wel aanbevelen:
pricewatch: Verbatim Store'n'Go Micro-USB 4GB Zwart
@bco: je SMART is wel oke. Kun je niets in je kernel logs vinden dat er errors waren met die disks? Heb je op solaris een 'dmesg' of kun je 'cat /var/log/messages' enzo doen? Rebooten al geprobeerd?
Betere USB sticks doen tussen de 0,1MB/s en 1MB/s random write. Dat is dus al 100 tot 1000 keer sneller! Een hardeschijf zit boven de 1MB/s aan 4K random writes als deze dicht op elkaar zitten (LBA range) anders 0,3MB/s full-LBA.
Deze USB-stick van 4 euro bij Paradigit doet het vrij aardig qua random write en kan ik wel aanbevelen:
pricewatch: Verbatim Store'n'Go Micro-USB 4GB Zwart
@bco: je SMART is wel oke. Kun je niets in je kernel logs vinden dat er errors waren met die disks? Heb je op solaris een 'dmesg' of kun je 'cat /var/log/messages' enzo doen? Rebooten al geprobeerd?
[ Voor 16% gewijzigd door Verwijderd op 13-11-2012 22:34 ]
:strip_icc():strip_exif()/u/4824/i.jpeg?f=community)
Dat zou wel moeten, VirtualBox Block Devices die door middel van VirtIO doorgegeven worden, zouden gewoon zichtbaar moeten zijn... Soms wil ZFSguru ze nog wel eens als USB stick markeren heb ik gemerkt
/offtopic ik ga er maar even vanuit dat je vdbd VirtualBox disks zijn
/offtopic ik ga er maar even vanuit dat je vdbd VirtualBox disks zijn
[ Voor 16% gewijzigd door FireDrunk op 13-11-2012 23:08 ]
Even niets...
Nee geen VirtualBox. KVM. De kernel ziet ze dus wel, alleen ZFSGuru webinterface compleet niet.:
Dat zou wel moeten, VirtualBox Block Devices die door middel van VirtIO doorgegeven worden, zouden gewoon zichtbaar moeten zijn... Soms wil ZFSguru ze nog wel eens als USB stick markeren heb ik gemerkt
/offtopic ik ga er maar even vanuit dat je vdbd VirtualBox disks zijn
Oh, heel duidelijk een ZFSguru probleem dus
Dan hoeven we het er niet over te hebben. Gewoon CiPHER poken...
Dan hoeven we het er niet over te hebben. Gewoon CiPHER poken...
Even niets...
async op NFS richting ZFS heeft weinig zin. NFS maakt de writes zelf namelijk sync als ze op je server arriveren. Een ZIL op een SSD of ZIL uitzetten is je enige optie om het sneller te maken.
Ik had dit probleem ook heel erg
Ik had dit probleem ook heel erg
Even niets...
/u/820/crop5dc1821dada95_cropped.png?f=community)
8.960 Wp - 16 kW Daikin L/W - 2 x MHI L/L - gasloos sinds 2017 - Loxone - SAP/IS-U/ABAP - rijdt nog LPG ;-)
8.960 Wp - 16 kW Daikin L/W - 2 x MHI L/L - gasloos sinds 2017 - Loxone - SAP/IS-U/ABAP - rijdt nog LPG ;-)
:strip_icc():strip_exif()/u/481635/images.jpg?f=community)
Dat is juist het merkwaardige, aanzetten, uitzetten, maakt niks uit. Deze regels blijven altijd in /etc/zfs/exports staan.
Ik zal /etc/zfs/exports even verwijderen/moven, NFS share opnieuw aanzetten en dan nog eens kijken.
[root@zfs[root@zfsguru /etc/zfs]# mv exports exports.old [root@zfsguru /etc/zfs]# ls -la total 24 drwxr-xr-x 2 root wheel 120 Nov 14 15:38 ./ drwxr-xr-x 20 root wheel 4200 Nov 13 15:50 ../ -rw------- 1 root wheel 61 Nov 14 15:38 exports -rw------- 1 root wheel 86 Nov 13 14:32 exports.mv [root@zfsguru /etc/zfs]# cat exports [root@zfs[root@zfsguru /etc/zfs]# cat exports # !!! DO NOT EDIT THIS FILE MANUALLY !!! /datatank/filesys [root@zfsguru /etc/zfs]# tail /var/log/messages Nov 14 15:33:28 zfsguru su: ssh to root on /dev/pts/0 Nov 14 15:38:23 zfsguru mountd[5328]: can't export /datatank/filesys Nov 14 15:38:23 zfsguru mountd[5328]: bad exports list line /datatank/filesys
Me no comprendo
[ Voor 46% gewijzigd door ElMacaroni op 14-11-2012 15:42 ]
SE2200+14xSF170S & SE1500M+4xTSM-375
Verwijderd
Mijn ZFS systeem is tergend traag geworden de laatste week. Ik heb dan een scub gestart om eens te zien ... 500kb/sec ... ojee. Zelfs na een uur was het nog maar 2-3Mb/sec. Terwijl hij voordien boven de 100Mb scrubte.
Daarna heb ik gefoefeld met de vfs.zfs.vdev.max_pending. Nu op 1 gezet en het is terug relatief bruikbaar. Maar de performance is nog altijd echt zwak te noemen. Scrubbed nu tegen 20Mb/sec en streams haperen nog steeds af en toe. Data kopiëren in dezelfde pool duurt ook een uur voor een paar GB. Dus er scheelt echt nog iets. De pool status openen op de webui is ook traag (10 secs ofzo).
Ik begin te denken dat ik met een kapotte schijf zit. Maar hoe kan ik zoiets valideren? De benchmark module slaagt soms af na een paar refreshes en sommige schijven krijg ik niet gestart dus het is een beetje een mixed bag. Dit lijkt me allesinds geen goed teken:
SMART values voor die schijf:
http://cl.ly/image/0o002G2G102X
Suggesties? Thoughts?
Daarna heb ik gefoefeld met de vfs.zfs.vdev.max_pending. Nu op 1 gezet en het is terug relatief bruikbaar. Maar de performance is nog altijd echt zwak te noemen. Scrubbed nu tegen 20Mb/sec en streams haperen nog steeds af en toe. Data kopiëren in dezelfde pool duurt ook een uur voor een paar GB. Dus er scheelt echt nog iets. De pool status openen op de webui is ook traag (10 secs ofzo).
Ik begin te denken dat ik met een kapotte schijf zit. Maar hoe kan ik zoiets valideren? De benchmark module slaagt soms af na een paar refreshes en sommige schijven krijg ik niet gestart dus het is een beetje een mixed bag. Dit lijkt me allesinds geen goed teken:
SMART values voor die schijf:
http://cl.ly/image/0o002G2G102X
Suggesties? Thoughts?
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
| [root@zfsguru /home/ssh]# zpool status tank
pool: tank
state: ONLINE
scan: scrub in progress since Sun Nov 11 20:59:15 2012
4.07T scanned out of 8.40T at 20.2M/s, 62h28m to go
0 repaired, 48.41% done
config:
NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
gpt/wd2tb-4-data ONLINE 0 0 0
gpt/wd2tb-5-data ONLINE 0 0 0
gpt/wd2tb-3-data ONLINE 0 0 0
gpt/wd2tb-2-data ONLINE 0 0 0
gpt/wd2tb-1-data ONLINE 0 0 0
gpt/wd2tb-6-data-real ONLINE 0 0 0 |
Verwijderd
Ja. Heb de scrub afgezet en alles nog is opnieuw gedraaid. Ik denk ook dat ik de benchmark de vorige keer dubbel aan het draaien was. Soms geeft deze plots aan dat er geen meer bezig is en dan nog is geklikt vermoedelijk. In elk geval ... ada2 is veel beter nu.
ada3 daar zijn misschien wel wat problemen mee.
Op de grafiek lijkt het niet zo heel erg maar de simple benchmark zelf duurt wel veel langer als de anderen.
Ik heb diskinfo -t /dev/ada3 gedaan en dat ziet er niet zo best uit. Vergelijking tussen ada0 en ada3. Zou dit kunnen verklaren waarom ik zo een slechte read & write speed heb? Vrees wel dat ik ze ga moeten omruilen.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
| [root@zfsguru ~]# diskinfo -t /dev/ada0
/dev/ada0
512 # sectorsize
2000398934016 # mediasize in bytes (1.8T)
3907029168 # mediasize in sectors
4096 # stripesize
0 # stripeoffset
3876021 # Cylinders according to firmware.
16 # Heads according to firmware.
63 # Sectors according to firmware.
WD-WCAZAE986213 # Disk ident.
Seek times:
Full stroke: 250 iter in 5.959844 sec = 23.839 msec
Half stroke: 250 iter in 4.365644 sec = 17.463 msec
Quarter stroke: 500 iter in 7.479887 sec = 14.960 msec
Short forward: 400 iter in 2.315909 sec = 5.790 msec
Short backward: 400 iter in 2.545899 sec = 6.365 msec
Seq outer: 2048 iter in 0.241152 sec = 0.118 msec
Seq inner: 2048 iter in 0.230626 sec = 0.113 msec
[root@zfsguru ~]# diskinfo -t /dev/ada3
/dev/ada3
512 # sectorsize
2000398934016 # mediasize in bytes (1.8T)
3907029168 # mediasize in sectors
4096 # stripesize
0 # stripeoffset
3876021 # Cylinders according to firmware.
16 # Heads according to firmware.
63 # Sectors according to firmware.
WD-WCAZAE637965 # Disk ident.
Seek times:
Full stroke: 250 iter in 63.550349 sec = 254.201 msec
Half stroke: 250 iter in 33.799519 sec = 135.198 msec
Quarter stroke: 500 iter in 108.247500 sec = 216.495 msec
Short forward: 400 iter in 37.218608 sec = 93.047 msec
Short backward: 400 iter in 32.167061 sec = 80.418 msec
Seq outer: 2048 iter in 2.190496 sec = 1.070 msec
Seq inner: 2048 iter in 0.253944 sec = 0.124 msec
Transfer rates:
outside: 102400 kbytes in 24.720245 sec = 4142 kbytes/sec
middle: 102400 kbytes in 17.546034 sec = 5836 kbytes/sec
inside: 102400 kbytes in 8.633862 sec = 11860 kbytes/sec |
Kon sochtends plots niets meer streamen. Alles sloeg af, continu buffering. Ik dacht dat de slowdowns eerst kwamen omdat er plaatsgebrek was. Hij zat voor 90% vol. Ik heb een terrabyte weten te deleten dus nu weer 80%. Bleef nog steeds traag draaien. Settings wat zitten wijzigen daarna en nog steeds traag dus nu zoek ik pas achter hardware problemen
Ik vond het straf dat ik van een onbruikbaar systeem plots naar een half bruikbaar systeem kon gewoon door de vdev.max_pending op 1 te zetten.
Test die voeding nu maar. Had je al lang moeten doen. Trek eens een extra zware voeding uit een bestaande pc of zo.
Ik had van de week, na een 8 uur durende scrub, ook opeens eens een samba doorvoer van 1MB/s , op Ubuntu. Dat terwijl ik normaal rond de 90 zit. Ik heb het niet uitgezocht want een server reset loste het op maar ik begin haast te denken dat er een probleem in ZFS zit. Dat hij resources op maakt tijdens het scrubben of zo. Memory?:
Kon sochtends plots niets meer streamen. Alles sloeg af, continu buffering. Ik dacht dat de slowdowns eerst kwamen omdat er plaatsgebrek was. Hij zat voor 90% vol. Ik heb een terrabyte weten te deleten dus nu weer 80%. Bleef nog steeds traag draaien. Settings wat zitten wijzigen daarna en nog steeds traag dus nu zoek ik pas achter hardware problemen
[ Voor 60% gewijzigd door Durandal op 15-11-2012 02:11 ]