Samsung spinpoints, rare smart problemen?

[Boudewijn]

Hoi,


Ik heb het donkerbruine vermoeden dat vannacht een disk in mijn software raid1 array is gecrashed.
Het gaat hier om 1TB samsung spinpoints, op een sata interface (dingen zijn maanden oud, verdikkeme).
OS is debian. Disks hangen op de onboard
Echter kan smartctl weinig met deze disks:

code:

calzone:/home/boudewijn# smartctl -i /dev/sda
smartctl version 5.36 [x86_64-unknown-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

Device: ATA      SAMSUNG HD103UJ  Version: 1AA0
Serial number: S13PJ1BQ611930
Device type: disk
Local Time is: Sun Nov  2 16:22:42 2008 CET
Device does not support SMART

De reden waarom ik wat paniek heb is dat vmware vastliep (al gereboot), en:

code:

calzone:/home/boudewijn# cat /proc/mdstat
Personalities : [raid0] [raid1]
md3 : active raid1 sda4[2](F) sdb4[1]
      876891840 blocks [2/1] [_U]

md2 : active raid0 sda3[0] sdb3[1]
      3919616 blocks 64k chunks

md1 : active raid1 sda2[0] sdb2[2](F)
      97659008 blocks [2/1] [U_]

md0 : active raid1 sda1[0] sdb1[1]
      248896 blocks [2/2] [UU]

Maar goed, ik wil graag wat meer info. Weet iemand een tooltje dat wel met deze disk overweg kan?

Fysieke access tot deze doos heb ik niet 1-2-3, hij hangt in de colo.

[Tomsworld]

Bizar want ik had ooit wel smartctl toegang tot die dingen.

Wat wel vervelend is is dat het dan niet eens consistent is.

Bij de ene array is de ene disk failed bij de andere de andere.

Rebuild forcen en hopen dat hij zelf de bad sectors realloceerd ?

[Boudewijn]

Hmm, dat zou een strategie kunnen zijn, maar loop ik dan niet een gigantisch risico op inconsistencies? .

[gertvdijk]

Gebruik de -d ata optie

# smartctl -i /dev/sda
smartctl version 5.36 [x86_64-unknown-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

Device: ATA      SAMSUNG HD501LJ  Version: CR10
Serial number: S0MUJR0Q400199
Device type: disk
Local Time is: Mon Nov  3 01:39:25 2008 CET
Device does not support SMART

# smartctl -d ata -i /dev/sda
smartctl version 5.36 [x86_64-unknown-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

=== START OF INFORMATION SECTION ===
Device Model:     SAMSUNG HD501LJ
Serial Number:    S0MUJR0Q400199
Firmware Version: CR100-12
User Capacity:    500,107,862,016 bytes
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   8
ATA Standard is:  Not recognized. Minor revision code: 0x52
Local Time is:    Mon Nov  3 01:39:43 2008 CET

==> WARNING: May need -F samsung or -F samsung2 enabled; see manual for details.

SMART support is: Available - device has SMART capability.
SMART support is: Enabled

mdadm wil overigens nog wel eens een device niet voor alle RAID arrays arrangen. Als de schijf niet rot is kan je hem gewoon hot-adden:

mdadm /dev/md0 -a /dev/sdb1

Voor meldingen waarom mdadm je device als "fail" ziet (zoals in je post) kan je syslog bekijken.

_AuToMaTiC_ schreef op maandag 03 november 2008 @ 01:41:
Welke raid controller heb je.

mdadm=software RAID

[ Voor 106% gewijzigd door gertvdijk op 03-11-2008 01:48 ]

[_AuToMaTiC_]

Welke raid controller heb je. Een aantal van die samsung disken hebben problemen met raid controllers.
Edit: Aan de andere kant. Als het al 3 maanden prima draait dan zijn compebiliteitsproblemen bijna uitgesloten.

mdadm=software RAID

Ok, compebiliteitsproblemen zijn alleen maar bij hardwarematige raid.

[ Voor 55% gewijzigd door _AuToMaTiC_ op 03-11-2008 01:51 ]

[Boudewijn]

Nou, ik ben er niet happig op om die disk als een lompe boer aan mijn raid array te adden zolang ik niet weet dat hij goed is:

code:

SCSI device sda: drive cache: write back
ata2.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
ata2.00: tag 0 cmd 0xb0 Emask 0x1 stat 0x51 err 0x4 (device error)
ata2: EH complete
ata2.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
ata2.00: tag 0 cmd 0xb0 Emask 0x1 stat 0x51 err 0x4 (device error)
ata2: EH complete
ata2.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
ata2.00: tag 0 cmd 0xb0 Emask 0x1 stat 0x51 err 0x4 (device error)
ata2: EH complete
ata2.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
ata2.00: tag 0 cmd 0xb0 Emask 0x1 stat 0x51 err 0x4 (device error)
ata2: EH complete
ata2.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
ata2.00: tag 0 cmd 0xb0 Emask 0x1 stat 0x51 err 0x4 (device error)
ata2: EH complete
ata2.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
ata2.00: tag 0 cmd 0xb0 Emask 0x1 stat 0x51 err 0x4 (device error)
ata2: EH complete
SCSI device sdb: 1953525168 512-byte hdwr sectors (1000205 MB)
sdb: Write Protect is off
sdb: Mode Sense: 00 3a 00 00
SCSI device sdb: drive cache: write back
SCSI device sdb: 1953525168 512-byte hdwr sectors (1000205 MB)
sdb: Write Protect is off
sdb: Mode Sense: 00 3a 00 00

Zien we in dmesg, nadat we hebben zitten te smartctl'en.

code:

=== START OF INFORMATION SECTION ===
Device Model:     SAMSUNG HD103UJ
Serial Number:    S13PJ1BQ611934
Firmware Version: 1AA01112
User Capacity:    1,000,204,886,016 bytes
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   7
ATA Standard is:  Not recognized. Minor revision code: 0x52
Local Time is:    Mon Nov  3 08:10:41 2008 CET

==> WARNING: May need -F samsung or -F samsung2 enabled; see manual for details.

SMART support is: Available - device has SMART capability.
SMART support is: Enabled

calzone:/home/boudewijn# smartctl -i -d ata  /dev/sda
smartctl version 5.36 [x86_64-unknown-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

=== START OF INFORMATION SECTION ===
Device Model:     SAMSUNG HD103UJ
Serial Number:    S13PJ1BQ611930
Firmware Version: 1AA01112
User Capacity:    1,000,204,886,016 bytes
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   7
ATA Standard is:  Not recognized. Minor revision code: 0x52
Local Time is:    Mon Nov  3 08:10:43 2008 CET

==> WARNING: May need -F samsung or -F samsung2 enabled; see manual for details.

SMART support is: Available - device has SMART capability.
SMART support is: Enabled

Vervolgens:

code:

calzone:/home/boudewijn#  smartctl -d ata -H /dev/sda
smartctl version 5.36 [x86_64-unknown-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

calzone:/home/boudewijn#  smartctl -d ata -H /dev/sdb
smartctl version 5.36 [x86_64-unknown-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

Ook met

code:

 smartctl -d ata -a /dev/sda

geen errors te vinden.


Is die disk nou fuxored of niet? .

[gertvdijk]

Ik denk dat de schijf gewoon nog goed is en dat mdadm gewoon wat gevoelig reageerde op een hickup van de schijf, om wat voor reden dan ook.
Wat je kan doen is de disk even helemaal te removen uit de array:

mdadm /dev/md0 -r /dev/sdb1

(voor al je arrays natuurlijk). Is in een van de arrays de schijf nog niet gafailed kan je een fail 'veroorzaken':

mdadm /dev/md0 --fail /dev/sdb1

en dan te removen. Vervolgens de partitietabel even opnieuw te kopiëren:

sfdisk -d /dev/sda > /root/sda.out
sfdisk /dev/sdb < /root/sda.out

waarbij sda de source schijf is en sdb de destination schijf. En dan weer te adden:

mdadm /dev/md0 -a /dev/sdb1

De voortgang van de sync zie je dan ook weer in /proc/mdstat.

De korte, minder veilige weg is om aan de arrays gewoon weer de schijf toe te voegen en dan opnieuw te laten syncen. Het zou geen problemen op moeten leveren en zeker niet mogen gebeuren dat de data van je 'rotte' schijf naar de goede gaat.

Wat zijn de waarden van UDMA_CRC_Error_Count voor de schijf? Het ziet er namelijk naar uit dat er wat fouten optreden met de communicatie met de controller. Dan kan de SMART status nog passed zijn, maar is de communicatie verstoord met de controller. Gebruik de -a optie

smartctl -d ata -a /dev/sda

[ Voor 13% gewijzigd door gertvdijk op 03-11-2008 14:07 ]

[Boudewijn]

code:

Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   100   100   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0007   076   076   011    Pre-fail  Always       -       7910
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       17
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   253   253   051    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0025   100   100   015    Pre-fail  Offline      -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       472
 10 Spin_Retry_Count        0x0033   100   100   051    Pre-fail  Always       -       0
 11 Calibration_Retry_Count 0x0012   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       17
 13 Read_Soft_Error_Rate    0x000e   100   100   000    Old_age   Always       -       0
183 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
184 Unknown_Attribute       0x0033   100   100   099    Pre-fail  Always       -       0
187 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
188 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
190 Unknown_Attribute       0x0022   075   075   000    Old_age   Always       -       420937753
194 Temperature_Celsius     0x0022   075   075   000    Old_age   Always       -       25 (Lifetime Min/Max 0/6935)
195 Hardware_ECC_Recovered  0x001a   100   100   000    Old_age   Always       -       179413714
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       2
198 Offline_Uncorrectable   0x0030   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   100   100   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x000a   100   100   000    Old_age   Always       -       0
201 Soft_Read_Error_Rate    0x000a   253   253   000    Old_age   Always       -       0

Ziet er goed uit.
Idem voor de andere disk.
Anderzijds: het is wel een risico, als de zaak zo alsnog niet blijkt te werken.


Ik begin bijna te geloven dat die disk goed is , net maar eens de selftests aangezet voor beide disk.
Ik hoop dat ze het doorstaan.

[Boudewijn]

Een testje op sda:

code:

SMART Self-test log structure revision number 0

Warning: ATA Specification requires self-test log structure revision number = 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed: read failure       20%       472         1953517924
# 2  Short offline       Aborted by host               20%       472         -
# 3  Extended offline    Aborted by host               90%       472         -

SMART Selective Self-Test Log Data Structure Revision Number (0) should be 1
SMART Selective self-test log data structure revision number 0
Warning: ATA Specification requires selective self-test log data structure revision number = 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Ik heb 1 extended test gekilld en 1 shorts laten lopen.
Ziet er niet echt gaaf uit eerlijk gezegd...

Idem voor sdb:

code:

SMART Self-test log structure revision number 0
Warning: ATA Specification requires self-test log structure revision number = 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed: read failure       20%       472         128119832

offtopic:
Shit dubbelpost, sorry

[ Voor 13% gewijzigd door Boudewijn op 03-11-2008 14:59 ]

[Kanarie]

Kun je NCQ uitschakelen? Die F1's willen er nog wel eens timeouts maken wanneer NCQ aanstaat. Bij zo'n timeout gooit een RAID array de schijf eruit.

[gertvdijk]

code:

# 1  Short offline       Completed: read failure

Ziet er niet lekker uit inderdaad, maar kan ook gewoon iets gaars zijn van die Samsung disks, omdat je andere schijf het ook heeft blijkbaar.

Trouwens, nog een tip om smartd (een daemon die alles voor je monitort) te configureren (/etc/smartd.conf):

code:

/dev/sda -a -d ata -m <e-mail adres of lokale user>
/dev/sdb -a -d ata -m <e-mail adres of lokale user>

En DEVICESCAN uitzetten, omdat ie dan niet de -d ata optie meeneemt. Vervolgend /etc/default/smartmontools aanpassen zodat start_smartd=yes staat en smartmontools starten: /etc/init.d/smartmontools start

[ Voor 15% gewijzigd door gertvdijk op 03-11-2008 15:04 ]

[Boudewijn]

Ja ik weet, heb de documentatie ook eens gelezen .

Maarruh ik twijfel nu of ik die disks eruit ga donderen of niet.

Nadelen van eruit donderen:
Downtime
Geld
Tijd.

Voordeel:
Zekerheid dat de disks goed zijn (hopelijk dan ).


Maar goed, iemand nog ideeen om dit te checken?

[gertvdijk]

Boudewijn schreef op maandag 03 november 2008 @ 15:13:
Nadelen van eruit donderen:
Downtime
Geld
Tijd.

Downtime hoeft helemaal niet. Je koopt een derde schijf, sdc, voegt sdc toe (hot spare), schopt sdb eruit (syncen begint), je koopt sdd, voegt sdd toe aan de array (hot spare), en je schopt sda uit de array (nogmaals syncen). Resultaat: zonder downtime op nieuwe schijven. Vorige week nog gedaan.
Kost geld die nieuwe schijven, true. Tijd, ach, valt mee. Het syncen duurt 200 minuten ofzo, maar je kan ondertussen gewoon andere dingen doen.

Boudewijn schreef op maandag 03 november 2008 @ 15:13:
Ja ik weet, heb de documentatie ook eens gelezen .

Staat niet in de docs voor zover ik kan zien voor Debian Etch. Is ook pas sinds 2.6.15 dat S-ATA schijven op libata zitten. In diverse how-to's op het internet kom ik het wel tegen.

Boudewijn schreef op maandag 03 november 2008 @ 15:13:
Voordeel:
Zekerheid dat de disks goed zijn (hopelijk dan ).

Risico spreiden door verschillende harddisks te kopen, vooral verschillende merken.

[ Voor 42% gewijzigd door gertvdijk op 03-11-2008 15:21 ]

[Boudewijn]

1U pizzadoos in een rack.
Kast moet rack uit .

Geen 3e sata aansluiting (thanks ibm!).

200 minuten @ KPN DC2 is geen fun .


Sowieso durf ik nu niet die array te disablen.

Dit is trouwens wel raar:
md1:

code:

    Number   Major   Minor   RaidDevice State
       0       8        2        0      active sync   /dev/sda2
       1       0        0        1      removed

       2       8       18        -      faulty spare   /dev/sdb2

md3:

code:

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8       20        1      active sync   /dev/sdb4

       2       8        4        -      faulty spare   /dev/sda4

let op sda vs. sdb.

Beide schijven toch fuxored ?

[gertvdijk]

Het is vreemd, maar ik had dit ook vaak op een Debian Sarge installatie die we altijd zo aantroffen na een reboot. Na herinstallatie met Etch hadden we dit niet meer.
Oplossing was altijd de faulty spare removen en weer adden aan de array.

[ Voor 44% gewijzigd door gertvdijk op 03-11-2008 15:34 ]

[Boudewijn]

ja ik zit daar ook maar even aan te denken.
Lange zelftest is rond 1730 klaar.

Ik zit erover te denken toch maar even 2 extra diskjes op te gaan halen .
Heb nog zo'n zelfde pizzadoos (e326 van ibm), dus desnoods wissel ik de hele doos om en kijk thuis op mijn gemakkie.


Ik ga van een van die arrays eens de spare verwijderen (de swap array welteverstaan ).

[gertvdijk]

Boudewijn schreef op maandag 03 november 2008 @ 15:34:
Ik ga van een van die arrays eens de spare verwijderen (de swap array welteverstaan ).

code:

md2 : active raid0 sda3[0] sdb3[1]
      3919616 blocks 64k chunks

Als dit je swap is (gokje) kan je moeilijk daar een schijf uittrekken, die is raid0.

[Boudewijn]

Dat is idd de swap.

maar daar kan ik raid1 van maken.
Gebruik de swap toch niet echt .


Alhoewel ,fock it.
Als zo de nieuwe backup (toch maar een extra ingelast) klaar is zal ik het gewoon met /home doen.
Op hoop van zegen

[ Voor 44% gewijzigd door Boudewijn op 03-11-2008 15:43 ]

[zomertje]

Op verzoek van TS de titel aangepast naar iets wat meer de lading dekt

[Boudewijn]

Tijd voor nog wat wtf-emoties:

code:

calzone:/home/boudewijn# smartctl -d ata -H /dev/sda
smartctl version 5.36 [x86_64-unknown-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

calzone:/home/boudewijn# smartctl -d ata -H /dev/sdb
smartctl version 5.36 [x86_64-unknown-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

Beide disks prima.


Ook geen CRC errors, en toch komt hij niet door die self-tests heen.

Lijkt me dus dat de disks gewoon goed zijn, maar de software gaar. De machine blijft trouwens ook gewoon netjes draaien.
Wat denken jullie?

offtopic:
Zou ik dit gezeik ook gehad hebben met een hw-raid kaart?

[Kanarie]

offtopic:
Zou ik dit gezeik ook gehad hebben met een hw-raid kaart?

Ja, iig met F1 schijven.

[Boudewijn]

Maar omdat jij denkt dat het een HW probleem is?

* Boudewijn begint telkens meer in een sw probleem te geloven.

De /home partitie is aan het restoren. Duurt nog wel eventjes (minuutje of 500).
Ik loop atm met een set schijven in mijn tas voor als de zaak zo alsnog dood gaat trouwens .

[_JGC_]

Overigens raad ik je aan om een nieuwere versie van smartmontools te gebruiken, 5.38 zit gewoon in etch-backports: http://packages.debian.org/etch-backports/smartmontools
Met 5.38 hoef je geen speciale opties op te geven om SMART te laten werken met libata.

[Boudewijn]

Smartmontools is geupdate, maar zelfde geneuzel.

Disks uit array gedonderd en gerebuild, en het werkt nog ja (beetje bout dat hij niet harder wil dan 20000k per sec, weet iemand waar dat te fixen is? Is niet grappig met 800gb oid).

De array is nog steeds heel (na 6 uur draaien).
Raar verhaal...

Ik heb nog zo'n zelfde pizzadoos, daar gaan morgen 2 van die zelfde disks in om te kijken of ik dit kan reproduceren, want het is en blijft een raar verhaal.

[gertvdijk]

Boudewijn schreef op dinsdag 04 november 2008 @ 23:07:
Disks uit array gedonderd en gerebuild, en het werkt nog ja (beetje bout dat hij niet harder wil dan 20000k per sec, weet iemand waar dat te fixen is? Is niet grappig met 800gb oid).

In een draaiende array kreeg ik het niet harder dan 32000 k/s en in een niet-actieve array 78000 k/s. Zal wel te maken hebben met I/O prioritisering ofzo.

[ph0t0nix]

Boudewijn schreef op dinsdag 04 november 2008 @ 23:07:
Disks uit array gedonderd en gerebuild, en het werkt nog ja (beetje bout dat hij niet harder wil dan 20000k per sec, weet iemand waar dat te fixen is? Is niet grappig met 800gb oid).

code:

cat /proc/sys/dev/raid/speed_limit_max
200000
cat /proc/sys/dev/raid/speed_limit_min
1000

Zie: hier en hier