ARC1220 failed device, free device en wederom failed

[Matis]

En toen klapte zaterdag mijn pricewatch: Western Digital Caviar GreenPower WD20EARS, 2TB op kanaal 08 er uit.
Failed device
Ik de schijf opnieuw aangesloten, als hot spare ingesteld en toen ging de pricewatch: Areca ARC-1220 weer netjes bouwen.
Toen ik zondagochtend keek, zat hij al weer op 38% van de rebuild van 8.0TB. Dus ik was tevreden.
Totdat zojuist, de schijf op kanaal 08 er wederom uitklapte. Wederom Failed device
Deze sequentie heb ik momenteel 3 keer doorlopen, de laatste 2 keer slaagde de rebuild wel en heeft de schijf ongeveer 6 uur probleemloos gedraaid na het rebuilden. Echter na de laatste fail lijkt de schijf echt dood te blijven.
Nu is de set dus Degraded en ik weet niet echt wat ik kan doen om de device te testen om te zien wat er fout is.
Hebben jullie ervaring met zulke problemen?

Ik heb net even smartctl aangeslingerd en dit was het resultaat

hemy@hemy-server:~$ sudo smartctl --all /dev/sda
smartctl version 5.38 [i686-pc-linux-gnu] Copyright (C) 2002-8 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

Device: Areca    ARC-1220-VOL#01  Version: R001
Serial number: 0000000216336337
Device type: disk
Transport protocol: Fibre channel (FCP-2)
Local Time is: Sun May 29 12:45:47 2011 CEST
Device supports SMART and is Enabled
Temperature Warning Disabled or Not Supported
SMART Health Status: OK

Current Drive Temperature:     30 C
Drive Trip Temperature:        25 C
Manufactured in week 30 of year 2002
Recommended maximum start stop count:  4278190080 times
Current start stop count:      256 times
Elements in grown defect list: 0

Error counter log:
           Errors Corrected by           Total   Correction     Gigabytes    Total
               ECC          rereads/    errors   algorithm      processed    uncorrected
           fast | delayed   rewrites  corrected  invocations   [10^9 bytes]  errors
read:          0        0         0         0          0          0.000           0
write:         0        0         0         0          0          0.000           0

Non-medium error count:        0
Device does not support Self Test logging

Wanneer ik de cli32 van Areca draai, krijg ik segfaults wanneer ik de SMART status opvraag van een bestaande/aanwezige schijf;

Copyright (c) 2004-2009 Areca, Inc. All Rights Reserved.
Areca CLI, Version: 1.83, Arclib: 290, Date: Nov  2 2009( Linux )

 S  #   Name       Type             Interface
==================================================
[*] 1   ARC-1220   Raid Controller  PCI
==================================================

CMD     Description
==========================================================
main    Show Command Categories.
set     General Settings.
rsf     RaidSet Functions.
vsf     VolumeSet Functions.
disk    Physical Drive Functions.
sys     System Functions.
net     Ethernet Functions.
event   Event Functions.
hw      Hardware Monitor Functions.
mail    Mail Notification Functions.
snmp    SNMP Functions.
ntp     NTP Functions.
exit	Exit CLI.
==========================================================
Command Format: <CMD> [Sub-Command] [Parameters].
Note: Use <CMD> -h or -help to get details.
CLI> disk smart drv=01
ErrMsg: Drive# Is Not Available

CLI> disk smart drv=08
Segmentation fault
hemy@hemy-server:~$ 

Het gaat om de schijf op channel 08. Ik heb tevens een andere voedingsstreng geprobeerd en ook de SATA-kabels onderling en met andere uitgewisseld, maar de #08 blijft problemen geven.
De schijven zijn nog geen twee maanden oud, maar eentje is er nu dus al overleden.
Ik heb hiervoor vier pricewatch: Western Digital Caviar Green WD10EADS, 1TB gehad en die hebben altijd probleemloos gewerkt.

Mochten jullie nog meer info willen hebben aangaande versienummers van de FW of andere info, dan hoor ik het graag.

Hier nog de specs van mijn Ubunti 10.04-2 x86 machine:

#	Product	Prijs	Subtotaal
1	Areca ARC-1220	€ 354,-	€ 354,-
1	Intel PRO/1000 GT	€ 22,60	€ 22,60
4	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 62,-	€ 248,-
1	Samsung Spinpoint M80 HM160JI, 160GB SATA-150, 8MB, 5400rpm	€ 0,-	€ 0,-
1	Norcotek RPC-450	€ 113,59	€ 113,59
1	AMD Sempron LE-1250	€ 95,20	€ 95,20
1	Kingston ValueRAM KVR800D2N6/2G	€ 22,89	€ 22,89
1	Gigabyte GA-MA74GM-S2H	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 856,28

[Anoniem: 15758]

EARS en nieuwere EADS ondersteunen geen TLER en dat is nodig om te voorkomen dat een weak sector ervoor zorgt dat je hele schijf als 'failed' wordt beschouwd en je een broken array krijgt. Areca beschouwt net als vele andere hardware RAID een schijf als failed als die niet binnen ~10 seconden reageert, terwijl normale desktop schijven een veel hogere timeout hanteren bij recovery.

Dus dit is een heel bekend probleem; duizenden mensen hebben er last van. Ook met onboard RAID. Ik durf zelfs te stellen dat de meeste thuisgebruikers een failed array krijgen door dit probleem, dan door daadwerkelijke failed disks. Stel je voor dat je aan het rebuilden bent en een van de resterende disk members krijgt hetzelfde: dan zit je met een failed array die je niet meer kunt rebuilden. Lekker veilig zo'n RAID5.

De oplossing is TLER disks kopen of software RAID onder Linux/BSD. RAID5 kun je ook niet meer als veilig beschouwen zeker niet met stricte timeouts. Als een veilig Linux/BSD alternatief niet mogelijk/wenselijk is adviseer ik je om heftig te investeren in backups en niet te vertrouwen dat je Areca controller je data wel veilig houdt. Dit gaat een keer volledig mis!

Misschien nog wel handig om je SMART data te posten van de schijven die eruit geknikkerd zijn. En dan geen self-test doen of andere nutteloze info maar de SMART attributes waar het allemaal om draait. Eventueel kun je de disk op een normale (onboard) IDE/AHCI controller aansluiten en dan normaal de SMART uitlezen. Het gaat dan met name om:
- Reallocated Sector Count (passieve bad sectors)
- Current Pending Sectors (actieve bad sectors; dit is wat disk dropouts veroorzaakt)
- UDMA CRC Error Count (foute kabels)

[Matis]

Bedankt voor je uitgebreide antwoord. Maw, ik heb de verkeerde schijven gekocht voor mijn RAID-array.
Software Raid onder Linux ben ik juist vanaf gestapt, mede omdat mijn systeem (energiezuinig) de CPU-load niet aankon van de disks; Zie ook mijn voorgaande topic: [dilemma] RAID-controller of nieuw moederbord met RAID 5
Wat ik does moet doen om het werkend te krijgen/houden op mijn Areca, is dus een TLER-enabled schijf van WD/Samsung kopen?

In de PW zit er geen filter waarin je dat kunt specificeren;

[Voor 7% gewijzigd door Matis op 31-05-2011 13:29]

[TERW_DAN]

Ik heb hetzelfde gezeur gehad (EADSjes van WD), vervolgens vervangen door RE versies die toevallig betaalbaar in V&A stonden, en sindsdien geen gezeik meer gehad met die array.

[KnoxNL]

Zelf gebruik ik deze naar volle tevredenheid in 2 qnap 8 bay nassen:

pricewatch: Western Digital RE4 WD2003FYYS, 2TB

[Matis]

Terw_Dan schreef op dinsdag 31 mei 2011 @ 13:33:
Ik heb hetzelfde gezeur gehad (EADSjes van WD), vervolgens vervangen door RE versies die toevallig betaalbaar in V&A stonden, en sindsdien geen gezeik meer gehad met die array.

De WD10AEDS-jes die ik voorheen heb gehad, hebben altijd prima gedraaid. Misschien dat het mazzel is geweest of kwalitatief goede disks, maar na een maand al TLER-problemen, damn

KnoxNL schreef op dinsdag 31 mei 2011 @ 13:34:
Zelf gebruik ik deze naar volle tevredenheid in 2 qnap 8 bay nassen:

pricewatch: Western Digital RE4 WD2003FYYS, 2TB

Ik mag hopen dat die schijven goed zijn, damn. Twee keer duurder dan de schijfjes die ik er nu in heb zitten

---

Ik neem aan dat deze schijf iig niet meer als goed op zal komen. Misschien eens kijken of ik wat met RMA kan regelen bij Azerty en de duurdere RE4 aanschaffen.

[Voor 8% gewijzigd door Matis op 31-05-2011 13:38]

[KnoxNL]

Eerlijkheid gebied mij te zeggen dat ik WD 10 EADS schijfjes heb draaien in mijn synology 2 bay nas (prive) dat ding staat 24/7 aan sinds mei 2008

Puur geluk dus want toen was ik nog niet op de hoogte van het probleem zoals beschreven door cipher, die overigens 100% gelijk heeft.

[Matis]

KnoxNL schreef op dinsdag 31 mei 2011 @ 14:16:
Eerlijkheid gebied mij te zeggen dat ik WD 10 EADS schijfjes heb draaien in mijn synology 2 bay nas (prive) dat ding staat 24/7 aan sinds mei 2008

Ja, ik had die schijven ook 24/7(soms wel met spindown) draaien sinds half 2009. Misschien meer geluk dan wijsheid dat ze het zo lang blijven doen. Of gewoon een kwalitatief betere schijf.

Puur geluk dus want toen was ik nog niet op de hoogte van het probleem zoals beschreven door cipher, die overigens 100% gelijk heeft.

Ja, mochten er bij jou ook problemen optreden, dan weet je nu iig waar je het moet zoeken

---

Zojuist contact gehad met Azerty en ik kan met mijn RMA-verzoek ook een vervangend alternatief opgeven, welke ze me dan als vervanging kunnen aanbieden.
Ik zal dan de pricewatch: Western Digital RE4 WD2003FYYS, 2TB als alternatief / vervanging aangeven.
Op die manier kom ik er dus nog best redelijk vanaf Ik zag de bui al hangen dat ik naast deze schijven, ook nog eens de dure schijven moest aanschaffen.

[Anoniem: 15758]

In plaats van de dure RE-schijven kun je ook kijken naar de Samsung F4 2TB schijven. Die ondersteunen geen TLER maar wel CCTL, wat in principe hetzelfde is. Het grote verschil is dat CCTL iets is wat bij elke boot (power-on) verstuurd moet worden na de schijven. In tegenstelling tot TLER behoud CCTL (evenals ERC van Seagate) zijn instelling niet wanneer de stroom wordt onderbroken.

De grote vraag is dus of je controller CCTL ondersteunt, wat ik niet helemaal kan garanderen. Echter de kans is vrij groot, en als Areca inderdaad CCTL ondersteunt kun je voor een prikkie toch hele goede en snelle schijven op de kop tikken. 60 euro voor 2TB die 140MB/s doet is best een leuke investering. Je huidige schijven kun je dan of verkopen, of zelf in een andere (backup?) array houden met software RAID.

Ik heb even in je oude topic gekeken; vrij curieus. Mogelijk dat als je nu hetzelfde probeert je van dit probleem helemaal geen last hebt. Een mogelijke oorzaak is dat één van de schijven door een slechte kabel naar PIO ging wat een heel hoge CPU-belasting veroorzaakt. Of een probleem met interrupts. Anyhow, nu in 2011 zou ik zeggen nieuwe ronde, nieuwe kansen.

Wat je ook doet, een backup van je (meest) belangrijke data is echt nodig ook al heb je een dure hardware RAID controller met RAID5. Dat alleen is niet genoeg om je bestanden echt veilig op te slaan. RAID5 is ook een complex level wat diverse theoretische problemen heeft, zoals de RAID5 write hole en parity mismatch. Bij RAID5 kun je corrupte data niet van valide data onderscheiden; een controller kan niet zien of juist de parity corrupt is of juist de stripe data, daarbij gaat het vrijwel altijd vanuit dat de parity corrupt is en daarmee kan valide data worden gecorrumpeerd. Ook zijn er veel zaken waar RAID alleen niet tegen beschermt, zodat voor belangrijke files je toch extra bescherming nodig hebt.

Mijn advies is dus nog eens te kijken naar je storage setup. Mogelijk iets in de trant van:
1) Samsung F4 disks voor je Areca
2) huidige disks of verkopen of in een software Linux/BSD array als backup
3) wellicht een externe HDD als backup voor de meest belangrijke bestanden (vaak niet zo heel groot)
4) wellicht kun je ook eens kijken of ZFS interessant is voor jou, als je bestanden hebt waarvoor je maximale zekerheid wilt hebben

Wat je ook kiest, ik wens je er veel succes bij. Niets is vervelender dan data verliezen waarvan je dacht dat deze goed beveiligd was. Helaas gebeurt dat bij aardig wat mensen, meestal door het gebrek aan TLER. Bij softwarematige arrays onder non-Windows platforms heb je echter geen TLER nodig, vandaar dat je wellicht dus nog wat met je huidige schijven kunt doen.

[Matis]

Wow, wat een uitgebreide post
Misschien is het wat kort door de bocht, maar klopt het als ik zeg dat CCTL hetzelfde is als TLER, maar CCTL in Samsung disks zit en TLER in de WD-schijven?

Dus als F4-schijf zou bijvoorbeeld de volgende schijf volstaan: pricewatch: Samsung EcoGreen F4EG HD204UI, 2TB
Ik kan geen harde bevestiging krijgen dat Areca en mijn ARC1220 in het bijzonder CCTL of TLER ondersteund, maar ik ga er maar vanuit. Aangezien het vrij populaire controllers zijn, zowel bij de enthousiasten als bij de professionals. Ik kan daarnaast ook geen bevestiging vinden dat de HD204UI uberhaupt CCTL ondersteund en of het non-volatile is.

Tijdens mijn speurtocht op het beruchte WWW kwam ik het volgende blogje tegen: http://www.diymediahome.o...nd-non-enterprise-drives/ Hij stelt dus dat je eigenlijk niets hebt aan een RAID-controller met standaard-disks. Ik ben het daar deels mee eens, maar ik hoef ook geen 24/7 uptime en ook geen intensieve benadering. Beetje downloaden, filmpjes streamen en dat is het wel zo'n beetje. 100% datagarantie ga ik toch nooit krijgen en dat hoeft ook niet. De huidige disk zou ik eventueel kunnen verkopen, al voelt het niet helemaal netjes om 4 disks te verkopen, wetende dat er eentje met problemen kampt wanneer hij in een RAID-array gebruikt gaat worden. Misschien kan ik dat er expliciet bij vermelden.

De investering voor 4 schijven van 60 eurootjes vallen dan ook nog wel mee. Het is feitelijk een betere deal dan dat ze me van WD gaven

Om nog terug te komen op de CPU-load bij SW-RAID onder Linux. Ik heb nu ook nog last van hoge CPU-load wanneer ik data van of naar de RAID-controller kopieer. Hoe het komt weet ik niet en ik ben ook niet zo heel erg bedreven in lowlevel IO.

Ik weet echt niet meer wat wijsheid is. Ik heb overigens nu al spijt dat ik ooit van mijn WD10AEDS ben afgestapt

[KnoxNL]

Hier is nog een interessante pagina, het schijnt dat je de waardes van schijven zelf ook kunt aanpassen en ze hebben een database waar in staat welke schijven wat ondersteunen.

http://forums.storagerevi...hp/topic/28333-tler-cctl/

Op pagina 3 gaat het specifiek over jouw WD 2 TB schijven.

Suc6!

[_JGC_]

Wat betreft SMART uitlezen van afzonderlijke schijven:

smartctl --all -d areca,N /dev/sg2

Waarbij N het poortnummer van de disk op de controller is en /dev/sg2 het SCSI-generic device is wat aan de controller is toegewezen.

Mocht je dit werkend hebben, dan zou ik je aanraden om smartd in te schakelen met de juiste opties om dit werkend te krijgen. Na een uitgevallen disk uit een RAID6 array waarbij tijdens de rebuild bad sectors in andere disks gevonden werden achter een 3Ware controller was ik het zat en heb ik smartd ingeschakeld met de juiste opties.

[Matis]

_JGC_ schreef op woensdag 01 juni 2011 @ 17:59:
Wat betreft SMART uitlezen van afzonderlijke schijven:

smartctl --all -d areca,N /dev/sg2

Het is me gelukt met het volgende commando

sudo smartctl --all --device=areca,8 /dev/sg1

en dit is het resultaat:

smartctl 5.40 2010-07-12 r3124 [i686-pc-linux-gnu] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar Green (Adv. Format) family
Device Model:     WDC WD20EARS-00MVWB0
Serial Number:    WD-WCAZA3628728
Firmware Version: 51.0AB51
User Capacity:    2,000,398,934,016 bytes
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   8
ATA Standard is:  Exact ATA specification draft version not indicated
Local Time is:    Mon Jun  6 22:14:59 2011 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x84)	Offline data collection activity
					was suspended by an interrupting command from host.
					Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		 (35760) seconds.
Offline data collection
capabilities: 			 (0x7b) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   2) minutes.
Extended self-test routine
recommended polling time: 	 ( 255) minutes.
Conveyance self-test routine
recommended polling time: 	 (   5) minutes.
SCT capabilities: 	       (0x3035)	SCT Status supported.
					SCT Feature Control supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       15
  3 Spin_Up_Time            0x0027   226   170   021    Pre-fail  Always       -       3666
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       223
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       550
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       14
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       13
193 Load_Cycle_Count        0x0032   198   198   000    Old_age   Always       -       8364
194 Temperature_Celsius     0x0022   120   119   000    Old_age   Always       -       30
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   191   000    Old_age   Offline      -       5

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]


SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Edit Ik moet bekennen dat de schijf na een reboot weer operationeel is. Hij is voor de zekerheid nu aan het rebuilend, maar morgen komt een F4 van Samsung binnen, welke #08 zal gaan vervangen

[Matis]

Vandaag nieuwe HDD ingebouwd. Als ik via de webinterface van Areca in de controller kijk, dan kan ik nu (in tegenstelling tot de WD's) zien dat ERC disabled is.

Error Recovery Control (Read/Write) 	Disabled/Disabled

Ik heb het aan proberen te zetten voor de Samsung op kanaal 08, maar dat lijkt toch niet te lukken:

hemy@hemy-server:~$ sudo smartctl -l scterc,70,70 --device=areca,8 /dev/sg1
smartctl 5.40 2010-07-12 r3124 [i686-pc-linux-gnu] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

Error SMART WRITE LOG does not return COUNT and LBA_LOW register
Warning: device does not support SCT (Get) Error Recovery Control command
The previous SCT (Set) Error Recovery Control command succeeded

Ik heb ook op GoT gezocht, maar het lijkt daar alleen met 3ware-controllers te lukken

[Voor 7% gewijzigd door Matis op 07-06-2011 22:35]

[Matis]

Twee weken verder en nog steeds de heilige graal niet gevonden

Wil/kan echt niemand me verder helpen

Woeps, sorry gasten (m/v). Ik heb zojuist de laatste versie van smartmontools gedownload (5.41), gebouwd en geïnstalleerd en nu werkt bovenstaand commando (ineens) wel

[Voor 45% gewijzigd door Matis op 24-06-2011 18:52]