Areca1120: raid controller stuk?

[Boudewijn]

Hoi


Mijn productiebak doet sinds vandaag erg raar.
reboots, en nu blijkt ook een degraded raid6 array.

disks: 8x spinpoint f1 (jaja )
mobo: supermicro h8dae (uit mijn hoofd, dual CPU, #940, PCI-X ding)

OS is debian linux (64bits) , en er zit een ext3 fs op beide volumes.
1 volume van ~64mb voor de kernel (grub wil niet installen op >1tb)
1 volume van ~5.5tb voor data.

nu vind ik dit in mijn logje:

code:

2009-5-26 13:21:50  IDE Channel 6   Device Removed       
     
2009-5-26 11:5:42   IDE Channel 6   Device Removed       
2009-5-26 11:4:4    IDE Channel 6   Device Removed       
2009-5-26 10:46:16  IDE Channel 6   Device Removed       
2009-5-26 10:19:37  IDE Channel 6   Device Removed       
2009-5-26 10:16:28  IDE Channel 6   Device Removed       
2009-5-26 10:6:52   ARC-1120-VOL#01     Start Rebuilding         
2009-5-26 10:6:52   ARC-1120-VOL#00     Complete Rebuild    000:00:10    
2009-5-26 10:6:42   ARC-1120-VOL#00     Start Rebuilding         
2009-5-26 10:5:59   Raid Set # 00   Rebuild RaidSet          
2009-5-26 10:5:59   IDE Channel 8   Device Inserted          
2009-5-26 10:5:55   Raid Set # 00   RaidSet Degraded         
2009-5-26 10:5:55   ARC-1120-VOL#01     Volume Degraded          
2009-5-26 10:5:55   ARC-1120-VOL#00     Volume Degraded          
2009-5-26 10:5:55   H/W Monitor     Raid Powered On          
2009-5-26 10:5:38   IDE Channel 6   Device Removed       
2009-5-26 8:22:2    IDE Channel 7   Device Inserted          
2009-5-26 8:21:21   IDE Channel 8   Device Inserted          
2009-5-26 8:21:15   H/W Monitor     Raid Powered On          
2009-5-26 8:20:29   IDE Channel 5   Device Failed        
2009-5-26 8:16:58   IDE Channel 7   Device Inserted          
2009-5-26 8:15:7    IDE Channel 8   Device Inserted          
2009-5-26 8:15:2    001:000287A7E000    Lost Rebuilding/Migration LBA        
2009-5-26 8:15:1    H/W Monitor     Raid Powered On          
2009-5-26 7:9:36    IDE Channel 2   Reading Error        
2009-5-26 7:9:30    IDE Channel 2   Reading Error        
2009-5-26 7:9:24    IDE Channel 2   Reading Error        
2009-5-25 22:56:44  IDE Channel 2   Reading Error        
2009-5-25 22:21:37  IDE Channel 2   Reading Error        
2009-5-25 20:55:17  ARC-1120-VOL#01     Start Rebuilding         
2009-5-25 20:55:17  ARC-1120-VOL#00     Complete Rebuild    000:00:06    
2009-5-25 20:55:10  ARC-1120-VOL#00     Start Rebuilding         
2009-5-25 20:54:21  Raid Set # 00   Rebuild RaidSet          
2009-5-25 20:54:21  IDE Channel 8   Device Inserted          
2009-5-25 20:54:18  001:000005711400    Lost Rebuilding/Migration LBA        
2009-5-25 20:54:18  Raid Set # 00   RaidSet Degraded         
2009-5-25 20:54:18  ARC-1120-VOL#01     Volume Degraded          
2009-5-25 20:54:18  ARC-1120-VOL#00     Volume Degraded          
2009-5-25 20:54:17  H/W Monitor     Raid Powered On          
2009-5-25 20:35:6   ARC-1120-VOL#01     Start Rebuilding         
2009-5-25 20:35:6   ARC-1120-VOL#00     Complete Rebuild    000:00:06    
2009-5-25 20:35:0   ARC-1120-VOL#00     Start Rebuilding         
2009-5-25 20:34:8   Raid Set # 00   Rebuild RaidSet          
2009-5-25 20:34:8   IDE Channel 8   Device Inserted          
2009-5-25 20:34:5   001:000003724800    Lost Rebuilding/Migration LBA        
2009-5-25 20:34:5   001:000003724200    Lost Rebuilding/Migration LBA        
2009-5-25 20:34:5   Raid Set # 00   RaidSet Degraded         
2009-5-25 20:34:5   ARC-1120-VOL#01     Volume Degraded          
2009-5-25 20:34:5   ARC-1120-VOL#00     Volume Degraded          
2009-5-25 20:34:5   H/W Monitor     Raid Powered On          
2009-5-25 20:28:32  IDE Channel 6   Device Removed       
2009-5-25 20:26:18  IDE Channel 6   Device Removed       
2009-5-25 20:21:49  ARC-1120-VOL#01     Start Rebuilding         
2009-5-25 20:21:49  ARC-1120-VOL#00     Complete Rebuild    000:00:05    
2009-5-25 20:21:43  ARC-1120-VOL#00     Start Rebuilding         
2009-5-25 20:21:0   Raid Set # 00   Rebuild RaidSet          
2009-5-25 20:21:0   IDE Channel 8   Device Inserted          
2009-5-25 20:20:55  Raid Set # 00   RaidSet Degraded

Disk6 lijk me gewoon definitief dood, maar wat moet ik in hemelsnaam van de rest denken? Hij is nu aan het rebuilden, maar dat gaat LANG duren.

Is het slim om die IO controller te vervangen, of zijn hier raar genoeg 4 (opeenvolgende!) disks 'gesneuveld' en weer herrezen?

[Fauna]

Dit lijkt enigzins op de problemen die ik ooit gehad heb met mijn Areca icm een zooitje Maxtor DM11 disks. Deze hadden toen ook kuren met diverse RAID-controllers, en de oplossing workaround daarvoor was (net als bij de Samsung F1 disks) om NCQ uit te zetten. Dat is inmiddels een jaar of 3 geleden, maar de controller doet het nog steeds prima. Het lijkt me dus ook voorbarig om het op de controller te gooien.

Ik zou je aanraden om de disks stuk voor stuk te testen op een andere PC/controller. Check ook de data en power kabels.

[Boudewijn]

Ja, de zaak hangt al een half jaar in een colocatie-ruimte. Ik vind het raar als het nu plotseling 'fout' gaat?

Sowieso: net in de webinterface het password van de areca veranderd....en hij doet niets meer.
Zowel oude als nieuwe password werken niet (nieuwe staat nog in mijn klembord...).

Verder: tsja bekabeling gaar kan. Maar bij 5 disks (2,5,6,7,8) tegelijkertijd?


ik weet de exacte size van de volumes trouwens niet: is dat een probleem als ik de controller vervang door een nieuwe? (uiteraard zelfde model). fdisk is dood trouwens ,dus daar kan ik niets mee.

[ Voor 21% gewijzigd door Boudewijn op 26-05-2009 14:10 ]

[John2B]

Dergelijke problemen die ineens ontstaan, en zo als het ernaar uitziet over meerdere disken uitstrekt kan gerelateerd zijn aan een brakke voeding. Misschien vanacht met de onweer een tik gehad (Tja, ik noem maar wat) Al lijkt het mij dat in een co-locatie er een overspannings beveiliging is.

Controller vervangen is geen probleem, wel alle kabels op exact dezelfde poort aansluiten !!

Ik zou beginnen met de powersupply te vervangen.

[Boudewijn]

De PSU zal ik ook vervangen ja.

De rest van het rack werkt nog, en het is xs4all (dus ik verwacht wel goed).


Maar ik vind het raar: het is een dikke 2x2 core bak... dus zou verwachten wat issues te krijgen met de CPUs als de PSU een tik heeft gehad.

[Fauna]

Als ik zo de ervaringen met Samsung F1 disks icm (Areca) RAID-controllers zie, is dat de problemen niet bij iedereen te reproduceren zijn. Vaak uiten de problemen zich pas na een tijdje. Het feit dat Areca ook niet precies de vinger op de zere plek kan liggen geeft nog maar eens aan hoe random dat het gebeurt.

M.b.t. de kabels; ik weet niet in hoeverre dat je van drive enclosures of splitters gebruik maakt, maar het kan altijd natuurlijk.

Wat als je het default password (ik geloof admin) gebruikt?

De kans bestaat dat je de array's en volumes op een andere Areca ook kan zien, omdat de configuratie op de schijven wordt opgeslagen. Ik ben echter benieuwd of dat fatsoenlijk werkt omdat er al een hoop rebuildpogingen gedaan zijn. Beter kan je alles opnieuw aanmaken en je backup terugzetten.

[Boudewijn]

Geen splitters, gewoon de areca kabels met clipjes van voor naar achteren getrokken.

Daarnet in de colocatie geweest, en het lijkt de controller te zijn:

1: Ook met het nieuwe password (dat ik vanmiddag in heb gesteld, en een collega van me ook heeft gebruikt....) kun je niet inloggen.
2: admin/admin en admin/0000 werkt niet.
3: Ik heb 3 of 4 PCI-X sloten.
In slot1 werkt de kaart, maar "no bios found" en hij mist die 4-5 disks.
In slot2 komt de machine de bios door, en gaat dan hangen op initialising PCI bus. (uiteraard geen andere PCI(-X) hardware)
In slot3 vindt de kaart ALLE disks. Booten kan maar levert een gaar fs op. Grub en de kernel werken wel gewoon.

Lijkt me dus duidelijk dat de Areca gaar is.

Dit kwam uit een 2e topic, maar _Dune_ vindt dat het hier hoort:

Weet iemand of het mogelijk is een areca 1120 te resetten naar factory defaults?
Ik heb google+manual gedaan, maar heb een kaart die waarschijnlijk stuk is, die ik compleet wil resetten.

Weet iemand daar een truc voor ? Er zit geen BBU ofzo op (alhoewel die toch al niet voor settings wordt gebruikt).