Areca1120: Raidset recovered, maar 1 van de 3 volumes faalt

[Boudewijn]

hoihoi

Ik heb vandaag mijn hw raid6 (jaja dat ding met die *** spinpoints) op mijn areca 1120 in een andere kast gezet (inclusief mobo). De array bestaat uit 8 disks.
Was daarna mijn raidset kwijt wegens 2 read errors creeerende drives. Die heb ik vervangen en een raidset recue gedaan. Nu wordt raidset0 weer gevonden en na een korte rebuild waren volumes 0 en 1 beshcikbaar.
Dit zijn /boot resp / .
Gaaf.

Alleen /home (volume 2) wil maar niet beschikbaar komen. Dat vind ik raar, het gaat immers om dezelfde raidset, en die zou of helemaal stuk (bij 3 disks dood oid) of helemaal heel moeten zijn.

Echter weet ik niet hoe ik er nu voor moet zorgen dat mijn /home weer beschikbaar komt. Het is een monster van een array (5899gb) dus een rebuild zal best even duren, maar dat is okay.


De vraag is echter: hoe kan ik hem weer up krijgen?


Even wat copy-paste van gegevens:

code:

Raid Set # 00   Ch05    ARC-1120-VOL#00 (0/0/0)     Normal  0.5GB
    Ch08    ARC-1120-VOL#01 (0/0/1)     Normal  100.0GB
    Ch07    ARC-1120-VOL#02 (0/0/2)     Failed  5899.5GB

En als ik VOL#02 bekijk:

code:

Volume Set Name     ARC-1120-VOL#02
Raid Set Name   Raid Set # 00
Volume Capacity     5899.5GB
SCSI Ch/Id/Lun  0/0/2
Raid Level  Raid 6
Stripe Size     64KBytes
Block Size  512Bytes
Member Disks    8
Cache Mode  Write Back
Tagged Queuing  Enabled
Volume State    Failed

Dat is raar, want hij heeft wel 8 member disks!


Als ik nu op de shell ga kijken zie ik dit:

code:

CLI> rsf info
 #  Name             Disks TotalCap  FreeCap DiskChannels       State
===============================================================================
 1  Raid Set # 00        8 8000.0GB    0.0GB 58763412           Rebuilding
===============================================================================
GuiErrMsg<0x00>: Success.

Huh. rebuilding? Hoeveel % dan?

code:

CLI> vsf info
  # Name             Raid Name       Level   Capacity Ch/Id/Lun  State
===============================================================================
  1 ARC-1120-VOL#00  Raid Set # 00   Raid6      0.5GB 00/00/00   Normal
  2 ARC-1120-VOL#01  Raid Set # 00   Raid6    100.0GB 00/00/01   Normal
  3 ARC-1120-VOL#02  Raid Set # 00   Raid6   5899.5GB 00/00/02   Failed
===============================================================================
GuiErrMsg<0x00>: Success.

En gefaald.
Waarom?


Hoe kan ik dit weer up krijgen? Sowieso, waarom kunnen 2 volumes op 1 raid set wel werken, en een ander volume niet?


Ik zie hier hetzelfde:
ARECA ARC-1260 degraded RAIDset

En dan met name:
[quote]

Verwijderd schreef op donderdag 11 september 2008 @ 17:42:
Door een rescue staat mijn RAIDset nu terug op de state "NORMAL", mijn Volume State staat echter nog op Failed... hoe krijg ik dit gefixed
Moet ik mijn huidige Volume Set deleten en opnieuw aanmaken? Dit kan ik mij van mijn vroegere ervaring herinneren met een Highpointcontroller... ik wil echter zeker zijn dat ik geen data verlies...

Waardoor ik hier uit kom:
[Areca]Opgesplitste Raidarrays "lijmen"
En dan met name de post van dvl-2. Als ik dat probeer, kan ik daar dan de zaak mee vernaggelen? Als in: zijn er opties die de zaak niet slopen, die ik nog kan proberen?
Het is trouwens wel een enorm zinnige posting van hvl-2.

Even in concreto: ik stel dus voor om dit te doen:

stap 4.
Nu heb je je raidset terug en wellicht ook al je volume-set maar bij mij was dit niet het geval. Deze stap zal beschrijven wat je daarna moet doen. In het http-console maak je een raidset aan met dezelfde parameters als het orginele volume dat je eerst gebruikte. Weet je deze niet meer loop je alsnog het risico al je data kwijt te zijn. Het is dan alleen niet meer de controller die je data om zeep helpt maar windows. Kies de parameters dus erg zorgvuldig.

In het menu van 'create volume' staat ook een optie waarbij je de initialisatieoptie moet aangeven. Het is hier van het allegrootste belang dat je de optie 'NO INIT' kiest. Deze MOET!!! je gebruiken anders formateerd hij je hele array en ben je echt alles voorgoed kwijt. Na het ingeven van alle parameters (raid-level, volume-size, Sc/Id/Lun, blocksize en stripsize) maak je door middel van de 'No Init' een volume aan. Reboot het systeem opnieuw. Na de reboot zal je partitie weer beschikbaar zijn.

Allerlaatst: een stukje log van wat ik gedaan heb:

code:

Time    Device  Event Type  Elapse Time     Errors
2009-10-10 02:59:22     Proxy Or Inband     HTTP Log In          
2009-10-10 02:55:23     H/W Monitor     Raid Powered On          
2009-10-10 02:42:32     H/W Monitor     Raid Powered On          
2009-10-10 02:40:18     ARC-1120-VOL#01     Complete Check  000:07:04   0
2009-10-10 02:33:14     ARC-1120-VOL#01     Start Checking       
2009-10-10 02:33:14     ARC-1120-VOL#00     Complete Check  000:00:02   0
2009-10-10 02:33:12     ARC-1120-VOL#00     Start Checking       
2009-10-10 02:32:41     RS232 Terminal  VT100 Log In         
2009-10-10 02:32:28     H/W Monitor     Power On With Battery Backup         
2009-10-10 02:31:13     ARC-1120-VOL#01     Complete Rebuild    000:06:08    
2009-10-10 02:29:48     IDE Channel 4   Reading Error        
2009-10-10 02:25:05     ARC-1120-VOL#01     Start Rebuilding         
2009-10-10 02:25:05     ARC-1120-VOL#00     Complete Rebuild    000:00:02    
2009-10-10 02:25:02     ARC-1120-VOL#00     Start Rebuilding         
2009-10-10 02:25:00     Raid Set # 00   Rebuild RaidSet          
2009-10-10 02:25:00     IDE Channel 3   Device Inserted          
2009-10-10 02:22:53     IDE Channel 3   Device Removed       
2009-10-10 02:21:28     ARC-1120-VOL#00     Complete Rebuild    000:00:03    
2009-10-10 02:21:25     ARC-1120-VOL#00     Start Rebuilding         
2009-10-10 02:21:25     ARC-1120-VOL#01     Complete Rebuild    000:06:18    
2009-10-10 02:15:07     ARC-1120-VOL#01     Start Rebuilding         
2009-10-10 02:15:05     Raid Set # 00   Rebuild RaidSet          
2009-10-10 02:15:05     ARC-1120-VOL#01     Failed Volume Revived        
2009-10-10 02:15:05     IDE Channel 5   Device Inserted          
2009-10-10 02:12:25     IDE Channel 5   Device Removed       
2009-10-10 02:11:40     RS232 Terminal  VT100 Log In         
2009-10-10 02:11:24     H/W Monitor     Raid Powered On          
2009-10-10 02:00:23     RS232 Terminal  VT100 Log In         
2009-10-10 02:00:11     H/W Monitor     Raid Powered On          
2009-10-10 01:58:27     RS232 Terminal  VT100 Log In         
2009-10-10 01:53:40     RS232 Terminal  VT100 Log In         
2009-10-10 01:53:24     H/W Monitor     Raid Powered On          
2009-10-10 01:44:32     Raid Set # 00   RaidSet Degraded         
2009-10-10 01:44:32     ARC-1120-VOL#02     Volume Failed        
2009-10-10 01:44:32     ARC-1120-VOL#01     Volume Failed        
2009-10-10 01:44:32     ARC-1120-VOL#00     Volume Degraded          
2009-10-10 01:44:05     RS232 Terminal  VT100 Log In         
2009-10-10 01:43:57     Incomplete RAID     Discovered       
2009-10-10 01:43:56     H/W Monitor     Raid Powered On          
2009-10-10 01:43:17     RS232 Terminal  VT100 Log In         
2009-10-10 01:42:51     Incomplete RAID     Discovered       
2009-10-10 01:42:50     H/W Monitor     Raid Powered On          
2009-10-10 01:37:29     ARC-1120-VOL#01     Stop Rebuilding     000:01:09    
2009-10-10 01:36:19     ARC-1120-VOL#01     Start Rebuilding         
2009-10-10 01:36:19     ARC-1120-VOL#00     Complete Rebuild    000:00:02    
2009-10-10 01:36:16     ARC-1120-VOL#00     Start Rebuilding         
2009-10-10 01:36:14     Raid Set # 00   Rebuild RaidSet          
2009-10-10 01:36:14     IDE Channel 3   Device Inserted          
2009-10-10 01:33:32     IDE Channel 3   Device Removed       
2009-10-10 01:33:32     ARC-1120-VOL#02     Stop Rebuilding     000:08:09    
2009-10-10 01:33:32     Raid Set # 00   RaidSet Degraded         
2009-10-10 01:33:32     ARC-1120-VOL#02     Volume Failed        
2009-10-10 01:33:32     ARC-1120-VOL#01     Volume Degraded          
2009-10-10 01:33:32     ARC-1120-VOL#00     Volume Degraded          
2009-10-10 01:32:17     IDE Channel 6   Reading Error        
2009-10-10 01:32:13     IDE Channel 6   Reading Error        
2009-10-10 01:32:09     IDE Channel 6   Reading Error        
2009-10-10 01:25:23     ARC-1120-VOL#02     Start Rebuilding         
2009-10-10 01:24:42     H/W Monitor     Raid Powered On          
2009-10-10 01:23:59     RS232 Terminal  VT100 Log In         
2009-10-10 01:23:20     H/W Monitor     Raid Powered On          
2009-10-10 01:21:43     IDE Channel 7   Device Inserted          
2009-10-10 01:21:40     H/W Monitor     Raid Powered On          
2009-10-10 01:20:36     RS232 Terminal  VT100 Log In

Noot: er komt een nieuwe set non-samsung disks. Ik ben overtuigd.

[ Voor 49% gewijzigd door Boudewijn op 10-10-2009 06:44 ]

[TERW_DAN]

Titelchange op verzoek.
Areca 1120, raid set lijkt te rebuilden, of toch niet? > areca1120: Raidset recovered, maar 1 van de 3 volumes faalt

[Fauna]

Ik denk dat je de handel gewoon even moet laten rebuilden. Het lijmen van de array's zoals in een van de topics besproken wordt hoef je niet te doen. De symptomen zijn heel anders. Bovendien werkt die level2rescue niet bij 4 of 8-channel Areca's.

Ik weet niet of je eventueel de mogelijkheid hebt om de HTTP client te installeren, dan kun je wellicht wel voortgang zien. (Weet ook niet of dat werkt op controllers zonder NIC.)

[Boudewijn]

Ja ik heb de HTTP software geinstalleerd, maar dat is het probleem niet.

Het issue is juist dat hij niet (!) rebuildt. Geen hdd activiteit of wat dan ook.
In de archttp zie ik ook geen progress oid ervan.


Even nog een overpeinzing:

code:

2009-10-10 02:55:23  H/W MONITOR      Raid Powered On                          
2009-10-10 02:42:32  H/W MONITOR      Raid Powered On                          
2009-10-10 02:40:18  ARC-1120-VOL#01  Complete Check        000:07:04    0     
2009-10-10 02:33:14  ARC-1120-VOL#01  Start Checking                           
2009-10-10 02:33:14  ARC-1120-VOL#00  Complete Check        000:00:02    0     
2009-10-10 02:33:12  ARC-1120-VOL#00  Start Checking                           
2009-10-10 02:32:41  RS232 Terminal   VT100 Log In                             
2009-10-10 02:32:28  H/W MONITOR      Power On With Battery Backup                    
2009-10-10 02:31:13  ARC-1120-VOL#01  Complete Rebuild      000:06:08                 
2009-10-10 02:29:48  IDE Channel #04  Reading Error                                   
2009-10-10 02:25:05  ARC-1120-VOL#01  Start Rebuilding                                
2009-10-10 02:25:05  ARC-1120-VOL#00  Complete Rebuild      000:00:02                 
2009-10-10 02:25:02  ARC-1120-VOL#00  Start Rebuilding                                
2009-10-10 02:25:00  Raid Set # 00    Rebuild RaidSet                                 
2009-10-10 02:25:00  IDE Channel #03  Device Inserted                                 
2009-10-10 02:22:53  IDE Channel #03  Device Removed                                  
2009-10-10 02:21:28  ARC-1120-VOL#00  Complete Rebuild      000:00:03                 
2009-10-10 02:21:25  ARC-1120-VOL#00  Start Rebuilding                                
2009-10-10 02:21:25  ARC-1120-VOL#01  Complete Rebuild      000:06:18                 
2009-10-10 02:15:07  ARC-1120-VOL#01  Start Rebuilding                                
2009-10-10 02:15:05  Raid Set # 00    Rebuild RaidSet
2009-10-10 02:15:05  ARC-1120-VOL#01  Failed Volume Revived
2009-10-10 02:15:05  IDE Channel #05  Device Inserted
2009-10-10 02:12:25  IDE Channel #05  Device Removed
2009-10-10 02:11:40  RS232 Terminal   VT100 Log In
2009-10-10 02:11:24  H/W MONITOR      Raid Powered On
2009-10-10 02:00:23  RS232 Terminal   VT100 Log In
2009-10-10 02:00:11  H/W MONITOR      Raid Powered On
2009-10-10 01:58:27  RS232 Terminal   VT100 Log In
2009-10-10 01:53:40  RS232 Terminal   VT100 Log In
2009-10-10 01:53:24  H/W MONITOR      Raid Powered On
2009-10-10 01:44:32  Raid Set # 00    RaidSet Degraded
2009-10-10 01:44:32  ARC-1120-VOL#02  Volume Failed
2009-10-10 01:44:32  ARC-1120-VOL#01  Volume Failed
2009-10-10 01:44:32  ARC-1120-VOL#00  Volume Degraded
2009-10-10 01:44:05  RS232 Terminal   VT100 Log In
2009-10-10 01:43:57  Incomplete RAID  Discovered
2009-10-10 01:43:56  H/W MONITOR      Raid Powered On

Ik heb 2 disks eruit gehaald die stuk leken (read errors ).te zijn, dat heeft een rebuild getriggerd:

Dat is te zien rond 02:12 en 02:22.

De nieuwe disks waren allebei schoon.We zien dat eerder al de volumes gefaald hebben (en 1 degraded):

code:

2009-10-10 01:44:32  ARC-1120-VOL#02  Volume Failed
2009-10-10 01:44:32  ARC-1120-VOL#01  Volume Failed
2009-10-10 01:44:32  ARC-1120-VOL#00  Volume Degraded

Waarom wordt vol#01 dat gefaald is wel gerebuild en vol#02 niet? Imo zou dat ook wel mooi zijn.

De rebootjes daarna zijn van de server die weer terug ging in het rack enzo.


Zou het helpen als ik die oude disks weer terugzet? Die 2 die ik eruit heb gehaald bedoel ik dan. Alhoewel, de volumes waren daarvoor al gefaild.

[ Voor 90% gewijzigd door Boudewijn op 10-10-2009 14:29 ]

[John2B]

1. Schakel je PC/Server uit
2. Haal alle disken van je controller af (zie ook opmerking punt 6)
3. Start op en login op de Areca BIOS
4. Log weer af uit de BIOS.
5. Schakel PC/SERVER weer uit
6. Koppel alle disken erweer aan (zorg wel dat de kabels op exact dezelfde disken terug worden geplaatst)
7. startup, en bekijk status rebuild.

[Boudewijn]

Werkte van de week niet... althans sorteeerde geen effect.

Ik heb trouwens daarna dit gedaan:

In het menu van 'create volume' staat ook een optie waarbij je de initialisatieoptie moet aangeven. Het is hier van het allegrootste belang dat je de optie 'NO INIT' kiest. Deze MOET!!! je gebruiken anders formateerd hij je hele array en ben je echt alles voorgoed kwijt. Na het ingeven van alle parameters (raid-level, volume-size, Sc/Id/Lun, blocksize en stripsize) maak je door middel van de 'No Init' een volume aan. Reboot het systeem opnieuw. Na de reboot zal je partitie weer beschikbaar zijn.

Hij is nu op 90% met de volume check.

[ Voor 83% gewijzigd door Boudewijn op 10-10-2009 23:37 ]

[John2B]

Boudewijn schreef op zaterdag 10 oktober 2009 @ 23:34:
Werkte van de week niet... althans sorteeerde geen effect.

Ik heb trouwens daarna dit gedaan:


[...]

Hij is nu op 90% met de volume check.

Dat zou inderdaad de volgende stap zijn...ben benieuwd.

[Boudewijn]

Ja ik ook, ik ben goed het zakje als het niet werkt .
95.8% nu.

[Boudewijn]

Crap.

code:

ragbak:/# mount /dev/sdc1 /home/
mount: wrong fs type, bad option, bad superblock on /dev/sdc1,
       missing codepage or helper program, or other error
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

ragbak:/# dmesg | tail
[   37.726376] /dev/vmnet: port on hub 8 successfully opened
[   40.304663] /dev/vmnet: open called by PID 3127 (vmnet-netifup)
[   40.304684] /dev/vmnet: port on hub 1 successfully opened
[   40.305176] /dev/vmnet: open called by PID 3126 (vmnet-netifup)
[   40.305186] /dev/vmnet: port on hub 8 successfully opened
[   42.706252] ip_tables: (C) 2000-2006 Netfilter Core Team
[   54.876540] vmnet8: no IPv6 routers present
[   56.033915] vmnet1: no IPv6 routers present
[  412.746503] EXT3-fs error (device sdc1): ext3_check_descriptors: Block bitmap for group 3424 not in group (block 0)!
[  412.746540] EXT3-fs: group descriptors corrupted!
ragbak:/#