Areca 1222 hangt

[Megalith]

Na een jaar zonder enkel probleem een 12TB RAID6 array te hebben gedraaid op een Areca 1222 stuit ik nu op een gigantisch probleem, hij lijkt het te hebben begeven.

Ter info, de controller zit in een server met acht Samsung HD204UI (2TB) schijven in RAID6. Aangesloten is een BBU en het OS is Windows Server 2008 R2.
Verdere specificaties:
Supermicro X9SCM-F
Intel Xeon E3-1220
16GB ECC UDIMM

De problemen begonnen vorige week, ik kon de Windows shares niet meer opkomen vanaf mijn pc. Op de server zelf was de array nog wel benaderbaar, maar bij grote filetransfers liep het systeem vast. Ook belangrijk, de webinterface van de controller is ook onbereikbaar. Na een reboot liep hij weer, maar niet van harte. Ik kon er niet meer veel aan doen, het was de avond voor ik op vakantie ging. Vrijdags ben ik op vakantie gegaan en hij leek te blijven werken tot en met afgelopen donderdag, ik krijg om de 24 uur een mailtje of er zich fouten hebben voorgedaan, en die mails heb ik tot en met donderdag gehad. Er heeft zich (volgens de controller) nog nooit een error voorgedaan.

Ik ben gisteren thuisgekomen en hij bleek er inderdaad weer uitgeklapt te zijn. De server is volkomen onbereikbaar. Niet alleen alle shares zijn offline maar ik kom er bijvoorbeeld ook niet meer in via RDP.
Server opnieuw opgestart, en hij blijft hangen bij het laden van Windows. Na opstarten in veilige modus blijkt ook dat hij blijft hangen na het laden van CLASSPNP.SYS. Webinterface van de kaart is ook nog steeds offline, en de LAN activity led is continue aan.
Af en toe blijft hij ook hangen bij Waiting for RAID controller F/W to become ready. Als ik wel de mogelijkheid krijg om via TAB of F6 de configuratie in te gaan reageert hij daar niet op.

Als ik de kaart eruit haal start Windows normaal op. In de event viewer staan wel errors, die stonden er vorige week vrijdag ook, toen het systeem ook onstabiel was.
The driver detected a controller error on \Device\Harddisk1\DR1
Harddisk 1 betreft hier de RAID6 array.

[Verwijderd]

Eén van je schijven heeft waarschijnlijk een bad sector of andere problemen. Ook de controller zelf kan stuk zijn, bijvoorbeeld door onvoldoende koeling voor de heatsink van het kaartje.

Wat je kunt doen is de PC helemaal uitzetten en de schijven eruit halen. Dan aankoppelen op dezelfde of andere PC maar ZONDER de Areca controller. De schijven mogen NIET op een RAID controller worden gekoppeld; de controller MOET in IDE of AHCI modus staan. Als je dan een Ubuntu livecd boot, kun je de schijven direct benaderen.

Check dan alle SMART info en zoek naar Current Pending Sector en UDMA CRC Error Count. Maak screenshots van alle SMART van alle schijven.

Heb je de foute schijf gevonden dan stop je de disks weer terug in je Areca, precies op dezelfde poort als ze eerst zaten. Schrijf dus op hoe het nu zit aangesloten op papier en controleer dit even goed. Wees voorzichtig tijdens het prutsen en haal de stroomstekker helemaal uit de voeding.

Als je geluk hebt gaat het gewoon om een bad sector en kun je je array gewoon weer gebruiken. Maar je eerste stap zou zijn de SMART-gegevens veiligstellen van alle schijven.

[Megalith]

Okay, ik ga er mee bezig. Op zulke momenten ben ik wel blij met een hotswap chassis :-)

Wel jammer dat dit nou net moet gebeuren vlak voordat ik naar Solaris ZFS wil migreren ;-)

Er is geen risico dat wanneer de schijf gemount wordt in linux dat hij blocks gaat wegschijven op de een of andere manier?

[Verwijderd]

Inderdaad wel balen ja als je toch over wilde naar ZFS. Maar je data is nog niet kwijt.

Je moet inderdaad wel heel voorzichtig zijn om niet naar de schijven te schrijven. Dat doet Linux niet zomaar, maar bijvoorbeeld Windows wel. Windows zal vragen je schijven te "initialiseren" wat onschuldig klinkt, maar dat staat gelijk aan een quick format doordat er een nieuwe partitietabel wordt geschreven naar de schijf/schijven. Dat is absoluut niet wat je wilt! Sluit je schijven dus absoluut niet aan op een Windows OS.

[Megalith]

Ik heb de SMART data opgehaald van alle acht disks. Overal staat de 199 UDMA_CRC_Error_Count en 197 Current_Pending_Sector bij RAW_VALUE op 0. De disks werken dus allemaal naar behoren...

Heb alles geexporteerd, data is hier te vinden

[Verwijderd]

SMART ziet er wel goed uit. Als ik je startpost opnieuw lees denk ik dat je ook een kapotte controller kunt hebben. Die Intel IOP processor kan best warm worden. Is de fan nog goed bijvoorbeeld?

Wat je zou kunnen doen is een andere Areca kaart lenen van iemand, hoeft niet precies hetzelfde type te zijn denk ik, als hij maar wel voldoende poorten heeft en liefst dezelfde firmware. Als je je disks op die 'nieuwe' controller aansluit, zal de controller de RAID array gewoon oppikken. De RAID configuratie wordt namelijk niet op de controller opgeslagen, maar op de disks zelf. De laatste sector van elke disk wordt gebruikt voor RAID metadata.

Dus, als het je controller is die problemen heeft, zou bovenstaande procedure je een werkende RAID set opleveren. Maar je kunt ook nog je schijven weer op de Areca controller aansluiten en Linux booten. Kijken of je daar bij je data kunt komen. Ik raad overigens wel aan dat je je array read-only mount. Dat moet je dan doen op de command line. Zoals:

sudo mount -t ntfs -r /dev/<areca array> /mnt

Hoe je areca array heet kun je in Disk Utility zien. Dit alles kun je doen met een Ubuntu livecd.

[Megalith]

Ik kom niet meer langs de "Waiting for RAID controller F/W to become ready" melding. Hij krijgt een timeout en start het systeem dan opnieuw op. Dit blijft continue doorgaan.

Heb een support ticket aangemaakt bij WebConnexxion, hopen dat dit een beetje vlug opgelost kan worden.

[Verwijderd]

Welke firmware versie draai je trouwens? Firmware upgraden van je controller zou eventueel een makkelijke fix kunnen bieden. En als je hem bij WebConnexxion hebt besteld kun je denk ik ook wel de support hiervan gebruiken. Die gasten weten hopelijk meer over deze controllers dan ik.

[Megalith]

Ik draai nog steeds de firmware die erop stond toen ik hem kocht. Ik heb alleen geen idee welke dit is aangezien ik nergens meer in kan komen. Zal toch eens kijken of ik hem kan upgraden. Het zou mogelijk moeten zijn het systeem in DOS te booten en te flashen met de nflash utility

[ Voor 20% gewijzigd door Megalith op 22-07-2012 19:12 ]

[Verwijderd]

Je kunt het ook op de doos zien vlakbij het serienummer, althans bij mijn Areca was dat zo. FW1.43 ofzoiets.

[Megalith]

Ik heb hier nog tig dozen van moederborden etc liggen maar die van de areca heb ik weggegooid. Afijn ik heb geprobeerd de firmware te flashen, maar zover ik kan zien doet hij niks, terwijl de kaart wel aanwezig is (nflash /L)

[ Voor 9% gewijzigd door Megalith op 22-07-2012 21:51 ]

[pipo de C]

Cipher:

Waar staat het dat bij de Areca kaarten de raid config op de schijven wordt opgeslagen? Je zal ongetwijfeld gelijk hebben maar ik kan het nergens vinden op de areca website. De KB staat niks bijzonders in en de manuals van de controllers kan ik ook niks over in vinden.

Is er ergens een overzicht over hoe lang areca kaarten compatible blijven? Ik zou er over 2 jaar niet achter willen komen dat ik m'n kaart niet kan vervangen zonder data te verliezen (ja, ik weet dat raid geen backup systeem is...)

[Verwijderd]

Dat staat nergens; dit soort kennis moet je zelf uitvogelen. De beste kennis is vaak verborgen. Echter, ik heb zoveel met Areca en RAID recovery gespeeld dat ik rustig kan zeggen dat de metasector zich in de laatste LBA sector bevindt.

Anders zou het ook niet kunnen dat je een RAID set op een andere controller hangt en de controller de RAID array gewoon zag. Bovendien zijn er veel meer problemen als de controller zelf de RAID config zou opslaan. Zo werkt het natuurlijk niet; de RAID config staat op de schijven zelf aangesloten. Of je nou software RAID onder Windows gebruikt, FakeRAID, Hardware RAID, of software RAID onder Linux of BSD; altijd wordt de laatste sector gebruikt om de RAID config op te slaan. Wel gebruikt iedere fabrikant zijn eigen 'formaat'. Echter, de linux md driver kan diverse formaten lezen en dus bijvoorbeeld een Intel onboard (Fake)RAID array in Ubuntu Linux gewoon weergeven, omdat aan de hand van de RAID config Linux' eigen software RAID wordt gebruikt om die RAID array aan te maken volgens de opgeslagen configuratie.

Compatibiliteit van metadata heb ik geen gegevens over, maar het veranderen van de metadata is een zeldzaam iets. Maar dat kan zeker voorkomen.

[pipo de C]

Ok duidelijk, bedankt voor het antwoord. Overigens erg vreemd dat dit niet te vinden is bij de fabrikanten, lijkt me een van eerste dingen die je wilt weten. ZEKER met storage. Wat als - ....

[brederodekater]

Da's handig om te weten, CiPHER. Thanks!

Ik moet namelijk binnenkort m'n PCI-X 1160 vervangen met een nog nader te bepalen PCI-express model. Dus dan kan ik tenminste gewoon m'n schijven omprikken, zonder eerst 16TB aan temporary storage te regelen

[wezzley]

Altijd eerst even checken met Areca support. sata -> sas gaat wel, vice versa niet.
of in het engrish van areca support:

Overzetten RAIDSET van ARC-1220 naar ARC-1680ix:
possible, but not recommended. because
1. in current stage, SAS don't fully compatible with SATA drives
still. i will suggest SATA controllers with SATA drives for best
compatibility and performance.

2. roaming a raidset from SAS controller to SATA controller is not
possible. it means once you roaming the raid to a SAS controller, you will not
able to roll it back to SATA controller any more.

[pipo de C]

Ah ik kon al niet wijs worden uit de relevante verschillen tussen bijvoorbeeld een SATA en een SAS controller. Ze kosten ongeveer even veel en ik ga toch alleen SATA schijven gebruiken.

Handig om te weten dat niet alles naar alles ongestraft overgezet kan worden..

[Megalith]

Gisteren heb ik een vervangend exemplaar ontvangen en daarmee is het probleem ook opgelost. De 1222 was dus inderdaad kaput.