Probleem raid5 kapot

[Vuurvoske]

Beste Tweakers,

Ik zit compleet met mijn handen in het haar. Zojuist is volgens mij al mijn data (6TB) foetsie gegaan.
Het begon met ineens IDE CHANNEL 2 disk failed. Hot-spare van gemaakt en gekeken of het te herstellen viel. Op zich niets aan de hand. Toen ineens READ ERRORS op IDE Channel 4. Na een tijdje beide disks failed. Nu kent mijn areca 1220 controller (8x) geen raidset meer. Al mijn gegevens stonden hierop. Ik niet meer wat ik niet moet doen om het op te lossen.

Wat technische details:

raidcontroller: ARECA 1220 8x
Disks:
- Samsung 2 TB
- 2x WD 20 EARS 2TB
- 2x WD 20 EARx 2TB (op kanaal IDE CHANNEL 2 & 4)

De hardware van mijn server:

#	Product	Prijs	Subtotaal
1	Intel Pentium G620 Boxed	€ 52,-	€ 52,-
1	Asus P8P67-M PRO (3.0)	€ 219,99	€ 219,99
1	Club3D GeForce GT 440	€ 0,-	€ 0,-
1	Samsung Spinpoint F3 HD103SJ, 1TB	€ 60,-	€ 60,-
1	Samsung Spinpoint F4 EG HD204UI, 2TB	€ 0,-	€ 0,-
3	Western Digital Green WD20EARS, 2TB	€ 99,95	€ 299,85
1	Cooler Master Silencio 550	€ 64,70	€ 64,70
1	Intel Gigabit CT Desktop Adapter	€ 23,75	€ 23,75
1	Cooler Master 4-in-3 Device Module	€ 21,05	€ 21,05
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 37,90	€ 37,90
1	Areca ARC-1220	€ 0,-	€ 0,-
1	Recom RC-PE0DB580	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 779,24

Is dit probleem uberhaupt nog op te lossen? Of ben ik gewoon alles kwijt? Er stonden ook foto's van mijn onlangs overleden moeder op, maar ook van andere dingen.

[CH4OS]

Enige wat ik me kan bedenken, is om een Areca controller te vinden die compatible is met de RAID arrays van je Areca kaart. Het gaat er bij mij niet in dat 2 disks vlak achter elkaar komen te overlijden. Theoretisch natuurlijk altijd mogelijk, maar aangezien je RAID-array nu weg is, zou ik zeggen dat je Areca kaart naar de klote is. Dan is het slechts een kwestie van die vervangen, kan een zelfde type zijn, of een nieuwere, zolang hij maar de RAID-array kan herkennen. Vervolgens checken en eventueel rebuilden.

[Ultraman]

Snelste methode is de array opnieuw aanmaken en de data terugzetten vanuit backups.
Dat scheelt een hoop tijd aankloten om te kijken of je de array weer in elkaar krijgt.

Als je op deze manier twee disken uit een RAID5 kwijt raakt is er volgens mij ook maar weinig wat je nog kunt doen. RAID5 is bestand tegen verlies van 1 disk, niet twee.

Bovendien zijn schijven van meer dan 1TB in RAID5 ook af te raden. Het risico dat je tegen een leesfout aanloopt is veels te groot. Het lijkt er ook sterk op dat jou dit is overkomen. Er is een disk uit je array verdwenen en dan wordt teruggevallen op parity. Maar omdat uBER op een 2TB consumenten-disk net zo groot is als van een pak-em-beet 320GB consumenten-disk is de kans dat je tegen een leesfout aanloopt aanzienlijk groter, waardoor je rebuild faalt.

[Vuurvoske]

Ik heb net geprobeerd om ze te switchen van 2 & 4 naar 6&8, maar ze staan nu weer op failed. Ik heb nu echt zin om uit het raam te springen. Hoe de fuck kan ik trouwens zien of het mijn raidcontroller is die kapot is, of dat het mijn schijven zijn. Daarnaast is het mogelijk om de data van die failed disks af te halen?


Btw wat bedoel je vanuit back-ups. Ik heb geen backups. Ik had mijn raid5 en daar stond mijn data op. Is het mogelijk om bijvoorbeeld de raidset aan te maken en dan recovery software te draaien?

Overigens heb ik het hele systeem maar weer eens geboot. Ik zie nu dit:



Backlog Areca Controller:

System Events Information

Time Device Event Type Elapse Time Errors
26-1-2013 17:21 IDE Channel 8 Device Inserted
26-1-2013 17:20 IDE Channel 8 Device Removed
26-1-2013 17:20 IDE Channel 8 Device Failed
26-1-2013 17:12 Proxy Or Inband HTTP Log In
26-1-2013 17:06 IDE Channel 8 Device Inserted
26-1-2013 17:06 IDE Channel 8 Device Removed
26-1-2013 17:06 H/W Monitor Raid Powered On
26-1-2013 17:06 IDE Channel 8 Device Failed
26-1-2013 17:06 IDE Channel 4 Device Failed
26-1-2013 17:05 RS232 Terminal VT100 Log In
26-1-2013 17:05 IDE Channel 8 Device Failed
26-1-2013 17:04 IDE Channel 4 Device Removed
26-1-2013 17:04 IDE Channel 4 Device Failed
26-1-2013 17:04 H/W Monitor Raid Powered On
26-1-2013 17:03 IDE Channel 8 Device Inserted
26-1-2013 17:03 RS232 Terminal VT100 Log In
26-1-2013 17:02 IDE Channel 8 Device Removed
26-1-2013 17:02 H/W Monitor Raid Powered On
26-1-2013 17:02 IDE Channel 8 Device Failed
26-1-2013 17:02 IDE Channel 3 Device Removed
26-1-2013 17:02 IDE Channel 3 Device Failed
26-1-2013 16:58 IDE Channel 8 Device Inserted
26-1-2013 16:58 IDE Channel 6 Device Failed
26-1-2013 16:58 RS232 Terminal VT100 Log In
26-1-2013 16:58 IDE Channel 8 Device Removed
26-1-2013 16:58 IDE Channel 8 Device Failed
26-1-2013 16:57 H/W Monitor Raid Powered On
26-1-2013 16:47 Proxy Or Inband HTTP Log In
26-1-2013 16:40 H/W Monitor Raid Powered On
26-1-2013 16:38 RS232 Terminal VT100 Log In
26-1-2013 16:38 H/W Monitor Raid Powered On
26-1-2013 16:36 RS232 Terminal VT100 Log In
26-1-2013 16:36 H/W Monitor Raid Powered On
26-1-2013 15:55 RS232 Terminal VT100 Log In
26-1-2013 15:55 IDE Channel 4 Device Inserted
26-1-2013 15:55 IDE Channel 4 Device Removed
26-1-2013 15:55 IDE Channel 4 Device Failed
26-1-2013 15:55 H/W Monitor Raid Powered On
26-1-2013 15:53 RS232 Terminal VT100 Log In
26-1-2013 15:53 H/W Monitor Raid Powered On
26-1-2013 15:52 Raid Set # 00 Rebuild RaidSet
26-1-2013 15:52 ARC-1220-VOL#00 Failed Volume Revived
26-1-2013 15:52 IDE Channel 2 Device Inserted
26-1-2013 15:52 IDE Channel 4 Device Failed
26-1-2013 15:52 IDE Channel 2 Device Failed
26-1-2013 15:52 ARC-1220-VOL#00 Abort Rebuilding 000:00:13
26-1-2013 15:52 Raid Set # 00 RaidSet Degraded
26-1-2013 15:52 ARC-1220-VOL#00 Volume Failed
26-1-2013 15:52 Raid Set # 00 RaidSet Degraded
26-1-2013 15:52 ARC-1220-VOL#00 Volume Degraded
26-1-2013 15:52 RS232 Terminal VT100 Log In
26-1-2013 15:52 ARC-1220-VOL#00 Start Rebuilding
26-1-2013 15:52 IDE Channel 2 Device Inserted
26-1-2013 15:51 000:0000008B8C00 Lost Rebuilding/Migration LBA
26-1-2013 15:51 Incomplete RAID Discovered
26-1-2013 15:51 H/W Monitor Raid Powered On
26-1-2013 15:51 IDE Channel 2 Device Removed
26-1-2013 15:51 IDE Channel 2 Device Failed
26-1-2013 15:40 IDE Channel 4 Reading Error
26-1-2013 15:40 IDE Channel 4 Reading Error
26-1-2013 15:40 IDE Channel 4 Reading Error
26-1-2013 15:40 IDE Channel 4 Reading Error
26-1-2013 15:40 IDE Channel 4 Reading Error
26-1-2013 15:39 IDE Channel 4 Reading Error

[ Voor 83% gewijzigd door Vuurvoske op 26-01-2013 17:23 ]

[Xander]

Vuurvoske schreef op zaterdag 26 januari 2013 @ 17:09:
Hoe de fuck kan ik trouwens zien of het mijn raidcontroller is die kapot is, of dat het mijn schijven zijn.

Je zou de S.M.A.R.T. waardes van de schijven eens kunnen bekijken en de schijven kunnen testen met diagnose software (bijvoorbeeld die van de fabrikant, Data Lifeguard Diagnostic voor de WD schijven en ES Tool voor Samsung). Geen idee hoe je snel kunt testen of je RAID-controller kapot is. Vervangen door een nieuwe lijkt me.

Het is trouwens niet gezegd dat er uberhaupt iets fysiek stuk is. RAID-sets kunnen ook corrupt raken.

Btw wat bedoel je vanuit back-ups. Ik heb geen backups. Ik had mijn raid5 en daar stond mijn data op.

Hij bedoelt dus dat je back-ups zou moeten hebben... RAID5 is geen veilig alternatief voor het maken van goede back-ups, maar daar ben jij ondertussen ook achter geloof ik...

Overigens heb ik het hele systeem maar weer eens geboot. Ik zie nu dit:

[afbeelding]

Hij herkent nog maar 1 disk uit de array nu? Nadat je schijven van poort bent gaan wisselen? Ik ben niet bekend met deze controllers maar misschien is het dan geen goed plan om de volgorde van de schijven om te wisselen, ik zou ze om te beginnen terug aansluiten op de poorten waar ze vroeger zaten.

[Damic]

Ik zou zien dat ik een 2de Areca kaart van iemand kan lenen zodoende dat je eventueel je raid kunt rebuilden. Kaart speelt gene rol zolang het maar een Areca is (normaal gezien).

En mixen van drives is niet echt gezond, hebben ze mij al eens verteld!

[Vuurvoske]

Nog een log:
Heb nu de schijven in oude volgorde gezet:

System Events Information
Time Device Event Type Elapse Time Errors
2013-01-26 18:15:19 Proxy Or Inband HTTP Log In
2013-01-26 18:11:55 IDE Channel 2 Device Inserted
2013-01-26 18:11:48 IDE Channel 2 Device Removed
2013-01-26 18:11:47 IDE Channel 2 Device Failed
2013-01-26 18:07:59 H/W Monitor Raid Powered On
2013-01-26 18:07:52 IDE Channel 4 Device Failed
2013-01-26 18:06:20 IDE Channel 2 Device Failed
2013-01-26 18:06:15 RS232 Terminal VT100 Log In
2013-01-26 18:06:03 H/W Monitor Raid Powered On
2013-01-26 18:05:59 IDE Channel 4 Device Removed
2013-01-26 18:05:58 IDE Channel 4 Device Failed
2013-01-26 18:03:58 IDE Channel 2 Device Inserted
2013-01-26 18:03:54 RS232 Terminal VT100 Log In
2013-01-26 18:03:46 IDE Channel 2 Device Removed
2013-01-26 18:03:46 IDE Channel 2 Device Failed
2013-01-26 18:03:42 IDE Channel 5 Device Failed
2013-01-26 18:03:41 H/W Monitor Raid Powered On
2013-01-26 17:48:52 Proxy Or Inband HTTP Log In
2013-01-26 17:33:30 IDE Channel 8 Device Failed
2013-01-26 17:33:19 IDE Channel 4 Device Failed
2013-01-26 17:33:13 H/W Monitor Raid Powered On
2013-01-26 17:21:47 IDE Channel 8 Device Failed
2013-01-26 17:21:13 IDE Channel 8 Device Inserted
2013-01-26 17:20:59 IDE Channel 8 Device Removed
2013-01-26 17:20:58 IDE Channel 8 Device Failed
2013-01-26 17:12:34 Proxy Or Inband HTTP Log In
2013-01-26 17:06:59 IDE Channel 8 Device Inserted
2013-01-26 17:06:35 IDE Channel 8 Device Removed
2013-01-26 17:06:34 H/W Monitor Raid Powered On
2013-01-26 17:06:33 IDE Channel 8 Device Failed
2013-01-26 17:06:24 IDE Channel 4 Device Failed
2013-01-26 17:05:17 RS232 Terminal VT100 Log In
2013-01-26 17:05:08 IDE Channel 8 Device Failed
2013-01-26 17:04:59 IDE Channel 4 Device Removed
2013-01-26 17:04:58 IDE Channel 4 Device Failed
2013-01-26 17:04:51 H/W Monitor Raid Powered On
2013-01-26 17:03:23 IDE Channel 8 Device Inserted
2013-01-26 17:03:07 RS232 Terminal VT100 Log In
2013-01-26 17:02:57 IDE Channel 8 Device Removed
2013-01-26 17:02:56 H/W Monitor Raid Powered On
2013-01-26 17:02:56 IDE Channel 8 Device Failed
2013-01-26 17:02:41 IDE Channel 3 Device Removed
2013-01-26 17:02:40 IDE Channel 3 Device Failed
2013-01-26 16:58:19 IDE Channel 8 Device Inserted
2013-01-26 16:58:10 IDE Channel 6 Device Failed
2013-01-26 16:58:09 RS232 Terminal VT100 Log In
2013-01-26 16:58:03 IDE Channel 8 Device Removed
2013-01-26 16:58:02 IDE Channel 8 Device Failed
2013-01-26 16:57:53 H/W Monitor Raid Powered On
2013-01-26 16:47:33 Proxy Or Inband HTTP Log In
2013-01-26 16:40:27 H/W Monitor Raid Powered On
2013-01-26 16:38:34 RS232 Terminal VT100 Log In
2013-01-26 16:38:24 H/W Monitor Raid Powered On
2013-01-26 16:36:56 RS232 Terminal VT100 Log In
2013-01-26 16:36:43 H/W Monitor Raid Powered On
2013-01-26 15:55:55 RS232 Terminal VT100 Log In
2013-01-26 15:55:54 IDE Channel 4 Device Inserted
2013-01-26 15:55:46 IDE Channel 4 Device Removed
2013-01-26 15:55:45 IDE Channel 4 Device Failed
2013-01-26 15:55:35 H/W Monitor Raid Powered On
2013-01-26 15:53:38 RS232 Terminal VT100 Log In
2013-01-26 15:53:23 H/W Monitor Raid Powered On
2013-01-26 15:52:18 Raid Set # 00 Rebuild RaidSet
2013-01-26 15:52:18 ARC-1220-VOL#00 Failed Volume Revived

[TERW_DAN]

Je kunt proberen een nieuwe array aan te maken, en dan bij het initialiseren voor rescue recovery. Zo heb ik nog wel eens de nodige data teruggehaald van mijn RAID5 array op Areca 1220.

[Vuurvoske]

TERW_DAN schreef op zaterdag 26 januari 2013 @ 18:39:
Je kunt proberen een nieuwe array aan te maken, en dan bij het initialiseren voor rescue recovery. Zo heb ik nog wel eens de nodige data teruggehaald van mijn RAID5 array op Areca 1220.

Ik ben er net achter dat ik alle echt belangrijke fotos e.d. nog op mijn tweede server stonden!!
Kleine troost. Maarre ik snap niet dat alleen die EARX schijven crashen. Ik heb twee weken terug namelijk ook al een EARX RMA gestuurd. en een paar maanden daarvoor ook al. Nu gaan ze ineens binnen 2weken allebei kaduuk. Kan dat niet een combo zijn van raidcontroller en EARX??

Iig bedankt voor de tip TERW_DAN. Btw kan het kwaad om de firmware nu te upgraden??

[TERW_DAN]

Ik zou nu niet de firmware gaan updaten. Eerst proberen om te kijken of je nog wat met die array kan, daarna kun je altijd nog upgraden.

[downtime]

Vuurvoske schreef op zaterdag 26 januari 2013 @ 18:43:
Kleine troost. Maarre ik snap niet dat alleen die EARX schijven crashen. Ik heb twee weken terug namelijk ook al een EARX RMA gestuurd. en een paar maanden daarvoor ook al. Nu gaan ze ineens binnen 2weken allebei kaduuk. Kan dat niet een combo zijn van raidcontroller en EARX??

Je hebt echt elke fout in het boek gemaakt. Grote schijven (2TB), verschillende types door elkaar, geen backups, en dan bovendien EARx schijven die niet erg geschikt zijn voor RAID. Ik gebruikte de voorganger ervan, de WD20EADS, maar durfde de EARx's niet aan gezien berichten op fora's.

Maar ga nu vooral geen firmware upgraden. Switch die controller met een andere en hoop dat een andere controller nog iets met die disks kan. En anders is het gewoon uithuilen en opnieuw beginnen.

[Vuurvoske]

downtime schreef op zaterdag 26 januari 2013 @ 18:59:
[...]

Je hebt echt elke fout in het boek gemaakt. Grote schijven (2TB), verschillende types door elkaar, geen backups, en dan bovendien EARx schijven die niet erg geschikt zijn voor RAID. Ik gebruikte de voorganger ervan, de WD20EADS, maar durfde de EARx's niet aan gezien berichten op fora's.

Maar ga nu vooral geen firmware upgraden. Switch die controller met een andere en hoop dat een andere controller nog iets met die disks kan. En anders is het gewoon uithuilen en opnieuw beginnen.

Niet iedereen is een hardware guru? Bovendien liepen die Samsung en WD EARS altijd prima. Ik weet nu alleen nog steeds niet of het aan de controller ligt of dat de schijven kapot zijn.

[downtime]

Vuurvoske schreef op zaterdag 26 januari 2013 @ 19:01:
Niet iedereen is een hardware guru?

Ik ook niet. Maar voor ik honderden euro's uitgeef en dan mijn kostbare data aan een RAID-set toevertrouw, Google ik wel even naar ervaringen van anderen, zodat ik weet waar de haken en ogen zitten.

[Vuurvoske]

downtime schreef op zaterdag 26 januari 2013 @ 19:12:
[...]

Ik ook niet. Maar voor ik honderden euro's uitgeef en dan mijn kostbare data aan een RAID-set toevertrouw, Google ik wel even naar ervaringen van anderen, zodat ik weet waar de haken en ogen zitten.

Mooi verhaal sheriff, ik snap zelf ook wel dat ik fouten heb gemaakt. Maar dat is nog geen reden voor jou om zo bijdehand te doen. Het is al vervelend genoeg dat dit is gebeurd.

Ps. Dit is een late moderatie maar toch even: je had natuurlijk kunnen verwachten dat anderen hierover beginnen. Mijn advies: incasseer die eerste klap en tel pas vanaf de tweede.

[ Voor 16% gewijzigd door Verwijderd op 29-01-2013 02:22 ]

[Verwijderd]

CptChaos schreef op zaterdag 26 januari 2013 @ 16:12:
Enige wat ik me kan bedenken, is om een Areca controller te vinden die compatible is met de RAID arrays van je Areca kaart.

Areca is gewoon Areca, dus elke controller zou moeten werken mits de metadata format maar niet is gewijzigd. Maar hij heeft een Areca controller; dat is het probleem niet. Een extra Areca-controller zal geen voordeel bieden, tenzij de controller zelf stuk is maar daar lijkt het hier niet op.

Het gaat er bij mij niet in dat 2 disks vlak achter elkaar komen te overlijden.

Zijn disks zijn hoogstwaarschijnlijk niet overleden, maar gewoon uit de array gekickt door bad sectors of kabelfouten. Dat is extreem veelvoorkomend en ik durf zelfs te stellen dat van alle RAID-arrays meer dan de helft van de failures komen door gebroken RAID arrays, terwijl alle schijven nog prima zijn.

Hij kan recoveren via de Areca controller, of via software zoals Linux/BSD software RAID5. Bij dat laatste heb je wel een aantal gegevens nodig: disk order en stripesize, minimaal.

Ultraman schreef op zaterdag 26 januari 2013 @ 16:43:
Als je op deze manier twee disken uit een RAID5 kwijt raakt is er volgens mij ook maar weinig wat je nog kunt doen. RAID5 is bestand tegen verlies van 1 disk, niet twee.

Ik ga er even vanuit dat zijn disks nog prima zijn, afgezien van een bad sectortje. Maar dat Areca gewoon über streng is met disks. Ik heb namelijk precies hetzelfde meegemaakt en later ook nog wat beter kunnen testen. Als een hardeschijf van zijn 2000 gigabyte één enkele 512 byte sector niet kan lezen, flikkert Areca (en andere RAID controllers/engines) hem uit de array. Officiëel als failed/timeout.

Dat wil nog niet zeggen dat je data kwijt is. De data is gewoon nog. Het probleem is dat Areca de metadata van de 2 schijven expres heeft vernietigd. Dit doen ze om te onthouden (ook na een power cycle) dat schijf X niet meer onderdeel is van de RAID. Eigenlijk best kut, want hierdoor hebben heel veel mensen hun data verloren; omdat ze recovery simpelweg opgeven en denken dat het toch te laat is. Dat allemaal, vanwege 512 bytes die niet leesbaar zijn; OMG denk ik dan.

downtime schreef op zaterdag 26 januari 2013 @ 18:59:
en dan bovendien EARx schijven die niet erg geschikt zijn voor RAID. Ik gebruikte de voorganger ervan, de WD20EADS, maar durfde de EARx's niet aan gezien berichten op fora's.

Misschien weet je dit al, maar de WD20EADS ondersteunde eerst gewoon TLER, net als de WD Red nu. Toen kreeg je het gewoon gratis. Maar in moderne versies van de WD20EADS werd deze feature uit de firmware gesloopt, en de opvolger de WD20EARS en later WD20EARX ondersteunen helemaal geen TLER.

Maar ga nu vooral geen firmware upgraden. Switch die controller met een andere en hoop dat een andere controller nog iets met die disks kan.

Geen firmware updaten nee. Maar een andere controller zal vrijwel zeker niet de metadata van Areca kunnen uitlezen, dus dat gaat hem weinig helpen. Wat hij natuurlijk als uiterste middel kan doen is de RAID array opnieuw aanmaken met exact dezelfde gegevens zoals disk order en stripesize. Als die gegevens hetzelfde zijn als waarmee de array is aangemaakt in den beginne, heb je dan gelijk een complete RAID5 met al zijn gegevens intact alsof er nooit iets gebeurd is.

Vuurvoske schreef op zaterdag 26 januari 2013 @ 19:01:
Niet iedereen is een hardware guru? Bovendien liepen die Samsung en WD EARS altijd prima. Ik weet nu alleen nog steeds niet of het aan de controller ligt of dat de schijven kapot zijn.

Mijn tip: wil je je data terug wees dan héél voorzichtig. Alles wat je doet kan de doodsteek zijn. Niets doen is veel veiliger.

Ik zou je aanraden om te beginnen met het uitlezen van de SMART gegevens. Dit kan door de schijven tijdelijk anders aan te sluiten, bijvoorbeeld op de chipset controller. Ik raad je wel sterk aan om de schijven niet direct aan Windows te tonen. Doe dit dus in een Linux/Ubuntu LiveCD ofzoiets. Ga van alle schijven de SMART uitlezen en zet die gegevens ergens neer. Dan de bad sectors in Linux overschrijven en daarna in Areca de array opnieuw aanmaken of in Linux software RAID recovery doen; dan kun je je gegevens nog terugkrijgen. Bedenk dat dit geen makkelijke weg is voor RAID5; een RAID level zoals RAID0 is veel makkelijker te recoveren.

[downtime]

Vuurvoske schreef op zaterdag 26 januari 2013 @ 19:14:
Mooi verhaal sheriff, ik snap zelf ook wel dat ik fouten heb gemaakt. Maar dat is nog geen reden voor jou om zo bijdehand te doen. Het is al vervelend genoeg dat dit is gebeurd.

Xander heeft al prima instructies gegeven. De ARC-1220 kan de SMART status van je disks geven. Kijk daar eens naar. Haal ook die disks van de kaart en test ze met de tools van WD en Samsung. Als daar geen gekke zaken uit komen zul je echt naar de controller zelf moeten kijken.

Xander schreef op zaterdag 26 januari 2013 @ 17:27:
Hij herkent nog maar 1 disk uit de array nu? Nadat je schijven van poort bent gaan wisselen? Ik ben niet bekend met deze controllers maar misschien is het dan geen goed plan om de volgorde van de schijven om te wisselen, ik zou ze om te beginnen terug aansluiten op de poorten waar ze vroeger zaten.

De Areca herkent de RAID set altijd, ongeacht de volgorde waarin de disks aangesloten worden. Daarvoor zet ie gewoon een code op elke disk.

[downtime]

Verwijderd schreef op zaterdag 26 januari 2013 @ 19:19:
Misschien weet je dit al, maar de WD20EADS ondersteunde eerst gewoon TLER, net als de WD Red nu. Toen kreeg je het gewoon gratis. Maar in moderne versies van de WD20EADS werd deze feature uit de firmware gesloopt, en de opvolger de WD20EARS en later WD20EARX ondersteunen helemaal geen TLER.

Klopt, al wist ik niet dat latere EADS'en ook al geen TLER meer ondersteunen. Ik weet eerlijk gezegd ook niet of ik vroege of late EADS'en heb. Kan ik dat ergens aan zien?

[Verwijderd]

September 2009 volgens een bron op Google; je kunt het in elk geval aan de production date zien. Maar welke datum WD precies is overgestapt op TLER-disabled firmware is mij niet bekend.

[Vuurvoske]

Ik zou je aanraden om te beginnen met het uitlezen van de SMART gegevens. Dit kan door de schijven tijdelijk anders aan te sluiten, bijvoorbeeld op de chipset controller. Ik raad je wel sterk aan om de schijven niet direct aan Windows te tonen. Doe dit dus in een Linux/Ubuntu LiveCD ofzoiets. Ga van alle schijven de SMART uitlezen en zet die gegevens ergens neer. Dan de bad sectors in Linux overschrijven en daarna in Areca de array opnieuw aanmaken of in Linux software RAID recovery doen; dan kun je je gegevens nog terugkrijgen. Bedenk dat dit geen makkelijke weg is voor RAID5; een RAID level zoals RAID0 is veel makkelijker te recoveren.

Ik snap wat ik zou moeten doen, maar hoe en welke tools?
- Waarmee lees ik smart uit binnen ubuntu?
Waarschijnlijk met disk utility?
- Hoe de bad sectors overschreven in linux?
Ik lees her en der wat over ddrescue of gddrescue? Kan iemand mij wat gerichte instructies geven? Ik ben helemaal niet bekend met zulke tools.

[ Voor 86% gewijzigd door Vuurvoske op 28-01-2013 09:28 ]

[Vuurvoske]

Foto's van SMART status

DISK 1: (WD 20 EARS / ..2130)





DISK 2: (WD 20 EARX // ..9680)





DISK 3: (Samsung HD204ui / ..9708)





DISK 4: (WD 20 EARX / ..5638)





DISK 5: (WD 20 EARS / ..6761)





Overigens staan alle schijven nu als 'FREE'.

[Verwijderd]

Hardware RAID + schijven zonder TLER
Tja, dit is dus het klassieke geval dat je RAID5 is gefaald omdat je RAID controller niet intelligent om gaat met bad sectors en gelijk schijven eruit flikkert. Dit is een bekend probleem. Om het probleem te verzachten, heb je TLER-enabled disks nodig zoals WD Red. Jij hebt EARS/EARX en die hebben TLER expres uitgeschakeld in de firmware (vroegere EADS modellen konden wel TLER enablen met wdtler.exe DOS applicatie). De schijven die jij hebt, zijn dus niet geschikt voor jouw RAID controller.

En dit is dus het gevolg, enorm vervelend! De vraag is, hoe graag wil je je data nog terug? Want elke wijzing die je maakt kan de kans op recovery doen afnemen. Wat ik straks ga voorstellen is zelfs nog gevaarlijker; één kans alles of niets. Of het werkt dan gewoon weer, of je hebt alle kans op recovery permanent onmogelijk gemaakt.

De veilige recovery methode
Als je data écht wat waard is, ga je direct je schijven afkoppelen en nieuwe schijven kopen en ben je een maandje zoet met recoveren van je data met deskundige hulp. Dit is de veilige route. Je maakt eerst raw backups van alle schijven zodat je je fouten kunt permitteren omdat je de boel weer kunt resetten. Een ZFS build zou dit trouwens makkelijker maken; dan kun je alle disks als files/volumes wegschrijven op ZFS en daar snapshots van maken. Bij het maken van wijzigingen kun je dan altijd terug gaan naar het origineel; het moment dat je de snapshot hebt aangemaakt zonder wijzigingen aan de files/disks.

De onveilige 'alles of niets' recovery methode
Als je data je niet zoveel waard is, kun je proberen de array in de RAID controller opnieuw aan te maken. Dit doe je precies zoals je eerst ook je RAID array hebt aangemaakt. Je disks dienen hiervoor Free te zijn. Maak dus precies weer een RAID5 array aan met dezelfde eigenschappen zoals stripesize, RAID level en disk order. Dat laatste kun je vaak niet instellen, maar zorg dat de positie van de kabels dan NIET veranderen. Anders is het gelijk over en klaar. Dit is ook wat het vaakst kan misgaan; want als disk3 opeens eerder dan disk2 wordt gezien en hoger in de lijst komt, dan ben je al je data kwijt.

RAID5 is extra gevaarlijk door de rebuild die volgt na het maken van de array. Dit zorgt ervoor dat pariteit op alle schijven wordt herschreven. Als de RAID array de 2e keer met andere eigenschappen wordt aangemaakt dan de 1e keer, dan bevindt die pariteit zich op andere plekken en dat vernietigt dus als gatenkaas je échte data. Dan kun je vaarwel zeggen tegen je data. Het is dus EXTREEM GEVAARLIJK om bovenstaande uit te voeren; you have been warned!

[Vuurvoske]

Hoi Cipher, ik heb zojuist het volgende gedaan:



Dit resulteerde in het volgende:



Ik ben inmiddels met Azerty in contact en ga met hun kijken of ik eventueel de schijven kan omruilen voor RED varianten. Overigens werkte de RESCUE optie zondag niet

*note: missing #5 is vanwege het feit dat ik deze schijf eruit heb gehaald vanwege het hoge aantal read errors.

[downtime]

Ben je nu in staat om de data te lezen? Zo ja, gefeliciteerd, en ga er veiligheidshalve vanuit dat de boel morgen weer kapot is. Gebruik de gelegenheid om zo snel mogelijk alle (belangrijke) data te backuppen naar een andere disk.

[ Voor 3% gewijzigd door downtime op 28-01-2013 21:37 ]

[Verwijderd]

disk2 en disk4 hebben problemen. Beide zijn WD EARX schijven. Disk4 heeft hij eruit getrokken. Die had de meeste bad sectors (210). Maar disk2 heeft ook 2 bad sectors en bij het lezen van die sectoren door het gebruiken van de array, valt deze inderdaad weer uit elkaar.

Wat je dus kunt doen is die disk2 afkoppelen en op de chipset SATA aansluiten, dan vooral geen Windows booten maar alleen Linux. En in Linux die bad sectoren overschrijven met dd, zoals:

sudo dd if=/dev/sda of=/dev/sda bs=1M conv=sync,noerror

# WAARSCHUWING: dit commando kan gevaarlijk zijn als je hem verkeerd intypt. Vervang sda door de naam van jouw disk; wat ook sdc ofzo kan zijn. Dit commando geeft urenlang geen output, maar zou tenminste twee keer wel output moeten geven: een I/O error met de LBA erbij. Dat is precies wat je nodig hebt. Bewaar de output van dit commando en dan kan ik je nog een ander commando geven om die twee bad sectors te overschrijven.

Als je deze operatie gaat doen, zorg je dat je Areca controller is afgekoppeld (laat de kabels zitten waar ze zitten ajb!) en alleen die ene EARX schijf met twee bad sectors aangekoppeld aan de chipset SATA. Vervolgens met livecd of USB stick Ubuntu booten.

[Vuurvoske]

Feitelijk is het de EARX schijf met #5638 die voor de problemen zorgt. Ik kan op dit moment niks. De raidset an sich is terug gevonden. Rebuilden lukt niet. Het geeft status: INCOMPLETE. Dit is iig beter dan 2 gefaalde disks.

Om op je ZFSGURU verhaal terug te komen. Mocht azerty bereid zijn me te helpen met het omwisselen van de schijven, dan gaan we gelijk voor een setup met ZFSguru. Ik heb reeds een ervaren gebruiker gevonden die me op technisch niveau gaat ondersteunen.

de sudo dd oplossing zet ik nu aan. Is het verstandig om zo lang de raidcontroller af te koppelen?

[Verwijderd]

Vuurvoske, als je voor een ZFS setup gaat dan wil je juist weer geen TLER.

Het goede nieuws
ZFS kan juist wel goed om met normale consumentenschijven. Die mogen best wat bad sectors hebben enkel is zeer uitzonderlijke gevallen kan dat een bestand beschadigen, mits je verder geen schijven mist en een redundante (RAID5/RAID-Z) configuratie gebruikt.

Het slechte nieuws
ZFS kan absoluut niet goed overweg met hardware RAID controllers. Specifiek met Areca heb ik ook in combinatie met ZFS én schijven met bad sectoren uitgeprobeerd om te zien of dit werkte. In een RAID config, als losse non-RAID disks en in passthrough mode en de controller in JBOD mode; allemaal blijven de disks verdwijnen zodra je bad sectors probeert te lezen. Dat wil je niet!

Als je ZFS wilt draaien, zul je dus de chipset SATA moeten gebruiken en/of een normale 'HBA' controller kopen dus een SAS/SATA controller zonder RAID firmware. IBM M1015 komt in 'IR' RAID firmware, maar je kunt deze updaten/flashen naar 'IT' non-RAID firmware. Dat wordt allemaal goed beschreven in diverse documenten en is niet moeilijk.

Hij is ook niet heel duur: pricewatch: IBM ServeRAID M1015 SAS/SATA Controller for System x

Je Areca kun je dan of voor Windows gebruiken als performance boost, of je verkoopt hem 2e hands. Genoeg mensen die zo'n kwaliteitscontroller willen gebruiken in de situaties waar hij goed dienst doet: als RAID6 controller voor TLER-enabled disks onder Windows platform. Dat is waar die controller goed in is.

Is het verstandig om zo lang de raidcontroller af te koppelen?

Ja! Wat ik doe is gewoon uitschakelen en controller uit het PCI slot steken. En lekker laten bungelen zolang er maar niets electrisch contact maakt. Pas op met de metalen pinnetjes. Koppel NIET de kabels af, de volgorde is cruciaal!

[Vuurvoske]

Nouja , goed nieuws. In zo verre dat ik weer bij mijn data kan. Echter heb ik eigenlijk geen locatie om mijn data naartoe te backup-pen / verplaatsen. We hebben het hier ook over 6,5TB aan films, series, archief en muziek. Ik vind het jammer dat ik nu gedwongen ben om dingen te deleten..
Toch de vraag, met de schijven die ik nu heb. Is het een probleem dat het allemaal verschillende zijn?

Hardware:
Kijkend naar de hardware die huidige op mijn server zit. G620 icm 8GB geheugen. Dit is waarschijnlijk wel mager voor ZFS. Ik heb verhalen gehoord over een nieuwe I5 en ik ben bereid er extra geheugen in te zetten.

Hoe wil ik ZFS inrichten:
VM binnen hyper-v. Schijven worden beschikbaar gesteld in de VM en zfsguru maakt er een RAIDZ van 5 disks van. Vmware ESXI is helaas geen optie omdat mijn mobo geen VT-d support heeft en dit ook niet gaat krijgen. In de toekomst staat een dergelijke upgrade wel in de planning binnen het socket 1155 domein. Correctie, ik ben nu aan het kijken naar een i5 + mobo upgrade met VT-x en VT-d ondersteuning

[ Voor 10% gewijzigd door Vuurvoske op 28-01-2013 22:44 ]

[Verwijderd]

Waarom bouw je niet een kale 2e server die je voor ZFS gaat gebruiken, en laat je je huidige server voorlopig zoals hij is. Zodra je je nieuwe ZFS server operationeel hebt, kun je dan de gegevens van de oude naar de nieuwe server kopiëren, gewoon via Windows of wat je ook gebruikt.

G620 met 8GB is overigens prima voor ZFS. Als het 4GB RAM was geweest, had je lagere performance gehad. Maar met ESXi en een nieuwe build moet je voor 4x8GiB=32GiB gaan. 32 gigabyte RAM kost nu nog maar 120 euro, dus dat kan ik wel aanraden.

[Vuurvoske]

Verwijderd schreef op maandag 28 januari 2013 @ 23:00:
Waarom bouw je niet een kale 2e server die je voor ZFS gaat gebruiken, en laat je je huidige server voorlopig zoals hij is. Zodra je je nieuwe ZFS server operationeel hebt, kun je dan de gegevens van de oude naar de nieuwe server kopiëren, gewoon via Windows of wat je ook gebruikt.

G620 met 8GB is overigens prima voor ZFS. Als het 4GB RAM was geweest, had je lagere performance gehad. Maar met ESXi en een nieuwe build moet je voor 4x8GiB=32GiB gaan. 32 gigabyte RAM kost nu nog maar 120 euro, dus dat kan ik wel aanraden.

En dan heb ik hier weer een extra server staan waar ik uiteindelijk niets meer mee doe . Ik ben nu aan het kijken naar een hardware upgrade zodat ik er ineens vanaf ben. ZFS standalone is geen optie, omdat ik wil kunnen viritualiseren.

[timofp]

Je zou kunnen kijken naar WHS2011 + StableBit Drivepool of Drivebender. Geeft de mogelijkheid om van verschillende schijven één grote pool te maken (niet noodzakelijk alle schijven in het systeem). Inclusief de optie van duplication om redunantie te bekomen (een soort software raid dan), je kan deze redunantie echter op folder/file level kiezen. Automatische balancering tussen schijven etc is er ook.

Het grote voordeel voor mij is dat je onderliggende schijven gewoon NTFS blijven, 1 schijf stuk heeft geen gevolgen voor andere schijven, je kan schijven gewoon afzonderlijk in een andere pc steken en alle data eraf halen. Iets wat in de situatie die je nu hebt handig zou kunnen zijn .

[Verwijderd]

Zat dat tegenwoordig niet al standaard in Win8?

[timofp]

Verwijderd schreef op maandag 28 januari 2013 @ 23:57:
Zat dat tegenwoordig niet al standaard in Win8?

Hier lees je meer over Drivepool, wat in Windows 8 zit is een veredelde versie van JBOD. Ik heb het geprobeerd en het heeft slechts een fractie van de functies van Drivepool en niet de veiligheid (recovery mogelijkheid) van drivepool, maar de onveiligheid van JBOD.

[Compizfox]

Vuurvoske schreef op maandag 28 januari 2013 @ 22:27:
Hardware:
Kijkend naar de hardware die huidige op mijn server zit. G620 icm 8GB geheugen. Dit is waarschijnlijk wel mager voor ZFS. Ik heb verhalen gehoord over een nieuwe I5 en ik ben bereid er extra geheugen in te zetten.

Hoe wil ik ZFS inrichten:
VM binnen hyper-v. Schijven worden beschikbaar gesteld in de VM en zfsguru maakt er een RAIDZ van 5 disks van. Vmware ESXI is helaas geen optie omdat mijn mobo geen VT-d support heeft en dit ook niet gaat krijgen. In de toekomst staat een dergelijke upgrade wel in de planning binnen het socket 1155 domein. Correctie, ik ben nu aan het kijken naar een i5 + mobo upgrade met VT-x en VT-d ondersteuning

Vergeet niet dat er ook altijd nog de mogelijkheid is om physical RDM's te gebruiken, al is dat niet ideaal. Dan heb je dus geen VT-d nodig om een complete HBA door te geven aan een VM, maar kun je losse schijven doorgeven.

Bij gebrek aan budget voor een goede HBA (waarom zijn die dingen zo duur!) draai ik het momenteel ook zo onder ESXi.
Nadeel is wel dat maximaal op FreeBSD 9.0 zit.

@CiPHER: Misschien wat offtopic, maar waarschijnlijk ook relevant voor Vuurvoske:
Is de IBM M1015 nou echt één van de goedkoopste HBA's? Ik kan het me eerlijk gezegd moeilijk voorstellen. Dat ding is 2x zo duur als mijn moederbord terwijl er even veel SATA-poorten op zitten.
(En m'n moederbord kan nét ff wat meer dan een HBA)

[ Voor 15% gewijzigd door Compizfox op 29-01-2013 00:36 ]

[Verwijderd]

Vuurvoske, houd er wel rekening mee dat virtualisatie + ZFS + vt-d je opstelling wel ingewikkelder maakt. Het kan zeker goed werken en veel mensen gebruiken dat zo, maar complexiteit heeft ook een nadeel. Er valt wat voor te zeggen dat je aparte systemen bouwt die ook heel zuinig zijn. Zo draaien mijn servers die altijd aan staan rond de 14 watt zonder spindown.

Hoe dan ook, je gaat er flink op vooruit qua bescherming voor je bestanden. Ik kan natuurlijk alleen maar toejuichen dat mensen gebruik gaan maken van ZFS. Het is gewoon op dit moment dé manier van veilige opslag.

@CiPHER: Misschien wat offtopic, maar waarschijnlijk ook relevant voor Vuurvoske:
Is de IBM M1015 nou echt één van de goedkoopste HBA's? Ik kan het me eerlijk gezegd moeilijk voorstellen. Dat ding is 2x zo duur als mijn moederbord terwijl er even veel SATA-poorten op zitten.
(En m'n moederbord kan nét ff wat meer dan een HBA)

Tja voor de markt waar deze dingen voor bedoeld zijn is die 100 euro natuurlijk spotgoedkoop. Maar op ebay enzo zijn er veel mensen die ze voor een heel lage prijs weten te scoren. Wat ik eigenlijk had gewild is dat AMD of Intel hun southbridge op een PCI-express x4 insteekkaartje pleuren en alleen de SATA ervan gebruiken. Simpel zat? De chipset is ook met PCI-express (achtig) verbonden met de processor dus waarom zou dat niet kunnen? Waarschijnlijk gewoon een punt dat er maar een beperkte markt voor is, en dat de ontwikkelkosten niet kan rechtvaardigen, ofzo. Wel jammer, natuurlijk.

In de toekomst is het probleem opgelost met SATA Express. Net als PCI-express is dit een heel misleidende naam. PCI-express is misleidend omdat het bijna het tegenovergestelde is van PCI is heel veel opzichten. Het is geen bus maar een point-to-point interface, het is niet half-duplex maar full-duplex. Het is niet shared access maar dedicated bandwidth. Maar softwarematig heeft PCIe wel veel weg van PCI voor zover ik dat kan inschatten. Datzeflde zie je met SATA wat softwarematig gewoon als IDE controller en later als AHCI controller werd gebruikt softwarematig. SATA Express is misleidend, omdat het eigenlijk helemaal geen SATA meer is.

SATA Express is eigenlijk weinig meer dan een PCI-express slot, wat fysiek compatible is met een SATA stekker. Zo kunnen moederborden SATA-express poorten inzetten die zowel naar een 'ouderwetse' SATA controller in de chipset luisteren, alsmede naar PCI-express kunnen interfacen indien er een nieuwer 'SATA Express' apparaat aan wordt gekoppeld. Best wel geinig idee met goede backwards compatibility. We zien dit ook met USB3 die aparte pinnen/stekkers heeft maar wel goed compatible is met USB2 evenals met CAT6A ethernet stekkers die een afwijkende positie van de pinnen hanteert.

Bij SATA Express sluit je je hardeschijf of SSD dus eigenlijk direct aan op PCI-express, alsof je een PCI-express slot van je moederbord gebruikt. En die is weer zonder chip ertussenin (niet altijd, de kleine slots lopen via de southbridge/chipset) verbonden met je processor. Zo kun je dus zeggen dat je in de toekomst je SSD direct op je processor aansluit. Technisch gezien op de PCI-express switch aanwezig in de CPU SoC; want een CPU wordt steeds meer een computer in één chip (System On Chip). Het voordeel van al die integratie is natuurlijk dat hoe korter dingen op elkaar zitten dit potentiëel veel efficienter en probleemlozer verloopt, en ook energiebesparingstechnieken beter werken; zoals de thermische throttling tussen CPU en GPU in moderne processoren. Integratie is vooruitgang. Straks past alles in een speldenknop in je t-shirt.

Maar het moraal van dit verhaal: je controller heeft geen eeuwig leven; SATA express gaat de nieuwe standaard worden. Maar SATA is nu zo ingeburgerd dat je echt niet bang hoeft te zijn dat je straks geen schijven meer kunt kopen ofzo. Dus ik zou zeggen dat je controller nog wel 7 jaar nuttig zal zijn. Je hebt over 4 jaar wellicht weer een andere server en dan kun je deze die je nu bouwt weer als backup server inzetten. Zo heb ik dat ook gedaan en die kunnen veelal gewoon uitstaan. Toch fijn dat je een echte backup nog hebt van je bestanden op die manier.

Hopelijk heb je hier wat aan; ik denk dat die 100-120 euro voor een goede 8-poorts controller nog niet zo gek is. Echt goede alternatieven zijn er nauwelijks. ASMedia komt dan in de buurt; Marvell heeft teveel problemen gehad en die vertouw ik niet meer. Silicon Image werkt goed onder BSD; maar het is ouderwetse zooi. PCI chips op PCIe interface. Lage performance, maar wel hoge compatibiliteit. Zolang je maar geen Windows draait; die Silicon Image drivers zijn een gruwel.

[Vuurvoske]

Cipher je commando heeft gewerkt. Nu alleen nog het antwoord van azerty afwachten wat ze willen doen met de hdd's. Ik heb sowieso al te horen gekregen dat ik beide EARX schijven RMA mag sturen vanwege bad sectors.

[Vuurvoske]

Ik geef het op....

[John2B]

Timeout count en Media Errors zijn naast de smart van belang, helaas gaan die na reboot weer op NUL.

Lees ik goed dat je disken hebt verplaatst ? Bij een Areca met problemen NOOIT disken van poort wisselen. Het eerste wat Areca tech support doet, is a.d.h.v. disk nummers kijken of alle disken op de juiste plaats zitten.

Want als je bepaalde commando's of settings om wat voor reden dan moet aanpassen omdat bepaalde gegevens niet meer leesbaar zijn op 1 of meer disken en je gaat een rebuild beginnen. Zal het resultaat een grote puinhoop worden die NOOIT meer is te repareren.

RAID6 met 2 disken uitval is altijd te recoveren, geen probleem. Alleen als je in paniek disken gaat wisselen en wat dan ook, is het leed al geschied.

Inprincipe kan je in RAID6 met 2 defecte disken de RAID gewoon weer draaien en bereikbaar krijgen.

't is voor mij al weer tijdje geleden dat ik dit heb gedaan, maar voordat ik iets post hier....eerst disken op exact dezelfde poort terugplaatsen EN VERDER NIETS DOEN.

Ik zal een kijken of ik de procedure kan vinden, anders mailen (of tech support forum Areca raadplegen) zij hebben prima support. Of kopen via DE Areca RAID specialist.

Ik heb alles al gedaan en gehad met Areca, e het is echt een TOP controller, maar ik geeft toe, problemen oplossen is niet makelijk en eenvoudig beschreven. Maar met de juiste technische mensen en hulp is echt BIJNA alles terug te krijgen.

Oftewel...geduld en geen paniek.

[downtime]

Verwijderd schreef op zaterdag 26 januari 2013 @ 19:51:
September 2009 volgens een bron op Google; je kunt het in elk geval aan de production date zien. Maar welke datum WD precies is overgestapt op TLER-disabled firmware is mij niet bekend.

Ik moest toch onderhoud aan mijn RAID set doen en heb de WDTLER utility nog ergens kunnen vinden, zodat ik de disks kon controleren. In die set zitten 3 WD20EADS schijven (de vierde heeft ooit de geest gegeven) met de resp productiedata 21 juli 2010, 4 augustus 2010 en 5 augustus 2010.
Conclusie: De disk van 21 juli heeft support voor TLER en de andere twee niet. Het typenummer van die disk is ook iets anders. WD20EADS-00R6B0 voor de disk met TLER vs WD20EADS-00W4B0 voor de disks zonder TLER.

Ik weet alleen niet zeker of WD in die periode op nieuwe firmware is overgestapt of dat ze gelijktijdig meerdere versies van de EADS in productie hadden, die verschillende firmware gebruiken. Ik vermoed het laatste.