RAID controller upgraden

[Ijsklont]

Hoi Allemaal!

Op het moment hem ik een raid 5 config lopen van 4x2TB op een Intel ICH10R en vanwege de instabiliteit van deze onboard raid controller wil ik gaan upgraden naar een losse raid controller, namelijk de Adaptec 3805 (Geen slechte controller lijkt mij, toch?)

De volledige config zoals het nu draait:

#	Product	Prijs	Subtotaal
5	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 63,89	€ 319,45
1	Western Digital Velociraptor WD3000HLFS, 300GB	€ 115,43	€ 115,43
1	Asus Maximus II Formula	€ 0,-	€ 0,-
1	Corsair TWIN2X4096-6400C4DHX	€ 0,-	€ 0,-
1	Adaptec RAID 3805	€ 451,42	€ 451,42
1	Intel Core 2 Quad Q9450	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 886,30

De 4x2TB staan dus in Raid 5 voor data en de 300GB raptor functioneert als OS schijf. Tevens heb ik nog 1x een 2TB liggen die nog niet gebruikt wordt.

Op dit moment blijft de ICH10r steeds de raid array oneindig rebuilden en omdat ik het niet meer vertrouw wil ik dus upgraden naar een fatsoenlijke controller.

Maar nu mijn vraag:

Hoe kan ik probleemloos de Raid 5 array van de ICH10r, naar de Adaptec 3805 overzetten?

[Verwijderd]

Ijsklont, je gebruikt schijven waar Windows-based software RAID en Hardware RAID problemen mee heeft. De WD20EARS ondersteunt namelijk geen TLER commando en dat is een waarschijnlijke en zéér veel voorkomend probleem waarbij schijven uit de RAID array geschopt worden zodra er zich een bad sector voordoet, iets wat tegenwoordig steeds meer voordoet doordat de capaciteit van hardeschijven stijgt en hun 'foutmarge' (uBER) op een absoluut punt gelijk blijft.

Kortom, je schijven zijn ongeschikt voor deze taak en je kunt wel een dure controller kopen maar je zult hetzelfde gezeik houden. Het probleem is dit: zodra je schijven een bad sector ontwikelen, gaan ze recovery doen. Dat kan een minuut of langer duren terwijl strenge RAID implementaties de schijf na bijvoorbeeld 15 seconden als een gefaalde schijf beschouwt. Dan wordt deze uit de RAID geplaatst en laat het een bad sector achter, welke met SMART kan worden geïdentificeerd als 'Current Pending Sector'.

Kortom, wil je van de problemen af zijn moet je veel aanpassingen doen zoals het vervangen van je hardeschijven. Zonder daar verder op in te gaan, een andere vraag.... heb je wel eens aan een NAS gedacht? Een goed alternatief is bijvoorbeeld om een NAS te bouwen op basis van ZFS die ook een equivalent heeft van RAID5. Dit systeem - in tegenstelling tot Windows-based software RAID en hardware RAID - kan wél goed omgaan met je huidige schijven, en heeft sowieso eigenlijk het gedonder met bad sectors niet meer.

Zonder te willen overdrijven: ZFS is simpelweg superieur zeker op dit gebied en kan véél meer bescherming bieden dan welke traditionele RAID layer en filesystemcombinatie dan ook. Je kunt met een relatief goedkoop Brazos systeem met 6 onboard SATA al je schijfjes behouden en via het (gigabit) netwerk aanspreken. Dat betekent dus wel een extra systeem; voordeel is dat Brazos systemen heel zuinig zijn, dus voor extra stroomverbruik hoef je het niet echt te laten.

Om toch antwoord te geven op je vraag: je kunt niet zomaar je huidige RAID5 overzetten van ICH10R naar Adaptec hardware RAID, dan heb je exta schijven nodig om als backup te dienen en dan kun je net zo goed nieuwe schijven kopen voor hardware RAID en dan het zaakje handmatig kopiëren.

Ik wil verder ook benadrukken dat een traditioneel RAID systeem zonder backup een zeer overschatte mate van bescherming biedt, waardoor de kans vrij reëel is dat je toch te maken zult krijgen met dataverlies op termijn.

[heuveltje]

Voor je dat doet zou ik me dan ook eerst eens verdiepen in waarom je controller continu rebuild.
Dat heeft waarschijnlijk iets te maken met ofwel bekabelingsproblemen, danwel met TLER
Beide problemen worden niet automatisch opgelost door van controller te veranderen

[Ijsklont]

heuveltje schreef op donderdag 20 oktober 2011 @ 10:33:
Voor je dat doet zou ik me dan ook eerst eens verdiepen in waarom je controller continu rebuild.
Dat heeft waarschijnlijk iets te maken met ofwel bekabelingsproblemen, danwel met TLER
Beide problemen worden niet automatisch opgelost door van controller te veranderen

Ik ben er achter gekomen dat het iig aan één schijf ligt, als ik deze schijf echter vervang voor een nieuwe dan gaat de array op failed en kan ik er niks meer mee (ook niet rebuilden naar de nieuwe schijf). Zodra ik de (misschien gare schijf) terug plaats dan wordt de array weer herkend en begint ie weer te rebuilden.

Verwijderd schreef op donderdag 20 oktober 2011 @ 10:31:
Ik wil verder ook benadrukken dat een traditioneel RAID systeem zonder backup een zeer overschatte mate van bescherming biedt, waardoor de kans vrij reëel is dat je toch te maken zult krijgen met dataverlies op termijn.

Mijn idee is om ook met de nieuwe controller twee array's op te zetten van 4x2TB ipv 1 array van 8x2TB. Deze array's gebruik ik ook puur alleen voor data opslag van series/films/anime/muziek en komt geen persoonlijke data op.

[Verwijderd]

Kun je op pastebin ergens de SMART informatie van alle schijven posten? Dat kan met CrystalDiskInfo of HDtune, alhoewel je soms moeite kunt hebben met het inlezen van SMART over een RAID array.

Ik vermoed namelijk dat je schijven gewoon prima in orde zijn, maar dat je gewoon last hebt van bad sectors. Dat zou betekenen dat het niet aan een specifieke schijf ligt, maar dat al je schijven hier last van kunnen krijgen en dat je dus een fundamenteel probleem met je setup hebt, de combinatie van 'ouderwets' RAID met normale schijven die lange recovery doen.

Het is geen geheim dat ik een liefde voor ZFS koester, maar is dat in jouw geval geen goede optie? Oke betekent wel dat je iets investeert in een goedkoop Brazos systeempje, en weer een extra (welliswaar zuinig) systeem wat draait. Het voordeel zou wel zijn dat je je huidige EARS schijven prima kunt gebruiken en een veel veiligere opslagmethode krijgt, wat de noodzaak voor backups enigszins zou verminderen (maar ook niet volledig wegnemen).

[Reepje]

Als het alleen gaat om de opslag van niet persoonlijke data, waarom doe je dan zo moeilijk met raid?

Misschien eens tijd om je te bezinnen over je hobby om nulletjes en eentjes op een zo moeilijk mogelijke manier op te slaan (terwijl met 1 druk op de knop dezelfde nulletjes en eentjes op het internet gevonden kunnnen worden)

getekend, een ex-verslaafde van opslag, verzameling en backup capriolen.

[Ijsklont]

Verwijderd schreef op donderdag 20 oktober 2011 @ 12:28:
Kun je op pastebin ergens de SMART informatie van alle schijven posten? Dat kan met CrystalDiskInfo of HDtune, alhoewel je soms moeite kunt hebben met het inlezen van SMART over een RAID array.

Ik vermoed namelijk dat je schijven gewoon prima in orde zijn, maar dat je gewoon last hebt van bad sectors. Dat zou betekenen dat het niet aan een specifieke schijf ligt, maar dat al je schijven hier last van kunnen krijgen en dat je dus een fundamenteel probleem met je setup hebt, de combinatie van 'ouderwets' RAID met normale schijven die lange recovery doen.

Het is geen geheim dat ik een liefde voor ZFS koester, maar is dat in jouw geval geen goede optie? Oke betekent wel dat je iets investeert in een goedkoop Brazos systee
[...]
mpje, en weer een extra (welliswaar zuinig) systeem wat draait. Het voordeel zou wel zijn dat je je huidige EARS schijven prima kunt gebruiken en een veel veiligere opslagmethode krijgt, wat de noodzaak voor backups enigszins zou verminderen (maar ook niet volledig wegnemen).

ZFS zal denk ik voor mij geen optie worden omdat de volume moet kunnen lezen en schijven vanaf Mac, Windows en Linux (MediaCenter). En heb ergens gelezen dat NFS en Mac niet de grootste vriendjes zijn. Op de server zelf staat trouwens dit moment Windows 2008r2 Standaard op geinstalleerd.

[Verwijderd]

Ik zie geen problemen met het gebruik van Mac, Linux en Windows. Voor Mac kun je NFS of AppleTalk gebruiken, voor Linux NFS of Samba en voor Windows ook Samba.

De échte vraag is of je een extra systeem ziet zitten en bereid bent moeite te steken in het opzetten van je nieuwe oplossing. De beloning is dat je een probleemloze, veilige en betrouwbare setup krijgt zonder gezeik met crashes op RAID-niveau, zoals je waarschijnlijk nu ondervindt.

[Ijsklont]

De server wil ik toch wel graag Windows op behouden, voornamelijk ook omdat dit voor mij veel makkelijker is te beheren.

Maar om terug te komen op mijn raid probleem, heb je wellicht een tip waarmee ik de huidige array weer correct kan laten functioneren en dus niet meer steeds aan het rebuilden is?

[Verwijderd]

Al je schijven vervangen door TLER schijven, die twee en half keer zo duur zijn als normale WD EARS:
pricewatch: Western Digital RE4-GP WD2002FYPS, 2TB

Om eerlijk te zijn kun je dan nog beter overwegen helemaal geen RAID meer te gebruiken, maar backups en losse disks.

[Verwijderd]

Of je kan de schijven vervangen door Hitachi of Samsungschijven welke CCTL gebruiken, een systeem wat gelijk staat aan TLER. Deze schijven zijn normaal geprijst gezien tegenover de WD met TLER.
Raid draaien kan dus wel met desktopschijven, alleen moet je dan niet de WD's hebben, tenzij je veel meer wil betalen voor geschikte schijven.

[Verwijderd]

CCTL moet je controller actief gebruiken en dus actief ondersteunen, terwijl TLER een passieve instelling is waar je controller niets voor hoeft te doen. Alleen TLER is dus iets wat 'gegarandeerd werkt'.

[Ijsklont]

Verwijderd schreef op donderdag 20 oktober 2011 @ 12:28:
Kun je op pastebin ergens de SMART informatie van alle schijven posten? Dat kan met CrystalDiskInfo of HDtune, alhoewel je soms moeite kunt hebben met het inlezen van SMART over een RAID array.
).

Het koste idd wat moeite maar de smart status per hdd is in orde, dus dar ligt het huidige probleem niet

[ Voor 4% gewijzigd door Ijsklont op 20-10-2011 21:14 ]

[Verwijderd]

Kun je de raw data van elke schijf posten?

[Ijsklont]

Verwijderd schreef op donderdag 20 oktober 2011 @ 21:04:
Kun je de raw data van elke schijf posten?

Wat bedoel je exact met raw data?

[redfoxert]

Verwijderd schreef op donderdag 20 oktober 2011 @ 14:32:
Al je schijven vervangen door TLER schijven, die twee en half keer zo duur zijn als normale WD EARS:
pricewatch: Western Digital RE4-GP WD2002FYPS, 2TB

Om eerlijk te zijn kun je dan nog beter overwegen helemaal geen RAID meer te gebruiken, maar backups en losse disks.

Momenteel is het inmiddels 5-10 keer zoveel geworden

[Verwijderd]

pricewatch: Western Digital Caviar Green WD20EARX, 2TB
pricewatch: Western Digital RE4-GP WD2002FYPS, 2TB

160,98 / 61,82 = 2,60x dus grofweg twee en half keer zo duur, of mis ik iets?

@IJsklont: de échte SMART gegevens, zoals:
http://i1-win.softpedia-static.com/screenshots/HD-Tune_3.png
Of wil je niet zoeken naar wat je huidige probleem veroorzaakt heeft? Nogmaals, ik gelijk helemaal niet dat er iets mis is met je schijven; een bad sector betekent geen op serven liggende disk maar gewoon een RAID layer die daar heel slecht mee omgaat.

[Ijsklont]

Verwijderd schreef op vrijdag 21 oktober 2011 @ 00:53:

Of wil je niet zoeken naar wat je huidige probleem veroorzaakt heeft?

Dat wil ik juist wel weten! Ik wist alleen niet exact wat je bedoelde, hieronder de screens per HD:

[ Voor 80% gewijzigd door Ijsklont op 21-10-2011 01:28 ]

[Verwijderd]

Ah kijk, dat is interessant. Je drie onderste schijven zien er goed uit, de bovenste schijf ziet er niet goed uit. Die schijf heeft 177 omgewisselde bad sectors (Reallocated Sector Count) en 210 actieve bad sectors (Current Pending Sector) die momenteel voor veel problemen zal zorgen.

Zou je die schijf zero-writen (lange format) en dan weer toevoegen aan de RAID5, dan heb je voorlopig de problemen weer opgelost. Maar de hoeveelheid bad sectors is wel meer dan normaal en je kunt er zeker ook voor kiezen om deze schijf te RMA'en. Je kunt ook zien dat deze schijf een hoge LCC (Load Cycle Count) heeft, wat kan betekenen dat HeadParking niet was uitgeschakeld.

Wel wil ik nog benadrukken dat ook schijven die prima in orde zijn bad sectors kunnen ontwikkelen. Met schijven van huidige datadichtheid is het ook zo dat je Current Pending Sector kunt krijgen zonder dat er fysieke schade is aan de sector zelf, en zodra dit is opgelost ieder 'bewijs' dat die schijf ooit een probleem heeft gehad verdwijnt. Je kunt dan niet meer zien dat de schijf ooit problemen heeft gehad cq. veroorzaakt.

Maar het is Current Pending Sector die voor grote problemen zorgt, omdat vrijwel alle Windows en Hardware RAID implementaties daar niet goed mee om kunnen gaan. Als een hardeschijf 15 seconden lang niet reageert op een I/O request, wordt vaak de hele schijf als gefaald gezien. Absurd natuurlijk, als een schijf alleen één sector niet kan lezen. Maargoed, dat is dus de reden voor de RAID edition schijven die TLER ondersteunen, en daar wordt natuurlijk flink wat winst op gemaakt.

[Cobalt]

De bovenste schijf is aan vervanging toe. Deze schijf heeft ontzettend veel re-located sectors (voor iedere re-located sector is er ook een kapotte sector) en redelijk wat lees en schrijf fouten.

Het aantal unsafe shutdown counts kan volgens mij komen door verkeerde cache instellingen icm stroom uitval, of een andere oorzaak.

De eerste schijf heeft ook grof weg 5x zoveel uren gemaakt als de overige schijven.

[ Voor 3% gewijzigd door Cobalt op 21-10-2011 01:49 ]

[Ijsklont]

Dat is de schijf waar ik al vermoede dat die de oorzaak is. Als ik die er namelijk uithaal dan gaat de arry op failed en kan ik deze ook niet meer benaderen. Wanneer deze schijf terug aansluit dan gaat ie weer oneindig rebuilden.

@cobalt deze schijf heeft wel ook een oudere firmware dan de andere

[Verwijderd]

Cobalt schreef op vrijdag 21 oktober 2011 @ 01:48:
De bovenste schijf is aan vervanging toe. Deze schijf heeft ontzettend veel re-located sectors (voor iedere re-located sector is er ook een kapotte sector) en redelijk wat lees en schrijf fouten.

177 valt nog enigszins mee; we hebben het dan over 88.5KiB dus minder dan 0,1 megabyte aan opslag wat defect is en omgewisseld. De leesfouten zijn normaal en mag je tegenwoordig niet meer zien; deze wordt dan ook verborgen of gemaskeerd, omdat mensen niet begrijpen dat zonder ECC correctie een hardeschijf ontzettend veel sectoren niet meer kan lezen. De echte waarde zit in de biljard leesfouten. Oudere schijven laten nog wel raw values zien, die continu weer bij 0 beginnen omdat ze de maximale waarde van een paar miljard overschrijden.

De write errors zijn wel accuraat, maar met 605 keer een schrijfactie opnieuw moeten verrichten voor een relatief oude schijf is dat ook niet een probleem te noemen; hooguit een indicatie dat de schijf tekenen van ouderdom begint af te geven.

Het aantal unsafe shutdown counts kan volgens mij komen door verkeerde cache instellingen icm stroom uitval, of een andere oorzaak.

Unsafe shutdown krijg je als de schijf niet een STANDBY IMMEDIATE instructie krijgt voordat de stroom eraf gaat. Dat kan zijn een onverwachte power cycle, een OS crash or stroomstoring. De waarde ligt 2x zo hoog, maar de eerste schijf is zoals je zegt ook ouder dus ook daar zie ik niets vreemds aan.

Het enige wat echt niet in orde is aan die SMART data zijn de 177 pending sectoren, die acuut voor problemen zorgen in het bijzonder met zijn RAID layer en het feit dat de rebuild niet lukt.

Overigens, IJsklont, is het niet zo dat zonder die schijf je array op DEGRADED staat? Zo nee, dan heb je ook geen RAID5 bescherming meer, omdat je parity niet in orde is. Heb je eerder een rebuild gedaan aan een van de overige schijven?

[Ijsklont]

Verwijderd schreef op vrijdag 21 oktober 2011 @ 02:07:
[...]
Overigens, IJsklont, is het niet zo dat zonder die schijf je array op DEGRADED staat? Zo nee, dan heb je ook geen RAID5 bescherming meer, omdat je parity niet in orde is. Heb je eerder een rebuild gedaan aan een van de overige schijven?

Nee als ik die schijf ontkoppel dan komt de array op failed te staan en niet degraded, wel raar is dat wanneer ik de schijf weer terug zet dan kan ik wel bij alle data wat op de array staat

Edit:Deze schijf heeft overigens een oudere firmware erop staan dan de andere, zou ik deze zonder schade aan de array kunnen updaten zodat dit gelijk is aan de andere schijven. En mogelijk hiermee het probleem kunnen oplossen?

[ Voor 17% gewijzigd door Ijsklont op 21-10-2011 11:47 ]

[ParkOverall]

Verwijderd schreef op vrijdag 21 oktober 2011 @ 01:41:
...............

............ Maar de hoeveelheid bad sectors is wel meer dan normaal en je kunt er zeker ook voor kiezen om deze schijf te RMA'en. ..............

Mijn diagnose-tool van Samsung geeft de schijf niet als 'faulty' bij bad sectors; dit lijkt geen RMA grond? Wordt niet RMA geaccepteerd?