Raid 5 Migratie duurt een eeuwigheid

[Ijsklont]

Beste,

Ik heb laatst een nieuwe server gebouwd met mijn oude Asus Maximus II Formula moederbord, hier heb ik Windows 2008r2 (met onboard ICH10r van Intel) op geinstalleerd en ben toen begonnen met de Raid 5 config.

Als eerst heb ik drie nieuwe 2TB harddisks in Raid 5 gedaan en vervolgens de data van mijn vorige 2x 2TB's naar de raid5 overgezet. Toen dat eindelijk klaar was heb ik vervolgens de andere twee 2TB's de partities verwijderd en vervolgens heb ik weer met de Intel Matrix Starage console de twee 2TB's aan de huidige raid5 config toegevoegd en toen is dat ding begonnen met migreren.

Nu heb ik dit maandag avond gestart en het migreren is nu pas bij 52% en zou nog iets van 290 uur moeten gaan duren (Like WTF?!?!?!)

Wat kan ik hier nu het beste mee doen? Want eigenlijk moet ik de server ook nog gaan verplaatsten om ruimte te maken op mijn kamer, maar nu weet ik niet wat voor invloed het zal hebben als ik het systeem uit zet en daarna weer aanzet.

Heeft iemand hier advies wat ik nu het beste kan doen (liefst ook uiteraard zonder data verlies)?

[redfoxert]

Niet uitzetten en uit laten pruttelen. RAID5 zonder dedicated hardware controller is nu eenmaal (stukken) langzamer dan je eigenlijk zou willen.

[osmosis]

wat redfoxert zegt, je hebt helaas weinig keuze, onboard chipsets laten altijd ten wensen over

[Ijsklont]

nee ok ik had ook geen wonderen verwacht van de onboard raid controler van Intel maar 290 uur is toch wel echt belachelijk of heb ik het dan soms mis?

[base_]

Bedenk wel even over hoeveel capaciteit het gaat, totaal 10Tb die "even" opnieuw gerangschikt moet worden, leuk die grote schijven tegenwoordig maar een volledige schijf even volschrijven duurt best lang, daarnaast vermoed ik ook dat de onboard controller niet alle schijven tegelijk aankan zoals een dedicated raid controller dat doet. Daarnaast neem ik aan dat je wel een backup hebt? Raid is namelijk niet te vergelijken met backup.

[TERW_DAN]

Nou, een parity herberekenen kost zelfs op een dedicated controller al aardig wat tijd, dus het kan best nog wel eens wat tijd in beslag nemen op een ICHtje.

[GB2]

Onboard is traag en zeker bij dit soort acties kost het gewoon reken tijd, zeker met deze schijven, je plakt er niet even 80 gb bij ofzo...

[mrc4nl]

Ijsklont schreef op woensdag 20 juli 2011 @ 12:42:
nee ok ik had ook geen wonderen verwacht van de onboard raid controler van Intel maar 290 uur is toch wel echt belachelijk of heb ik het dan soms mis?

t is ook maar een indicatie, wie weet heb je geluk...

[Ijsklont]

mrc4nl schreef op woensdag 20 juli 2011 @ 12:45:
[...]

t is ook maar een indicatie, wie weet heb je geluk...

Het bizarre is ook dat het na een halve dag al op 40% stond en ineens nu erg traag gaat.

base_ schreef op woensdag 20 juli 2011 @ 12:45:
Daarnaast neem ik aan dat je wel een backup hebt? Raid is namelijk niet te vergelijken met backup.

Van deze data niet, maarja ik spreek hier ook over bijna 3.5TB aan data (Series, films muziek etc...) wat op de raid al stond voordat ik de twee andere schijven erbij heb gedaan. Overigens stond er wel andere data wat wel van essentieel belang is, maar dat heb ik ook nog op mijn gewone systeem staan.

mrc4nl schreef op woensdag 20 juli 2011 @ 12:45:
[...]

t is ook maar een indicatie, wie weet heb je geluk...

Let's hope so

[ Voor 11% gewijzigd door Ijsklont op 20-07-2011 13:00 ]

[Verwijderd]

Volume write-back activeren dan kan het rebuilden een stuk sneller gaan. Je laat je disks nu in elk geval continu seeken daarom is het zo langzaam. Het is ook erg intensief voor je hardeschijven om continu te seeken.

Dit heeft overigens niets met parity berekeningen te maken; de XOR-berekeningen zijn peanuts voor je CPU en gaat tegen de snelheid van je geheugen. 8GB/s aan parity voor een modern systeem is vrij normaal.

Het probleem is dat zonder het opsparen van requests in feite random writes doet ipv sequential writes. RAID5 is een complex level wat veel intelligentie nodig heeft voor voldoende snelheid. Merk ook op dat je niet moet denken dat een RAID5 enorm veilig is. Je hebt alsnog 1:1 backups nodig omdat de kans toch vrij groot is dat er iets mis gaat met de RAID5 zoals twee disks die opeens 'non-member' zijn, en dan zit je met een niet-toegankelijk volume. Beschouw de RAID5 dus als kwetsbaar.

[base_]

Precies en vergeet ook niet dat users/virussen nog wel eens iets kunnen wissen bijvoorbeeld. Daarnaast kunnen bestandssystemen ook onherstelbaar beschadigen. Daarom is RAID niet te vergelijken met backup. Als je writeback cache aanstaat wil je trouwens ook niet weten wat er gebeurt bij een stroomstoring.

[Verwijderd]

Of een blauw scherm (OS crash).

[Ijsklont]

Ik heb de raid ook nooit als backup beschouwd, maar in dit geval is het gewoon handig om toch wat redundantie te hebben. Want heb al ooit meegemaakt dat een 1TB vol met data kapot ging en was dan alles ook kwijt.

Verwijderd schreef op woensdag 20 juli 2011 @ 17:53:
Volume write-back activeren dan kan het rebuilden een stuk sneller gaan.

Dit kan ik zonder problemen aanzetten tijdens de migratie?

[spone]

Ijsklont schreef op woensdag 20 juli 2011 @ 20:46:
Dit kan ik zonder problemen aanzetten tijdens de migratie?

Ja. Houd er wel rekening mee dat als de stroom uitvalt/stekker losraakt je array op zijn minst corrupt is.

[Ijsklont]

Ok dan zou ik nadat deze klaar is met de migratie die optie wel weer uitzetten totdat ik een UPS oplossing heb.

[mrc4nl]

misschien niet heel relevant maar: heeft riad1 minder schade bij stroomuitval?
want riad 5 staat de data verdeeld over 3 schijven i.p.v 1

[spone]

Het zou in geval van een corrupte array in ieder geval de recovery een stuk eenvoudiger maken: je pakt een individuele schijf uit de array en spreekt die aan. In geval van raid 5 (op basis van 3 schijven) staat als je geluk hebt of een blok parity, of 50% van je data op de individuele schijf.

[killercow]

Bij 10tb loop je al best de kans dat je een unrecoverable read error tegen komt en dus je hele array niet meer kunt rebuilden en dus je data kwijt bent.

Misschien moet je eens nadenken of je niet raid 6 (nog meer cpu nodig), of 2 losse raid 5 arrays wilt hebben van max 5tb?

[_JGC_]

De eerste ICH10R met RAID6 ondersteuning moet ik nog tegenkomen .
Wat betreft opdelen in 2 losse RAID5 arrays: de kans dat het gebeurt wordt iets kleiner, maar je hebt nog steeds joekels van schijven met veel sectoren en hoge datadichtheid die tijdens een rebuild stuk kunnen gaan.

Wat dat laatste betreft: ik beheer zelf servers met hardware RAID controllers en 6x2TB in RAID6, ik heb tot nu toe al een aantal keren gehad dat ik sector repair warnings kreeg van de controller tijdens het rebuilden van zo'n array. Misschien dat bij moderne 2TB disks de uitval wat lager is, maar bij de Hitachi 7K2000 zijn bad sectors heel normaal.

[base_]

Even een korte waarschuwing: bij de normale SATA desktop harddisk van 1+ Tb is de uitval vrij groot, bij zgn enterprise hdd's (zoals de WD RE (sata) of sas schijven) is dit veel lager, houd er rekening mee dat de standaard sata schijven dus niet zo heel betrouwbaar zijn. Deze problemen kom je helaas meestal pas tegen onder hoge load (zoals rebuilden) waarbij je een vrij grote kans hebt dat de data compleet FUBAR gaat en dus niet te recoveren is.

[Ijsklont]

Nou ik moet zeggen dat het weinig tot helemaal niks scheelt sinds ik die Write Back Cache heb ingeschakeld.

Zit nu pas op 59% met nog 237 uur te gaan

Edit 15.43 uur: 60% en nog 229 uur te gaan

[ Voor 13% gewijzigd door Ijsklont op 22-07-2011 15:46 ]

[FireDrunk]

Zorg dat er zo min mogelijk activiteit op de disks is, je zou het volume in windows ook offline kunnen trekken, dat scheelt misschien ook weer een procentje (2 uur dus )

[brederodekater]

base_ schreef op donderdag 21 juli 2011 @ 03:03:
Even een korte waarschuwing: bij de normale SATA desktop harddisk van 1+ Tb is de uitval vrij groot, bij zgn enterprise hdd's (zoals de WD RE (sata) of sas schijven) is dit veel lager, houd er rekening mee dat de standaard sata schijven dus niet zo heel betrouwbaar zijn. Deze problemen kom je helaas meestal pas tegen onder hoge load (zoals rebuilden) waarbij je een vrij grote kans hebt dat de data compleet FUBAR gaat en dus niet te recoveren is.

Ik denk niet dat er veel verschil is kwa echte uitval. Je hebt alleen wat meer garantie op RE disks & ze supporten TLER of CCTL, wat weer ten goede komt in het geval van hardware RAID controllers.

[base_]

brederodekater schreef op zaterdag 23 juli 2011 @ 14:06:
[...]


Ik denk niet dat er veel verschil is kwa echte uitval. Je hebt alleen wat meer garantie op RE disks & ze supporten TLER of CCTL, wat weer ten goede komt in het geval van hardware RAID controllers.

Zeg je dat uit ervaring of is dat een vermoeden? Mijn praktijkervaring is toch anders.

[Ijsklont]

Pff dit duurt me nu echt te lang, nog 201 uur resterend en is nu pas ook op 65 procent

[Occy74]

Niet lullig bedoeld hoor maar het lijkt me nu wel duidelijk hoe langzaam het gaat en je dat dus niet elke procent stijging opnieuw hoeft te melden.. Verder veel succes met je rebuild.

Ik weet hoe je je voelt, ik vond 2TB rebuilden met een areca 1220 (hardware xor) al lang duren

Hier iets voor de tussentijd:
[YouTube: http://www.youtube.com/watch?v=Uo1_1Q4Xbuc]

[ Voor 16% gewijzigd door Occy74 op 23-07-2011 23:31 ]

[Ijsklont]

[ Voor 100% gewijzigd door Ijsklont op 23-07-2011 23:34 ]

[mrc4nl]

hier nog een leuke: ergens zit een verrassing *not*
[YouTube: http://www.youtube.com/watch?v=jI-kpVh6e1U&playnext=1&list=PL3643A06A0085A400]

t is leuk om iedere 2-3 uur de prognose weer te geven, eens kijken of de tijd dan 2x zo snel gaat

tot die tijd kun je je met YouTube: ‪10 hour playlist‬‏ - YouTube wel vermaken dacht ik zo

[ Voor 27% gewijzigd door mrc4nl op 24-07-2011 01:53 ]

[Ijsklont]

Prognose is nogsteeds faal 68% en nog 190 uur te gaan

Ben er inmiddels wel achter gekomen dat 1 folder met complete inhoud en een andere gedeeltelijk corrupt zijn geraakt. Kan daar namelijk niet meer in. Heb toen besloten om toch een reboot te doen en mijn server te verplaatsen naar een andere kamer en de migration gaat wel gewoon verder zonder te zeuren.

Iemand trouwens een tip om eventueel data alsnog te recoveren? Heb bijvoorbeeld een XLS bestandje die dus gecorrupt is en alleen nog maar vage tekens geeft in Excel.

[mrc4nl]

Ijsklont schreef op zondag 24 juli 2011 @ 14:33:
Prognose is nogsteeds faal 68% en nog 190 uur te gaan

Ben er inmiddels wel achter gekomen dat 1 folder met complete inhoud en een andere gedeeltelijk corrupt zijn geraakt. Kan daar namelijk niet meer in. Heb toen besloten om toch een reboot te doen en mijn server te verplaatsen naar een andere kamer en de migration gaat wel gewoon verder zonder te zeuren.

Iemand trouwens een tip om eventueel data alsnog te recoveren? Heb bijvoorbeeld een XLS bestandje die dus gecorrupt is en alleen nog maar vage tekens geeft in Excel.

je kan misschien Thematopic: Datarecovery raadplegen

[Ijsklont]

Thnx, kzal die eens nalezen. Ik heb overigens de server nogmaals een reboot gegeven en zit nu in de storage manager van intel in de bios zelf. Eens kijken of dit wellicht de migratie versneld.

[_Arthur]

Als je data je lief is, laat je dat ding pruttelen totdat ie (eindelijk) klaar is.

Daarna moet je je maar eens afvragen of je wel software Raid5 wilt draaien met 5x 2TB disks.

[Ijsklont]

is gewoon een hardware raid die ik aan kan passen via Windows

[ralpje]

Een ICH10R is géén hardware RAID

[Ijsklont]

ach maakt ook niks uit voor nu, hier kan ik het voorlopig mee doen. Echter ga ik wel bij de volgende upgrade van extra hd's wel een losse raid kaart kopen.

[Verwijderd]

Ijsklont schreef op vrijdag 22 juli 2011 @ 10:12:
Nou ik moet zeggen dat het weinig tot helemaal niks scheelt sinds ik die Write Back Cache heb ingeschakeld.

Enigszins vreemd, ik had verwacht dat de rebuild ook sneller kon gaan omdat de driver dan grote blokken gebruikt, zodat de disks niet continu hoeven te seeken. Guess not.

Maar na je rebuild zouden de schrijfsnelheden stukken sneller (richting 100MB/s) moeten gaan met Volume write-back cache enabled. Merk hierbij op dat het niet over disk write-back gaat maar volume write-back; zo staat het ook in je Intel RST configuratiepaneel meen ik.

[mrc4nl]

en hoe staat het met de migratie?
80% ofo?

[Ijsklont]

Nou we hebben hier stroom faal gehad (Ook wel genaamd een vader die even met de stoppenkast bezig was) Nu staat dat ding ineens te rebuilden met nog 22 uur te gaan op 61%

Kwam er net ook achter dat ik één bepaald excel bestand wel had gebackuped maar dat was voor het laatst in maart ofzo en in de tussentijd zijn er wel wijzigingen geweest op het origineel. Nu is heel dat bestand vern*kt.

Het zit mij echt niet mee

[mrc4nl]

dat is echt vervelend zeg, mijn medeleven.
nu je deze ervaring rijker bent, weet ik zeker dat je het de volgende keer beter gaat aanpakken

[base_]

RAID 5, write back cache, stroomstoring tijdens rebuild: ja je hebt dan echt een heel slechte combinatie. Dit is dan ook bijna een schoolvoorbeeld waarom RAID geen backup is vrees ik.