Welke expert kan Don Quichotte uit zijn droom helpen, raid 0

[iedjie]

Al 3 weken ben ik aan het experimenteren, zoeken, lezen, etc. maar niets luk want waarschijnlijk kan het gewoon niet wat ik wil! Toch wil ik het hier nog één keer aan de experts vragen.

Systeem;
MSI P55-GD65
Intel i5 750
8 GB ram
QuadroFX 3700
Crucial m4 60GB met Windows 7 64 (SATA port 0)
Seagate 300GB voor data (SATA port 1)
4x Samsung F3 1TB in RAID 0, 3.6 TB (Intel RST) voor Video opslag
2x WD 1TB externe USB disks voor Video-backup

Het systeem is voor video-editing, (Avid MC). Om meerdere lagen HD video tegelijkertijd en vloeiend af te kunnen spelen heb ik RAID 0 geconfigureerd. Werkt als een tiet, met zo'n 400 MB/s max speel ik moeiteloos realtime 4 of 5 lagen HD af in de tijdlijn van Avid MC.

Ik weet natuurlijk dat RAID 0 niet safe is. Daarom.wordt al het videomateriaal eerst op de 2 externe schijven ge-captured. Daarna kopieer ik het naar de RAID 0. Als 1 schijf kapot gaat hang ik er een nieuwe in, configureer ik een geheel nieuwe RAID 0 from scratch en kopieer ik opnieuw alle videobestanden hier naar toe.

So far so good. Maar... ik kan ook op een andere manier data kwijtraken op mijn RAID 0, namelijk als de RAID 0 configuratie in de Intel controller kapot gaat. De experts kennen het wel, CTRL-i intoetsen na POST en één van de disks is NON-RAID geworden en de volume status is FAILED.

Nou komt ie. Ik weet dus niet of mijn volgende bewering waar is en daar wil ik graag reacties op.
In principe staan alle videobestanden nog steeds op de 4 disks in het geval van een FAILED volume. Alleen de partitietabel (GPT) is kapot. Ik reconstrueer opnieuw een RAID 0 configuratie met exact de zelfde parameters als de eerste keer, (stripe size, disk order, naam, etc). Dan moet ik op de één of andere manier de GPT partitietabel terugschrijven van een backup op de RAID 0 volume en Windows 7 ziet weer mijn oude volume.

Kan dat????


Om dit te testen heb ik expres de RAID 0 configuratie ettelijke malen kapot gemaakt door in de Bios even AHCI in te stellen en dan op te starten. Daarna opnieuw opstarten, RAID 0 opnieuw geconfigureerd en daarna Windows opgestart. Daarna zette ik met PartitionGuru de van tevoren opgeslagen GPT partitie tabel terug maar helaas. Windows 7 laat in schijfbeheer een volume zien waarvan een 1.6 TB partitie goed is en een partitie van 2 TB die RAW is. Data dus weg, dikke pech.

Nou lees ik op internet van mensen die het gelukt is met het programma Testdisk. Maar ook daarmee kan ik de RAID 0 niet reconstrueren.
Natuurlijk, ik kan gewoon een nieuwe RAID 0 configureren en mijn videobestanden erop kopieren. Maar als ik straks 3 TB of meer aan videobestanden moet gaan kopieren ben ik wel één of twee dagen zoet. Daarom hoop ik dat het mogelijk is om dmv GPT backup en restore het oude volume weer op orde te krijgen.

Wie heeft dit wel eens voor elkaar gekregen en hoe?
Of wie helpt mij uit mijn droom?

Alvast heel erg bedankt. Ik ben hier al te lang mee bezig en ik moet verder. Dit is mijn laatste poging voor een oplossing, als het niet kan, kan het niet en moet ik maar gaan kopieren als het een keer fout gaat...

Oh ja, data recovery en dan naar lege disks kopieren is geen optie. Ten eerste heb ik niet 3.6 TB aan lege disks en zo'n programma doet er net zo lang over, of misschien wel langer, dan het kopieren van de videobestanden die op de externe USB disks staan.

[edit] Oh ja, nog iets, RAID 1 of 5 is ook geen optie, ik heb de snelheid en de opslagruimte van RAID 0 nodig.

[_eXistenZ_]

Allereerst, naar "experts" vragen kan tweakers afschrikken

iedjie schreef op donderdag 10 mei 2012 @ 19:54:

[...]

Kan dat????

Ja!!!!!!!!11oneoneleven

Althans, in theorie afhankelijk van je raidcontroller wel. Onder Linux kan ik een partitietabel prima slopen en deze restoren en alles doet het weer. Het kan in jouw geval iig zijn zijn dat een onboard raidcontrollert wat meta-data in de eerste sectoren ofzo schrijft die je kwijtraakt waardoor in jouw geval de truc mislukt:)

[...]

[edit] Oh ja, nog iets, RAID 1 of 5 is ook geen optie, ik heb de snelheid en de opslagruimte van RAID 0 nodig.

En waarom was raid10 geen oplossing?

[ Voor 6% gewijzigd door _eXistenZ_ op 10-05-2012 20:21 ]

[iedjie]

Raid 10 is om dezelfde reden geen optie, het kost me me teveel schijfruimte.

[Q]

Je wilt voor een dubbeltje op de 1e rang zitten. Dat kan niet.

Dit is trouwens sowieso gekkenwerk. Maar wat jij wil. Wat kost je een dag+ niet kunnen werken?

Of je koopt gewoon wat extra schijven en doet RAID 10 met 4 disks ofzo, of je moet maar accepteren dat je 1 dag aan het kopiëren bent om alles weer terug te zetten.

Als je de kosten van RAID 10 niet te dragen zijn voor waar je het voor toepast, waar gaat het dan over?

[ Voor 5% gewijzigd door Q op 10-05-2012 23:20 ]

[iedjie]

@Q, ik snap je reactie en vind het goede kritiek. Ik wil inderdaad voor een duppie op de eerste rang zitten. Mijn financiële situatie is overigens zeer beroerd. Ik ga de zoektocht ook staken. Ik hoop(te) gewoon dat iemand een truc of een tool kent waarmee mijn idee te bewerkstelligen is. Maar mijn hoop neemt af...
Ik wacht nog een dag maar volgens mij ben jij degene die mij uit mijn droom helpt.
Bedankt.

[_JGC_]

Wie zegt dat als je raidset faalt, dat dan alleen je GPT partitietabel naar de maan is? Ik weet niet precies hoe Intel omgaat met het reconstructen van een array, maar als ik op een hardware RAID controller een array sloop en later weer precies hetzelfde aanmaak, gaat die controller vrolijk het nieuwe array initialiseren en is alle data weg.

[iedjie]

http://www.overclock.net/...aid-non-member-disk-error

Hier las ik dat het dus kan met Testdisk en vanuit die aanname ging ik verder zoeken. Om de een of andere reden laat Testdisk bij mij maar 3 gepartitioneerde schijven zien ipv 4. Dus ging ik met andere programma's verder klooien.

[Verwijderd]

TLDR: Het kan maar je moet exact de config / meta data terug kunnen zetten, dit is lastig met close-source zaken als intel fakeraid en ms windows. Veel huidige programma's kunnen dit niet.

Het ligt er aan waarom de RAID config faalt in de Intel firmware. Als je jezelf wilt behoeden voor een raid config failure is het makkelijker om software raid in windows zelf te doen. Dan heb je dat probleem minder.

Het is zo dat het kan met software raid omdat ontwikkelaars goed weten hoe opensource oplossingen als mdadm werken en op basis daarvan configs terug kunnen zetten. Met Intel fakeraid is het lastiger omdat niet exact te zien is welke meta data nog meer op de drives staan en hoe deze is opgebouwd.

Ik snap ook niet precies waarom 3TB data kopieren je 1 of 2 dagen zou kosten. Ik denk dat het handiger is om de USB drives gewoon als hotswap sata schijven te gebruiken. Kost niet zoveel om een bracket te kopen en gaat een stuk sneller dan je huidige waarschijnlijk USB2 externe drives.

Daarnaast moet je de afweging maken wat duurder is. Twee dagen kopieeren of 4 HDD's aanschaffen voor "betere" RAID config. Kopieren moet je toch wel in geval van diefstal / brand etc. Daar red je RAID je ook niet welke controller / config je ook hebt.

Het blijft helaas een eeuwige afweging tussen tijd die het kost als je server stil staat, de kans dat hij stil staat en de investeringen om die kans te verkleinen en de downtime te verlagen

Zelf draai ik mdadm RAID10 met 6 drives (400MB/s write / 950MB/s read) 1 hotspare, en 2 hot-swap drives als backup. Het is een redelijke investering maar het wel waard als er een drive faalt of de hele boel in de fik vliegt.

[ Voor 6% gewijzigd door Verwijderd op 11-05-2012 12:01 ]

[CaptJackSparrow]

Je kunt evt. ook die externe back-up schijven in eSATA behuizingen stoppen of een eSATA drive-dock gebruiken. Nog een optie is om in een 5,25" bay een verwisselbare slede voor schijven in te bouwen. Die zitten dan ook direct aan je interne SATA poort.

Dan is de tijd die je nodig hebt om je data weer naar je RAID-0 array te kopiëren in geval van een failure in elk geval drastisch minder dan via USB2.

Hier is dergelijk spul wel te vinden.

[iedjie]

mmm... da's wel een goede tip. Al mijn Sata poorten zitten vol behalve één op de backpanel, een eSATA/USB combi poort van Jmicron. Dat zou het kopiëren idd wel versnellen.

Anyway, wat ik eigenlijk wilde is zo goed als onmogelijk dus ik vind t wel best zo. Als ik maar van de BIOS afblijf en van de SATA kabels zal de RAID 0 het wel houden.

En wat ik nog niet goed onderzocht heb is een software RAID 0 in Windows 7. Is misschien wat langzamer en gebruikt wat processorkracht maar is misschien wel meer solide.

[iedjie]

Voor geïnteresseerden, dit kwam ik bijvoorbeeld tegen op http://communities.intel.com/thread/18291


2. 15-dec-2010 20:00 in response to: TGentry
Re: Broken RAID after firmware update - help!

In this case, because nothing is written to the drive the repair is quite simple. One must simply destroy and re-create the array in the Matrix BIOS, then use a disk repair tool to find and revive the partitions. Additionally, the drives' MBRs may need to be re-written. The whole process takes about five minutes.


Part 1: In the Matrix BIOS ("Intel Matrix Storage Manager Option ROM")


1. Make sure you know all of your array's attributes (name, RAID level, member disks, strip size, and capacity), then choose option 3 - Reset Disks to Non-RAID. Select any disks still shown as being part of the failed array and follow the prompts. You will then be returned to the main menu and those disks will now be shown as Non-RAID Disk or similar.


2. Now choose option 1 - Create RAID Volume, and enter the same settings as before (name, RAID level, member disks, strip size, and capacity). The array volume name probably doesn't need to be the same, but I wouldn't risk changing it.


Part 2: TestDisk (or other partition recovery software)


3. After rebooting, use a backup OS of your choice (on a removable drive, or installed temporarily on another hard drive) to run Christophe Grenier's TestDisk, a free open-source recovery program. Others will probably work as well, but this one is fast and does the job just fine.


4. In TestDisk, select your disk (which in this case is actually the array), your partition type (in my case, it was correctly auto-detected as "Intel/PC"), and choose Analyse. Since the Matrix BIOS has invalidated the partition table information, you will not see anything listed. Now select Quick Search and follow the prompts. If all is well, you will soon see your existing partitions appear. Once it lists them all, you can hit Stop to avoid waiting as it goes through the whole disk. If the detected configuration is correct, press Enter to continue to the next screen, and choose Write to update the partition table as shown.


Part 3: Correcting the Master Boot Record


5. The Matrix BIOS has also invalidated your array's MBR. TestDisk has the ability to correct it, but in my case, I booted to my Windows 7 installation disc and used the Repair option. Note that you can't alter Windows' proposed changes, only apply or dismiss them. If this leads to any unwanted boot manager behaviour, you can use Windows' bcdedit command, or if you prefer a GUI you can use NeoSmart's EasyBCD, which is freeware.


All the above TestDisk operations are shown visually at http://www.cgsecurity.org/wiki/TestDisk_Step_By_Step. The above information was gleaned from this thread, and is originally credited to Yasin Abbas, aka YaZ.

[CaptJackSparrow]

Als je SATA of eSATA poorten te kort komt...