[Raid] Setup voor Video Montage / Data Management

[Maarten L]

Beste Tweakers,

De komende maand wil ik gaan investeren in een professioneel video montage systeem.

Als basis heb ik dit systeem in gedachten (exclusief data management)

#	Product	Prijs	Subtotaal
1	Dell Ultrasharp U2410	€ 399,90	€ 399,90
1	Cooler Master CM 690 II Advanced	€ 79,50	€ 79,50
1	Intel Core i7 2600K Boxed	€ 249,70	€ 249,70
1	XFX Black Edition 750W	€ 98,89	€ 98,89
1	Crucial m4 CT128M4SSD2 128GB	€ 169,-	€ 169,-
2	Corsair XMS3 CMX8GX3M2A1600C9	€ 57,79	€ 115,58
1	Asus ENGTX570 DCII/2DIS/1280MD5	€ 296,91	€ 296,91
1	Asus P8Z68-V	€ 134,-	€ 134,-
Bekijk collectie Importeer producten		Totaal	€ 1.543,48

Gezien ik veel werk met grote bestanden die snel te benaderen moeten zijn en tevens erg belangrijk zijn ben ik mij erg aan het inlezen over mogelijke setups.

Ik heb hiervoor de volgende richtlijn gevonden:



Mijn schijven zoals ik het voor mij zie:
Intern
1: SSD
2: HD 2TB
3: HD 2TB
4: HD 2TB
5: HD 2TB
6: HD 2TB

Extern
LaCie 2BiG Quadra raid 1
1: HD 1TB
2: HD 1TB

Daar zou ik dan de volgende setup mee maken:
C: SSD met Windows7, Montage Software, Overige Software, Pagefile
D: RAID 5 (schijf 2-6)
E: dvd/cd
F: LaCie 2Big Quadra raid 1 via eSATA

Elke nacht een script draaien waarmee van D: een backup wordt gemaakt op F:. Als F: vol is schijven eruit halen & 1 schijf thuis bewaren, 1 schijf op andere locatie bewaren & nieuwe schijven in F:.

Vragen:
1) is dit überhaupt een goed idee
2) waar pagefile op te slaan / andere suggesties voor indeling
3) er zal een Raid Controller / oplossing moeten komen, welke?
4) welke software kan de backups draaien & geeft de mogelijkheid om bepaalde mappen uit te sluiten die in het verleden al op een andere schijf zijn gebackupped?

[Voor 53% gewijzigd door Maarten L op 07-07-2011 00:27]

[Anoniem: 15758]

Ik zou het lekker simpel houden; geen RAID5 gebruiken maar gewoon RAID0 voor extra snelheid. Regelmatig backups maken van je array naar bijvoorbeeld een NAS of anders een 2e RAID array. Dan heb je de beste snelheid en bespaar je geld op een dure controller.

Pagefile wordt nauwelijks gebruikt bij veel RAM; ik zou lekker voor 16 gig RAM gaan wat nu iets van 90 euro kost; geen drol meer dus! Nu staat me bij dat Photoshop wel over de zeik gaat zonder pagefile, dus daar kun je het nog voor nodig hebben.

Ook staat me bij dat je Photoshop een scratch disk kunt aanwijzen; of dat ook gebruikt wordt bij veel RAM is mij onduidelijk. Is Photoshop inmiddels 64-bit of nog steeds 32-bit? Indien dat laatste zal de pagefile/scratch vaker gebruikt worden.

Maar de kern: ik zou het houden op een simpele RAID0 van je onboard Intel RAID controller. Dat is bloedje snel en kost niks qua controller. Ook zou ik 5400rpm schijven gebruiken met hoge dichtheid, die tikken tegen de 140MB/s aan, zijn goedkoop en verbruiken weinig stroom. Ideaal voor het verwerken van grote bestanden dus.

Je backup zou je de meeste aandacht aan moeten schenken, denk ik. Je kunt voor externe schijven gaan, of voor een andere PC op hetzelfde netwerk, of voor een echte NAS met Linux/UNIX operating system, misschien wel zelfs een ZFS NAS als je echte veiligheid voor je bestanden wilt.

Bovenstaande is heel algemeen; kan je veel meer details vertellen. Maar wat denk je er zelf over?

[Maarten L]

Interessant. Overigens zal ik werken met Premiere Pro CS5.5 & aanverwante software. Bronmateriaal is veelal afkomstig van 7D / 5D markII, later wellicht ook Red / Alexa.

In jouw verhaal zal het dus zoiets worden:

Intern
1: SSD
2: HD 2TB
3: HD 2TB

Externe offline veilige oplossing in Raid 1
1: HD 2TB
2: HD 2TB
3: HD 2TB
4: HD 2TB

Setup
C: SSD
D: Raid 0 Schijf 1 & 2
E: dvd/cd
F: externe offline oplossing in Raid 1

Hierdoor is de backup niet gevoelig voor stroomuitvallen oid. Vragen:

1) wat voor externe oplossing? Specifieke link naar pricewatch is welkom!
2) externe oplossing dan toch wel in Raid 1? Als deze vol is kan er een backup op locatie blijven en 1 op een andere locatie
3) waarom 5400rpm precies?
4) welke software voor backups?

[Anoniem: 15758]

5400rpm schijven hebben een hogere datadichtheid, en zijn nauwelijks langzamer dan 7200rpm. Hoge rpm schijven raken uit de gratie; ze verbruiken veel energie, zijn minder betrouwbaar en nauwelijks sneller. Koop je nu een 5400rpm zoals de Samsung F4EG dan zit je tot 140MB/s doorvoersnelheden, met 7200rpm op 150-155MB/s; dat is nauwelijks de moeite, de stroom/hitte en lagere betrouwbaarheid waard. En vaak zijn de 5400rpms ook goedkoper.

Met 4x Samsung F4EG 2TB zit je op 4* 140MB/s = 560MB/s max in RAID0; gemiddeld rond de 450MB/s schat ik. Dat zijn uitstekende snelheden voor maar 240 euro en je hebt maar liefst 8TB aan opslagruimte. Het enige probleem is dat je geen redundancy hebt dus een backup wordt dan erg belangrijk. Maar dit is een erg simpele setup en je Intel onboard RAID0 gaat uitstekende snelheden leveren; lekker goedkoop, geen controller nodig en uitstekende performance.

Je backup is misschien het moeilijkste onderdeel. Extern kun je voor kiezen om geen RAID te gebruiken; dat werkt niet lekker en wat voor RAID engine gebruik je dan; die JMicron / Silicon Image FakeRAID moet je niet gebruiken. Je kunt kiezen voor:

• Geen RAID maar losse externe schijven in een externe USB3/eSATA behuizing: effectief, simpel maar allemaal losse volumes maakt backuppen iets lastiger
• Een Silicon Image behuizing met port multiplier via één eSATA kabel aangesloten. Nadeel: traag en onbetrouwbaar
• Een Linux NAS met md-raid5 en XFS of Ext3/4 filesystem: relatief veilig maar vrij ingewikkeld om te onderhouden
• Een ZFS NAS met b.v. FreeNAS en RAID-Z: veiligste optie met coole snapshots, weinig onderhoud, maar (eenmalige) setup kost je meer tijd dan bovenstaande opties.

Alle opties hebben hun eigen voordelen en nadelen. Daarnaast zit je met de vraag welke software om de backups te synchronizeren. Het beste zou zijn een NAS zo hebben ingesteld dat hij 's nachts automatisch aan gaat, een snapshot maakt en dan een synchronisatie uit te voeren op je primaire PC met de RAID0. Dan heb je er geen omkijken meer na en doe je de NAS alleen handmatig aan als je wilt recoveren. Dat zal je echter wel tijd kosten voordat je zoiets werkend hebt. Je kunt er ook voor kiezen om elke week handmatig te backuppen.

Met de RAID0 van je workstation kun je echter weinig problemen verwachten die niet aan de schijven te relateren zijn; dat is goed want naar mijn schattig faalt de helft van alle RAIDs terwijl de schijven zelf prima functioneren. Je sluit dus een hoop risico uit door voor RAID0 te kiezen op je Windows platform ipv RAID5.

[flippy]

1: die "guidelines" zijn totaal zinloos.

2: als ik het goed lees heb je gewoon lomp veel dataverkeer door (RAW) videobewerking. echter is zoveel data 100% backuppen gewoon enorm duur (kost je het dubbele) en moet je zoizo het risico zien te verminderen.

als je serieus bezig gaat: hardware raid is dan the way to go. zoals hier vaak zat gezegt word: oplossingen zoals raid 0 zijn geen oplossingen. das gewoon vragen voor problemen. raid 5 is minimum.

een losse controller neemt ook waardevolle cpu cycles van de processor af en wordt gedaan door de raidkaart.

een kaart zoals deze: V&A aangeboden: Areca ARC-1212 te koop aangeboden is al een goed begin. dan kan je ook zonder problemen 3TB schijven aanhangen of beginnen met 2TB en later stuk voor stuk vervangen door 3 of zelfs 4TB modellen als die uit zijn.

5000RPM schijven zijn niet echt aan te raden gezien de veel hogere zoektijd. je moet schijven hebben die goed samen kunnen werken met de raidkaart en ook nog eens serieus data kunnen wegstampen. die eco-hippie-schijven zijn niet geschikt voor raid. de hitachi 7k2000 zijn probleemloze schijven in raid en ook nog eens erg snel. wel fijn als je met zulke hoeveelheden aan data bezig bent.

je SSD blijft gewoon voor windows+software en een pagefile van ongeveer 500mb (meer als zat en forceer je ram gebruik), wel een gb of 8/12 in het systeem zetten.

je kan dan zelf wel met een programma/script wel bepaalde mappen backuppen naar externe schijven maar dat moet dan op gezette tijden gebeuren gezien de snelheid (or lack thereof) van usb. niet vergeten dat die externe schijven ook stuk kunnen he.


en nog een kanttekening: het aantal RPM's heeft NIKS maar dan ook NIKS met datadichtheid te maken. datadichtheid is gekoppeld aan het aantal platters, niet hoe snel die dingen draaien. een 2TB 7200rpm schijf met 5 platters heeft EXACT dezelfde datadichtheid als een 2TB 5000rpm schijf met 5 platters.


dus in het kort: koop een fatsoenlijke raidkaart met voldoende poorten (of een raidkaart die SAS+multiplexing ondersteunt, dan kan je er 255 schijven aanhangen ) en zet de hele meuk in raid 5. dan is je data iig verzekerd tegen acute diskfalliure (kan je snel naar de shop een andere halen) en geen data kwijtraken.
als raid 0 ook maar een kuchje heeft ergens in het systeem ligt AL je data in de kreukels. dat is geen optie die je serieus moet overwegen. 8TB aan data kwijtraken is niet grappig, helemaal niet als je 3 dagen aan de gang bent om het weer terug te krijgen - als je het al teurgkrijgt-.

een externe oplossing is zeker mogelijk in de vorm van freenas. echter moet je daar een systeem voor neerzetten (kost aardig wat centen) en is de snelheid gelimiteerd op 112mb/s over het netwerk. op je eigen systeem is 500mb/s haalbaar.

[Voor 4% gewijzigd door flippy op 05-07-2011 22:52]

[Anoniem: 15758]

flippy.nl schreef op dinsdag 05 juli 2011 @ 22:50:
2: als ik het goed lees heb je gewoon lomp veel dataverkeer door (RAW) videobewerking. echter is zoveel data 100% backuppen gewoon enorm duur (kost je het dubbele) en moet je zoizo het risico zien te verminderen.

Ik ga ervanuit dat hij alleen de resultaat bestanden wilt backuppen, en niet de tijdelijke bestanden die door zijn apps worden gegenereert.

als je serieus bezig gaat: hardware raid is dan the way to go. zoals hier vaak zat gezegt word: oplossingen zoals raid 0 zijn geen oplossingen. das gewoon vragen voor problemen. raid 5 is minimum.

Niet mee eens; met RAID0 haal je met veel minder geld je performance doel. RAID0 is veel minder probleemgevoelig dan RAID5. Je bescherming tegen gegevensverlies haal je dan uit de backup die geheel los zou moeten staan van de RAID0. Ook met RAID5 en hardware RAID heb je nog steeds een backup nodig; dus echt veel nut heeft dit niet terwijl het de prijs van de setup behoorlijk verhoogt.

een losse controller neemt ook waardevolle cpu cycles van de processor af en wordt gedaan door de raidkaart.

Iets wat je niet nodig hebt bij RAID0 wat zelfs de langzaamste CPUs geen enkel probleem mee hebben.

een kaart zoals deze: V&A aangeboden: Areca ARC-1212 te koop aangeboden is al een goed begin. dan kan je ook zonder problemen 3TB schijven aanhangen of beginnen met 2TB en later stuk voor stuk vervangen door 3 of zelfs 4TB modellen als die uit zijn.

Dat kan ook met Intel onboard RAID (RST).

5000RPM schijven zijn niet echt aan te raden gezien de veel hogere zoektijd.

Wat irrelevant is voor sequential I/O; daar draait het om throughput. Simpel gezegd: voor grote bestanden geldt hoe lager de rpm des te beter; lagere rpm schijven hebben namelijk doorgaans hogere datadichtheid en dus hogere throughput relatief aan hun spindle speed. Zo is een 5400rpm Samsung F4EG bijna even snel als een 15.000rpm schijf voor grote bestanden; terwijl de spindle speed 3 keer zo laag is. Je bespaar tevens een hoop energie, warmteontwikkeling en ze zijn een stuk betrouwbaarder.

je moet schijven hebben die goed samen kunnen werken met de raidkaart

Dat is FUD. Een RAID controller heeft stricte timeouts van 10 seconden waardoor je een schijf moet hebben die TLER, CCTL of ERC heeft. Dus geen WD EADS of EARS schijven; die worden bij bad sectors uit de RAID array geknikkerd.

die eco-hippie-schijven zijn niet geschikt voor raid.

Ook FUD; green schijven ofwel 5400rpm schijven worden steeds populairder door hun hogere datadichtheid en dus hogere snelheid; 7200rpm en hogere rpm schijven zijn snel terrein aan het verliezen gezien de beperkte voordelen, hogere kostprijs, lagere betrouwbaarheid en extra warmteontwikkeling.

de hitachi 7k2000 zijn probleemloze schijven in raid en ook nog eens erg snel. wel fijn als je met zulke hoeveelheden aan data bezig bent.

Het zijn geen slechte schijven, maar langzamer dan de Samsung F4EG 2TB op 5400rpm. De Hitachi 7K2000 2TB haalt 138MB/s en de F4EG haalt 140MB/s, dit terwijl de 7K2000 op 7200rpm draait en Samsung F4EG maar op 5400rpm. Het verschil is dat 7K2000 500GB platters gebruikt en de Samsung 666GB platters.

De opvolger met 7K3000 heeft bij 2TB platters van 666GB en bij 3TB platters van 750GB; echter die komen ook nauwelijks boven de Samsung F4EG uit die op 5400rpm draait. Hitachi gebruikt net als Samsung F4EG ook CCTL (Command Completion Time Limit).

en nog een kanttekening: het aantal RPM's heeft NIKS maar dan ook NIKS met datadichtheid te maken.

Ook dat is onjuist; het zijn juist de lagere rpm schijven die een hogere datadichtheid krijgen en hogere rpm schijven krijgen deze pas veel later. Het is makkelijker een schijf met hogere datadichtheid te maken op een lager rpm dan gelijk op 7200rpm. Sowieso is high rpm uit de gratie en is 5400rpm steeds meer de norm; en met goede redenen.

dus in het kort: koop een fatsoenlijke raidkaart met voldoende poorten (of een raidkaart die SAS+multiplexing ondersteunt, dan kan je er 255 schijven aanhangen ) en zet de hele meuk in raid 5. dan is je data iig verzekerd tegen acute diskfalliure (kan je snel naar de shop een andere halen) en geen data kwijtraken.

Dat is dus precies omgekeerd aan mijn advies. Als je RAID5 als veilig beschouwt dan ga je nog vervelende leermomenten meemaken.

als raid 0 ook maar een kuchje heeft ergens in het systeem ligt AL je data in de kreukels.

Juist door de simpelere opzet van RAID0 heb je geen problemen met parity of rebuilds en een hoop problemen waar alleen RAID5 mee kampt. Met RAID0 kan juist weinig mis gaan, behalve een kapotte schijf inderdaad. Dat laatste is maar een van de vele manieren waarop je data kunt kwijtraken; en dat kun je uitstekend afdekken met goede backups.

een externe oplossing is zeker mogelijk in de vorm van freenas. echter moet je daar een systeem voor neerzetten (kost aardig wat centen) en is de snelheid gelimiteerd op 112mb/s over het netwerk. op je eigen systeem is 500mb/s haalbaar.

Met als voordeel dat je met incremental snapshots en rsync het zo kunt configureren dat lokaal de bestanden gechecked worden en alleen de gewijzigde bestanden worden vervoerd over het gigabit netwerk. Dus uiteindelijk hoeft dit geen groot probleem te zijn voor de TS.

[flippy]

sorry, maar ga je nu echt zitten verkondigen dat de -mogelijke- snelheidswinst die je hebt door raid 0 te gebruiken ipv raid 5 compenseert door alleen maar een externe backup te hebben op een losse schijf en moet ik (en de TS) je dan nog serieus nemen?


goed, zullen we dan maar even bovenaan beginnen met je beetje kromme gedachtengang?

Ik ga ervanuit dat hij alleen de resultaat bestanden wilt backuppen, en niet de tijdelijke bestanden die door zijn apps worden gegenereert.

"je gaat ervan uit". de bestanden die uit videoprojecten komen zijn enorm groot en kosten enorm veel tijd om de renderen. denk je echt dat als iemand 6 a 8TB aan opslag gebruikt om video's te bewerken het fijn vind om dagen aan werk/renderen door de digitale plee ziet gaan omdat er 1 harde schijf een griepje oploopt?

Niet mee eens; met RAID0 haal je met veel minder geld je performance doel. RAID0 is veel minder probleemgevoelig dan RAID5. Je bescherming tegen gegevensverlies haal je dan uit de backup die geheel los zou moeten staan van de RAID0. Ook met RAID5 en hardware RAID heb je nog steeds een backup nodig; dus echt veel nut heeft dit niet terwijl het de prijs van de setup behoorlijk verhoogt.

sorry, maar ga je nu ECHT zitten roepen op dit forum dat raid 5 MINDER betrouwbaar is dan raid 0?
ga svp een raid-faq of zo lezen voordat je verdere opmerkingen gaat plaatsen over dit onderwerp.

iedereen die hardware raid gebruikt weet dat een hardware raid 5 systeem een minimale impact heeft op doorvoersnelheden. helemaal gezien de hoeveelheid schijven zullen eerder de cpu/gpu de bottleneck vormen dan de harde schijven.

en raid 5 is ook geen "backup", dat weet iedereen (al probeer je te zeggen dat ik het tegendeel beweer).
echter verlaag je het risico op dataverlies aanzienlijk door raid 5 EN een backup te hebben. een raid 0 van 6~8TB met een enkele backupschijf is gewoon vragen zonder vragen om problemen.

Iets wat je niet nodig hebt bij RAID0 wat zelfs de langzaamste CPUs geen enkel probleem mee hebben.

cpu's zijn erg snel tegenwoordig. echter als je etterlijke honderden mb/s haalt stijgt het cpu gebruik toch wel richting aanzienlijke aantallen en heeft zeker een impact op de tijd die je kwijt bent op een renderproject. een raidkaart met een paar gb aan ram erop kan een aanzienlijke takenverlichting zijn op een toch al zwaar belast systeem.

Dat kan ook met Intel onboard RAID (RST).

naturlijk, iedereen gebruikt hardware raid omdat het exact hetzelfde werkt als een onboard chipsetje.

ga ik verder niet eens woorden aan vuilmaken. duidelijk een gebrek aan kennis.

Wat irrelevant is voor sequential I/O; daar draait het om throughput. Simpel gezegd: voor grote bestanden geldt hoe lager de rpm des te beter; lagere rpm schijven hebben namelijk doorgaans hogere datadichtheid en dus hogere throughput relatief aan hun spindle speed. Zo is een 5400rpm Samsung F4EG bijna even snel als een 15.000rpm schijf voor grote bestanden; terwijl de spindle speed 3 keer zo laag is. Je bespaar tevens een hoop energie, warmteontwikkeling en ze zijn een stuk betrouwbaarder.

kennelijk vind je je kennis over laagtoerige schijven erg goed. je vergeet alleen even dat de mb/s zeer snel daalt naarmate je verder naar het einde van de schijf komt in vergelijking met 7200rpm modellen. en afgezien dat men die max snelheid nooit haalt (cpu kan dat gewoon niet aan) moet het verschil komen van de random I/O, en laten die 7200rpm modellen daar nou eens stukken beter in zijn. en random gaan ze toch veel doen gezien ze continu moeten lezen en schijven (dan al niet op de zelfde array). en dat is iets waar elke raidkaart met wat ram erop royaal de vloer mee aanveegt als je die naast een onboard chipje zet.

15k schijven zijn hier totaal niet aan de orde en hebben dus ook geen meerwaarde om die erbij te halen in de discussie.
als men bijvoorbeeld een hitachi neemt icm met areca zal men merken dat die schijven -door de areca aangestuurd- braaf terugzakken naar 5000rpm als ze niks meer hoeven te doen en opspoolen als ze weer aan het werk moeten. gezien het systeem waar ze inkomen te zitten is die extra 2w die een 7200rpm schijf gebruikt nou niet echt een issue lijkt me. betrouwbaarheid is een dom excuus gezien de vele schijven met zeer hoge dichtheiden die constant stukgaan en de schijven met lage dichtheden (waarvan de ze productie al van hebben geperfectioneerd) braaf blijven werken. als je de schijven ook maar enigsinds koelt is betrouwbaarheid gelijk dan al niet hoger dan een schijf met een hogere dichtheid.

Dat is FUD. Een RAID controller heeft stricte timeouts van 10 seconden waardoor je een schijf moet hebben die TLER, CCTL of ERC heeft. Dus geen WD EADS of EARS schijven; die worden bij bad sectors uit de RAID array geknikkerd.

dus eerst onkracht je mijn stelling dat die eco-hippie-schijven niet goed zijn en 1 regel erna bevestig je mijn stelling?

o ja: het is doorgaans 7~8 seconden...

Ook FUD; green schijven ofwel 5400rpm schijven worden steeds populairder door hun hogere datadichtheid en dus hogere snelheid; 7200rpm en hogere rpm schijven zijn snel terrein aan het verliezen gezien de beperkte voordelen, hogere kostprijs, lagere betrouwbaarheid en extra warmteontwikkeling.

heb je aandelen op die 5400 schijven of zo? de veel lagere access times en hogere uitval (door productiefouten) zijn kennelijk nadelen die je even ontschoten zijn?

Het zijn geen slechte schijven, maar langzamer dan de Samsung F4EG 2TB op 5400rpm. De Hitachi 7K2000 2TB haalt 138MB/s en de F4EG haalt 140MB/s, dit terwijl de 7K2000 op 7200rpm draait en Samsung F4EG maar op 5400rpm. Het verschil is dat 7K2000 500GB platters gebruikt en de Samsung 666GB platters.

De opvolger met 7K3000 heeft bij 2TB platters van 666GB en bij 3TB platters van 750GB; echter die komen ook nauwelijks boven de Samsung F4EG uit die op 5400rpm draait. Hitachi gebruikt net als Samsung F4EG ook CCTL (Command Completion Time Limit).

en weer kijk je naar best case transfer speeds die uit de folder komen. kijk eens naar de snelheden die worden gehaald aan het einde van de schijf en de bijbehorende seektimes en probeer dan nog eens met zoveel overtuiging die 5400rpm schijven aan te prijzen.

en over TLER: waarom geven bijna alle merken behalve hitachi dan zoveel problemen met raid systemen? als het allemaal zo fantastisch is bij samsung waarom heb ik dan alleen maar gezeik gehad met die dingen in raid? voor de duidelijkheid: ik had er 16 stuks in mijn systeem zitten van diverse batches en series. sinds dat ik ben overgeschakeld naar hitachi heeft er tot zover nog niet 1 een enkele bit gemist.

Ook dat is onjuist; het zijn juist de lagere rpm schijven die een hogere datadichtheid krijgen en hogere rpm schijven krijgen deze pas veel later. Het is makkelijker een schijf met hogere datadichtheid te maken op een lager rpm dan gelijk op 7200rpm. Sowieso is high rpm uit de gratie en is 5400rpm steeds meer de norm; en met goede redenen.

het is gemakkelijker voor de producent om een 5400rpm schijf te maken met zulke dichtheden dan een sneller model. dat is gewoon marketing en een stukje technishe limitaties. waarom zouden ze anders niet direct een 7200 of zelfs 10k model uitbrengen als ze nog zitten te vechten om de betrouwbaarheid omhoog te krijgen? tegewoordig zijn bijna alle schijven die uitkomen van een 1e generatie/batch enorm slecht van kwaliteit en gaan zeer snel stuk. dat 7200rpm modellen daar achteraan hobbelen maar daarom wel betrouwbaarder zijn is kennlijk niet in je opgekomen.
5400rpm is goedkoper te maken en dus verkopen en mensen kopen wat goedkoper is, niet wat beter is. mensen zijn erg dom als het gaat om het kopen van computeronderdelen.

Dat is dus precies omgekeerd aan mijn advies. Als je RAID5 als veilig beschouwt dan ga je nog vervelende leermomenten meemaken.

ga jij nu echt zitten verkondigen dat raid 0 superieur is aan raid 5?

ik denk dat ik niet diegene bent die een leermomentje gaat krijgen....

Juist door de simpelere opzet van RAID0 heb je geen problemen met parity of rebuilds en een hoop problemen waar alleen RAID5 mee kampt. Met RAID0 kan juist weinig mis gaan, behalve een kapotte schijf inderdaad. Dat laatste is maar een van de vele manieren waarop je data kunt kwijtraken; en dat kun je uitstekend afdekken met goede backups.

zoals ik al eerder heb gezegt: je hebt duidelijk geen verstand van (hardware) raid.

Met als voordeel dat je met incremental snapshots en rsync het zo kunt configureren dat lokaal de bestanden gechecked worden en alleen de gewijzigde bestanden worden vervoerd over het gigabit netwerk. Dus uiteindelijk hoeft dit geen groot probleem te zijn voor de TS.

elk fatsoenlijk backupprogramma kan en doet dat, daar heb je niet specifiek een extra systeem voor nodig. al is een backup/server systeem wel netter dan een stapel losse usb schijven.

[Maarten L]

(Ik lees met veel aandacht de discussie)

[flippy]

Maarten L schreef op woensdag 06 juli 2011 @ 00:37:
(Ik lees met veel aandacht de discussie)

men mag (graag zelfs) vragen stellen en dingen die niet duidelijk zijn aankaarten. het is immers de bedoeling dat jij ermee aan de slag gaat. een goed geinformeerd besluit maken over hoe en wat is immers het doel hier.

graag had ik nog wat extra info over hoeveel data je denkt te gaan gebruiken in de nabije en verre toekomst, graag aantallen ruim aanhouden.
het is namelijk (daar ben ik namelijk op de dure manier achter gekomen ) dat her verstandiger is om een overmaats systeem te bouwen die in het begin meer kost maar later veel goedkoper is om uit te breiden. achteraf dure onderdelen erbij zetten of vervangen is niet leuk en duurder dan het in 1x goed aanpakken.

[Voor 37% gewijzigd door flippy op 06-07-2011 01:07]

[PhaeTom]

Beste Maarten,

na het lezen van de discussie denk ik dat je idd zelf aan de gang moet. Tot dusver heb ik in elke post wel fouten in de gegeven details van de forumleden kunnen vinden, om nog maar niet niet te spreken van de (wellicht onjuiste) aannames. Ik denk dat je goed op onderzoek moet naar de (technische) verschillen tussen de diverse schijven voor je een goede keuze kunt maken. Ik raad ook wel aan een aparte raid controller aan te schaffen dan de Intel RST software te gebruiken, aangezien losse kaarten bijvoorbeeld altijd in een ander systeem te prikken zijn en een algemene betere prestatie huisvesten. Dit heeft als voordeel dat je bijvoorbeeld bij een kapotte pc alles kunt overzetten en je data weer beschikbaar hebt.

Succes met je keuze, ga vooral op (duur)testen van diverse schijven af.

[Anoniem: 15758]

flippy.nl schreef op woensdag 06 juli 2011 @ 00:31:
sorry, maar ga je nu ECHT zitten roepen op dit forum dat raid 5 MINDER betrouwbaar is dan raid 0?
ga svp een raid-faq of zo lezen voordat je verdere opmerkingen gaat plaatsen over dit onderwerp.

ga jij nu echt zitten verkondigen dat raid 0 superieur is aan raid 5?

Flippy, hou er asjeblieft wel rekening mee dat ik enorm veel ervaring heb op het gebied van RAID. Ik vind het prima om met je te discussiëren, maar iets meer respect mag prima.

En ja, RAID0 heeft op enkele punten een hogere betrouwbaarheid dan RAID5. Dat heeft met name te maken met de complexiteit van RAID5 en de mogelijke manieren waarop corruptie kan optreden die niet aanwezig is bij RAID0. Er gaan meer RAID5's stuk vanwege problemen met de RAID layer zelf dan dat er iets met de schijven gebeurt.

Afgezien van dat heb je ook bij RAID5 een backup nodig, al was het maar om tegen andere risico's te beschermen zoals filesystem corruptie, virussen en perongeluk gedelete files/dirs. Daarom dat voor de TS een RAID0 + goede backup mij een betere setup leek omdat het tijdelijk kwijt zijn van scratch-files geen probleem is; alleen de bron en doelbestanden zijn belangrijk. Tevens is het een veel goedkopere optie en geeft de TS meer gelegenheid om geld uit te geven aan een goede backup, zoals een aparte NAS met een modern filesystem zoals ZFS.

Een RAID0 + NAS met ZFS+RAID-Z biedt stukken meer bescherming voor je bestanden dan een Hardware RAID5 met losse disks als backup en enkel gebruik van NTFS. Mogelijk biedt die laatste optie wel betere uptime garantie; maar dat is iets anders als data security; het niet permanent verliezen van je data.

iedereen die hardware raid gebruikt weet dat een hardware raid 5 systeem een minimale impact heeft op doorvoersnelheden.

RAID5 heeft veel meer moeite met sequential write dan RAID0. Wat je ook niet vertelt is dat je met RAID5 zonder BBU en Write-through mode maar 10-20MB/s write hebt; je hebt write-back mode nodig om snel in RAID5 te kunnen schrijven. Dat zorgt voor onveiligheid die je deels kunt afdekken door het gebruik van een BBU ofewel Battery Backup Unit.

en raid 5 is ook geen "backup", dat weet iedereen (al probeer je te zeggen dat ik het tegendeel beweer).

Lees mijn verhaal nog eens; het punt is dat je ook met RAID5 een backup nodig hebt, dus waarom dan een controller + BBU uitgeven en minimaal één schijf extra, welk nut? Je veiligheid haal je toch vooral met een backup en dan spring je veel beter om met je geld om die backup dan goed uit te voeren en op je desktop een snelle Intel RAID0 implementatie te gebruiken; die tijdelijk je snelheden van 4 gigabyte per seconde geeft door de write-back engine die je RAM gebruikt als write-back; dat is iets wat je sowieso mist met Hardware RAID.

cpu's zijn erg snel tegenwoordig. echter als je etterlijke honderden mb/s haalt stijgt het cpu gebruik toch wel richting aanzienlijke aantallen

Dat laatste geldt ook voor Hardware RAID; de IOps moet sowieso door de CPU verwerkt worden, je offload alleen de RAID berekeningen; die er voor RAID0 nauwelijks zijn. Zelfs de langzaamste CPU kan 1000MB/s RAID0 met gemak doen en dan heb je tegenwoordig nog meerdere cores zodat dit ander CPU-intensief werk niet hoeft te belemmeren. Bij RAID5 geldt wel dat het offloaden naar hardware RAID een merkbare invloed kan hebben.

naturlijk, iedereen gebruikt hardware raid omdat het exact hetzelfde werkt als een onboard chipsetje.

Lees mijn reactie nog eens; je noemt features als RAID expansion wat de Intel onboard RAID drivers ook implementeren. Je kunt bij Intel onboard RAID zelfs met een enkele disk beginnen en er een RAID0 van maken en later weer een RAID5. Dat kan denk ik ook met Areca (RAID migration) maar mijn opmerking ging over het feit dat dit dus ook kan met Intel onboard RAID en dat dit alleen dus geen reden is om Hardware RAID te verkiezen.

ga ik verder niet eens woorden aan vuilmaken. duidelijk een gebrek aan kennis.

kennelijk vind je je kennis over laagtoerige schijven erg goed. je vergeet alleen even dat de mb/s zeer snel daalt naarmate je verder naar het einde van de schijf komt in vergelijking met 7200rpm modellen.

Dat heeft niets met rpm te maken met met het aantal tracks en dus met de platter grootte.

en afgezien dat men die max snelheid nooit haalt (cpu kan dat gewoon niet aan) moet het verschil komen van de random I/O, en laten die 7200rpm modellen daar nou eens stukken beter in zijn.

Random I/O heb je bij 7200rpm inderdaad een voordeel; 25% sneller. Maar nu wil het geval dat voor het gebruik van de TS het om grote bestanden gaat en random I/O dus totaal irrelevant is voor hem. En als random I/O wel relevant is, zoals je systeemdisk waar Windows+Apps op draaien, dan heb je veel meer baat bij een SSD die tot factor 100 snellere random I/O doet dan een 7200rpm hardeschijf. Een SSD kun je als een miljoen rpm beschouwen wat betreft de random IOps en latencies; waarbij er ook mag worden opgemerkt dat SSDs parallelle I/O doet en dus meerdere I/O's tegelijkertijd kan verwerken, terwijl hardeschijven van nature alle I/O seriëel afhandelt.

en random gaan ze toch veel doen gezien ze continu moeten lezen en schijven (dan al niet op de zelfde array). en dat is iets waar elke raidkaart met wat ram erop royaal de vloer mee aanveegt als je die naast een onboard chipje zet.

Dat eerste is dus niet van toepassing voor de TS. Maar random I/O op een Hardware RAID kaart is alleen maar burst; zodra de dedicated DRAM vol zit gaat het tegen de snelheden die de fysieke schijven aan kunnen. Je 'verbergt' dus alleen maar de traagheid van de mechanische schijven. Precies datzelfde doet de RAM writeback engine van Intel (Volume write-back) en dat kun je zien in bijvoorbeeld HDtune waarbij je burstsnelheden boven de 4 gigabyte per seconde haalt; sneller dan überhaupt naar de southbridge gestuurd kan worden laat staan de hardeschijven.

als men bijvoorbeeld een hitachi neemt icm met areca zal men merken dat die schijven -door de areca aangestuurd- braaf terugzakken naar 5000rpm als ze niks meer hoeven te doen en opspoolen als ze weer aan het werk moeten.

En dan zeg je dat ik een gebrek aan kennis heb? Hardeschijven hebben een vaste invariabele rpm, wat je zegt is dus pure onzin.

dus eerst onkracht je mijn stelling dat die eco-hippie-schijven niet goed zijn en 1 regel erna bevestig je mijn stelling?

TLER, CCTL en ERC hebben niets met de rpm of 'green' schijven te maken. WD had overigens bij versies voor november 2010 de EADS serie wel van TLER voorzien; maar wilde om extra geld te maken deze feature exclusief voor RAID edition maken; die overigens ook in 5400rpm uitvoeringen beschikbaar zijn.

o ja: het is doorgaans 7~8 seconden...

Nee de timeout van RAID controllers is vaak 10 tot 15 seconden. Daarom wordt TLER/CCTL/ERC vaak gebruikt om schijven na 7 seconden op te laten geven, zodat de RAID controller de hardeschijf nooit als gefaald beschouwt en uit de array knikkert, wat wel zou gebeuren zonder TLER/CCTL/ERC.

heb je aandelen op die 5400 schijven of zo?

Ja ik word betaald door Samsung en andere fabrikanten om 5400rpm te promoten. Maar pssst niet doorvertellen hè!

en weer kijk je naar best case transfer speeds die uit de folder komen. kijk eens naar de snelheden die worden gehaald aan het einde van de schijf en de bijbehorende seektimes en probeer dan nog eens met zoveel overtuiging die 5400rpm schijven aan te prijzen.

Datzelfde geldt voor Hitachi 7k2000 2TB schijven die aan het einde van hun capaciteit slechts rond de 60MB/s halen. Alleen serverschijven (waaronder de Velociraptor) gebruiken minder effectieve capaciteit door de binnenste tracks niet te gebruiken; en hebben daardoor minder lagere performance naarmate ze het einde van hun zichtbare capaciteit naderen.

en over TLER: waarom geven bijna alle merken behalve hitachi dan zoveel problemen met raid systemen?

Hitachi heeft geen TLER maar CCTL. Het verschil daarbij is dat de controller een commando kan geven om CCTL te activeren. Bij TLER moet dit handmatig gebeuren en is een persistent instelling; CCTL net als ERC wordt na elke stroomonderbreking gereset naar de standaard 120 seconden. Kortom: TLER moet worden ingesteld. Daarbij komt dat WD schijven erg populair waren, en dus regelmatig RAIDs stuk gingen wat voorkomen had kunnen worden als ze het TLER verhaal goed hadden begrepen.

als het allemaal zo fantastisch is bij samsung waarom heb ik dan alleen maar gezeik gehad met die dingen in raid? voor de duidelijkheid: ik had er 16 stuks in mijn systeem zitten van diverse batches en series. sinds dat ik ben overgeschakeld naar hitachi heeft er tot zover nog niet 1 een enkele bit gemist.

Zonder te weten over je exacte problemen kan ik daar geen uitspraken over doen, maar Samsung ondersteunt net als Hitachi de CCTL techniek; volgens mij is het zelfs zo dat Hitachi de techniek van Samsung heeft gelicenseerd.

Meer over CCTL lees je hier:
http://www.samsung.com/gl...earningResource_CCTL.html

zoals ik al eerder heb gezegt: je hebt duidelijk geen verstand van (hardware) raid.

Nee ik doe alleen maar alsof.

[bitshape]

Ik doe niet mee aan deze discussie, maar wil toch 1 ding bijdragen aan dit Topic;

TS; Gebruik een RAMdisk (bvb. Dataram Software) voor alle Temp's, Cache's, Pagefile & vooral Media-Cache.
Het enige wat je hoeft te doen is je systeem te voorzien van minimaal 12/16GB werkgeheugen.
De RAMdisk software zelf is gratis te gebruiken met een geconfigureerde RAMdisk van max. 4GB.

[Voor 7% gewijzigd door bitshape op 06-07-2011 04:08]

[Maarten L]

Mensen toch! Wat een verhitte discussies.

Wat informatie van mijn kant over de workflow.

Op de D: schijf maak ik een map aan 'projecten'. In deze map maak ik per project een map aan waarin komt te staan een map:
-clips (hier wordt het ruwe materiaal van het kaartje opgeslagen)
-pp (hier wordt het projectbestand van premiere pro opgeslagen)
-ae (hier wordt het projectbestand van after effects opgeslagen)
-artwork (hier worden logo's, foto's etc. opgeslagen)
-music
-sound (geluids effecten)
-vo (voice over extern opgenomen geluid)
-exported (hierin komen al mijn exports te staan)

Premiere / After Effects maakt in de map 'pp' / 'ae' zelf render bestanden / tijdelijke bestanden aan.

Uiteindelijk is elk project dus in 1 map opgeslagen. Van projectmappen kan ik eenvoudig een backup maken naar een externe oplossing totdat deze externe oplossing vol is.

In zes maanden tijd verbruik ik ruim 1TB aan ruimte. Dat zal alleen maar oplopen, dus wellicht is 2TB in zes maanden een betere schatting.

[ManiacsHouse]

Ik ben eerlijk gezegd wel benieuwd wat je van plan bent. Ga je net een bedrijf starten o.i.d.?
Gezien je plannen heb je wel ergens geld liggen (Alexa, RED om en nabij de 50-60k dacht ik zo)
Nevermind. Al e.e.a. gevonden.

[Voor 9% gewijzigd door ManiacsHouse op 06-07-2011 05:21]

[Maarten L]

Valt mee hoor. Ik heb nu een jaar een productie bedrijf en daarnaast ben ik werkzaam voor www.nidf.nl (Nederlands Instituut voor Digitale Fotografie) waarvoor we wel eens apparatuur testen zoals een RED.

Zelf heb ik een 5D MarkII + allerhande gadgets daaromheen.

[Anoniem: 15758]

Maarten L schreef op woensdag 06 juli 2011 @ 05:06:
Mensen toch! Wat een verhitte discussies.

Ja mijn excuus; aan die verhitte discussies heb je ook niet veel. Toch hoop ik je een advies op maat te kunnen geven wat het overwegen waard is.

Op de D: schijf maak ik een map aan 'projecten'. In deze map maak ik per project een map aan waarin komt te staan een map:

Ik weet niet het fijne van Adobe-achtige programma's, maar vaak kun je in het algemeen je data opsplitsen in:

• Bronbestanden (geluidseffecten, projectbestanden, ruwe clips)
• Doelbestanden (exportbestanden; uiteindelijk resultaat van je projecten)
• Tijdelijke bestanden (vaak verdwijnen deze weer nadat de render is voltooid)

Als dat ongeveer klopt dan geldt dat zowel je bronbestanden als doelbestanden goede bescherming nodig hebben, maar je tijdelijke bestanden niet omdat die enkel gebruikt worden tijdens het renderen/processen en zodra dat voltooid is je die bestanden niet meer nodig hebt. Die tijdelijke bestanden dienen alleen erg snel te zijn zodat je renderproces sneller verloopt.

Je hebt dus behoefte aan:

• Voldoende ruimte om alles op te slaan
• Veel performance voor de bronbestanden en tijdelijke bestanden
• Goede bescherming voor je bron en doel bestanden, maar niet noodzakelijkerwijs voor je tijdelijke bestanden
• Een goede methode om handig te backuppen

Mijn originele voorstel had voornamelijk tot doel je de volgende voordelen te bieden:

• Veel performance tegen weinig geld
• Simpele setup (in elk geval voor je hoofdmachine; met maar 4 schijven erin en onboard RAID)
• Goede bescherming voor je bestanden die je gebackupped hebt

De nadelen van deze setup, zijn:

• Geen bescherming voor je tijdelijke bestanden, of projectbestanden die je nog niet gebackupped hebt. De methode van backuppen is dus cruciaal.
• Geen bescherming tegen downtime; bij een HDD crash op je RAID0 zul je moeten rebuilden met een nieuwe HDD en je backup terug moeten zetten hetgeen tijd cq. downtime kost; reken op een dag downtime.
• Mogelijk kun je vergissingen maken met je backups waardoor je alsnog data kwijt bent; de backups zijn dus cruciaal.
• Bij het falen van een schijf in de RAID0 ben je alle wijzigingen sinds de laatste backup verloren; het regelmatig backuppen is dus een must.
• Indien je gebruik maakt van externe backups op dezelfde machine raken je backups gefragmenteerd over meerdere disks, hetgeen minder ordelijk is. Ook dien je ze te ontkoppelen voor bescherming tegen lokatie-specifieke rampen zoals onweer.

Het grootste voordeel van de setup is dat je heel gemakkelijk extreem hoge performance hebt voor heel weinig geld; 4 schijfjes in RAID0 op Intel controller met Volume Write-back gaat zkeer in je performance behoeften voorzien. Het lezen en schrijven van grote bestanden zal erg snel gaan en geen bottleneck meer vormen voor je productie cq. renderingtaken.

Ook heb je een relatief simpele setup zonder teveel dingen die stuk kunnen gaan; het is geen complex systeem. Wel ben je sterk afhankelijk van de backups om je data te beschermen. Mocht je voor deze of soortgelijke setup gaan dan is het cruciaal dat je kritisch kijkt naar je backupmethode en goed de risico's in kaart brengt. Ook raad ik aan te oefenen met wat er gebeurt als een hardeschijf uitvalt. Bijvoorbeeld het kan geen slecht idee zijn een 5e hardeschijf te kopen om gelijk te kunnen vervangen als je RAID0 uitvalt.

Als je wel een bescherming tegen downtime wilt, dan is de suggestie van flippy geen slechte; een Areca controller met Battery Backup Unit en RAID5 of liever nog RAID6. Neem de 'een disk mag uitvallen' belofte van RAID5 echter niet te serieus; dat kan een loze belofte worden als er andere problemen zich voordoen die in dataverlies resulteren. Wel ben je met deze setup beschermd tegen downtime mocht een van de schijven problemen krijgen. Daar betaal je dan wel grof voor: een Areca controller + BBU + tot 2 extra schijven is natuurlijk een flink duurdere setup. Ook zal je iets in performance inboeten; een RAID0 is onverslaanbaar in performance voor met name sequential write dus het wegschrijven van grote bestanen.

Ook de suggestie van bitshape is het overwegen waard, met name voor de tijdelijke bestanden kan een ramdisk heel handig zijn. Nu zei je wel dat deze tijdelijke bestanden in de projectmap wordt opgeslagen. Misschien kun je kijken of je de locatie van deze tijdelijke bestanden kunt veranderen in de programma's die je gebruikt, zodat alleen deze type bestanden op de RAMdisk komen en je projectbestanden elders. Dat is natuurlijk veel veiliger; een RAMdisk is erg onveilig omdat je met RAM corruptie zit en een blauw scherm of stroomonderbreking in principe voor totale gegevensverlies zorgt. Als je voor een RAM disk gaat zou ik minimaal 16GiB RAM nemen; hetgeen nu al voor onder de 100 euro te krijgen is. Wellicht kun je ook kijken naar duurdere moederborden met 6 of 8 geheugensloten zodat je richting de 24/32GB RAM kunt gaan. Indien je dit wilt let dan goed op of het moederbord Registered of Unregistered/unbuffered geheugen nodig heeft; vaak geldt dat bij serverborden met veel DIMM slots je Registered geheugen nodig hebt.

Ik hoop dat je wat hebt aan deze adviezen, het zou mooi zijn als je kunt posten wat uiteindelijk je keuze is geweest en met welke motieven die omgeven is. Veel succes!

[flippy]

Anoniem: 15758 schreef op woensdag 06 juli 2011 @ 01:42:
[...] heel verhaal

eventjes paar dingen rechttrekken: jij bent de eerste persoon die ik spreek (met VEEL ervaring zoals je zelf zegt) met raid systemen en doodleuk gaat verkondigen dat raid 0 robuuster is dan raid 5.

NOFI: je kan nog 10 pagina's volschijven maar dat ga je mij (en enkele andere hier) gewoon niet wijsmaken.


dat hele verhaal van je ga ik niet nog eens uit elkaar pulken, heb ik gewoon geen zin in en bied niks extra's voor de TS, behalve dat hij jou adviezen met een stevige korrel zout moeten nemen dan...

enigste puntje die ik je even meegeef en wat ook perfect aangeeft hoe fout je zit op bepaalde vlakken is dit:

als men bijvoorbeeld een hitachi neemt icm met areca zal men merken dat die schijven -door de areca aangestuurd- braaf terugzakken naar 5000rpm als ze niks meer hoeven te doen en opspoolen als ze weer aan het werk moeten.

En dan zeg je dat ik een gebrek aan kennis heb? Hardeschijven hebben een vaste invariabele rpm, wat je zegt is dus pure onzin.

doe jezelf een lol en ga zelf eens googlen naar de low rpm mode die hitachi's kunnen doen als ze aan een areca kaart hangen.

ik zal je alvast een eindje op weg helpen: link

en ja: ik blijf bij mijn stelling dat je een duidelijk gebrek aan (practische) kennis hebt. (maar wel lekker kan praten )


wat meer ontopic:

ik denk dat het verstandig is om te investeren in een separaat systeem die als server/NAS gaat werken. op die manier kan men een uitstekend schaalbaar extern opslagsysteem maken met een relatief energiezuinig systeem zodat die ook altijd kan blijven draaien en als de spreekwoordelijke rots in de branding kan werken. een OS als freenas of vergelijkbaar met ZFS is echter een must.
zo'n systeem zal ergens in de 700~900 euro kosten om goed op te zetten. mogelijke uitbreidingen zijn dan beperkt tot de aankoop van harde schijven. op verzoek kan ik nog wel zo'n systeempje met pricewatchlinkjes hier neerzetten.

ik moet toch benadrukken dat het NIET verstandig is om alles op 1 backupmedum te gooien als het gaat om betrouwbaarheid. een backup waar als enigste de data opstaat is geen backup. een backup hoort een kopie te zijn van de data die je al semi-veilig hebt staan en op terug kan vallen als er iets erg gebeurt. waarop ga je terugvallen als je backup ineens een griepje vertoont? dan heb je dus ineens een half jaar werk weg....
een server/NAS met een externe grote schijf die reguliere backups maakt van zichzelf is wel aan te raden. een optie die trouwens in freenas zit verwerkt en kan men het ook niet vergeten. human error (aka: vergeten) is de eerste factor die men moet zien te verwijderen uit backupsystemen.

een systeem waarbij je al een 1e barriere tegen gegevensverlies hebt zitten (raid 5 dus) is gewoon gezond verstand. fouten in bestandsystemen zal altijd een risico zijn, ongeacht welk raid nivo je gebruikt. je kan geen fouten in NTFS oplossen met raid 5. echter kan je wel beginnende bad clusters in schijven (Wat vandaag de dag steeds relevanter is) opvangen door de pariteit die in raid 5 zit en dus geen gegevens en tientallen manuren kwijtraken om weer je systeem op de rit te krijgen. als je 2x achter elkaar schijven hebt zien doodgaan en uren werk ziet verdwijnen zullen de verwensingen die worden geuit vast en zeker ook niet in de bijbel staan... nog afgezien van de verhoogde werkdruk die men ineens krijgt om het alsnog op tijd af te krijgen, als dat dan al lukt, murphy's law zegt heel duidelijk dat zulke dingen namelijk altijd gebeuren op de momenten dat je het juist niet kan hebben.

raid 5 of 6 is niet het antwoord op alles, echter is het verschil in prestaties niet echt in balans met het enorme risico die raid 0 met zich meedraagt. niet vergeten dat raid 0 op papier wel meer prestaties kan leveren maar helaas simpelweg niet zijn benen kan strekken omdat de cpu gewoon niet zoveel data kan verwerken. of je nou 450mb/s haalt met raid 0 en 400mb/s met raid 5 ga je echt niet merken als je met slechts enkele tientallen mb/s projecten aan het renderen bent. wat je wel gaat merken is als er een harde schijf de pijp aan maarten geeft. dan zie je ineens je werk in rook opgaan en ben je gedwongen om terug te vallen op de enigste kopie die je nog maar hebt. met raid 5 van je dat risico dus perfect op en verlaag je dus je risco op catastrofaal dataverlies met ruim 50% en kan je project gewoon afgemaakt worden terwijl je wacht op een nieuwe schijf. videowerk is enorm zwaar voor harde schijven dus je moet er gewoon vannuit gaan dat er 1 stukgaat binnen een afzienbare tijd.

[Anoniem: 15758]

flippy. Als je nu eens even kalmeert en rustig leest wat ik nu precies zeg, hoef je niet zo verontwaardigd te reageren. Ik zeg niet dat RAID0 veiliger is dan RAID5; ik zeg alleen dat op sommige punten RAID0 veiliger is dan RAID5. Dat is een subtiel verschil, en gaat met name in op de complexiteit van een storage setup.

Door hem een complex RAID5 als primair systeem te laten draaien en te stellen dat RAID5 hem (gegarandeerd) beschermt tegen een schijf failure is een valse belofte en weks schijnveiligheid waardoor je een ernstig leermoment kunt krijgen. Zie in dit verband ook:
Why RAID 5 stops working in 2009
Why RAID 6 stops working in 2019

Het beste wat je met risico's kunt doen is de zoveel mogelijk uitsluiten en vooral goed in kaart brengen, en niet verbergen in moeilijk te identificeren risico's. Mijn advies is juist in die achtergrond geschreven, en is gevormd ja tientallen jaren ervaring en analyse van RAID systemen.

De low rpm mode die je aangeeft is niets meer dan een APM spindown mode waarbij er geen I/O verwerkt kan worden, om 3 seconden spinup time te besparen. Hardeschijven kennen maar één vast rpm waarop ze I/O kunnen verwerken. Misschien begreep ik je verkeerd, maar je wekte de suggestie dat je de schijven op een lagere rpm kon draaien terwijl ze volledig functioneel waren; dat is dus niet zo zulke schijven bestaan naar mijn weten niet.

Ik ben het wel met je eens dat het investeren in een goed werkend backup systeem een must is, vooral als hij mijn advies zou opvolgen om de primaire array RAID0 te houden. Ik zie echter niet waarom je zou denken dat de gegevens alleen op de backup zouden staan; want inderdaad dan is het geen backup meer. De primaire array met 8TB ruimte zou alles opgeslagen moeten hebben wat ook op de backup staat. Alleen de tijdelijke bestanden zou niet gebackupped hoeven worden.

Het is interessant dat je ZFS noemt, want daar heb ik ook de nodige ervaring mee. Het bouwen van een ZFS NAS kan echter stukken goedkoper dan 700 tot 900 euro, afhankelijk van hoeveel schijven je wilt. Een goede plaats voor ZFS gerelateerde informatie is het specifieke ZFS topic hier op GoT:
Het grote ZFS topic

@Maarten: Merk wel op dat als je ZFS wilt draaien je hier de nodige ervaring voor zult moeten opdoen, en je zult moeten inlezen in de ins en outs van ZFS. Mocht je dat pad kiezen dan ben ik bereid je hierbij stap voor stap te helpen; je bent dan ook welkom om in het ZFS topic al je ZFS vragen te posten.

Het enige echte advies wat overblijft is: wees specifieker over je wensen. Welke mate van zekerheid wil je, hoe erg is het als je eens per 2/3 jaar een backup moet herstellen omdat je RAID0 ermee ophoudt, wat is je budget precies en hoe belangrijk vind je kostenbesparingen op dit punt, welk performanceniveau is door jou gewenst en hoe makkelijk moet een (backup)systeem te bedienen zijn? Allemaal vragen die relevant zijn voor een praktische setup en advies op maat. Je hebt van mijn bovenburen en mijzelf inmiddels aardig wat adviezen gekregen om te overwegen, nu is het aan jou om aan te geven in welke richting je eventueel nog verdere informatie cq. advies wenst.

[Voor 4% gewijzigd door Anoniem: 15758 op 06-07-2011 18:41]

[John2B]

Ik doe zelf ook video bewerking met Adobe Premiere 64Bits en heb de DATA op RAID5 staan op een Areca ARC-1230 met 10 Seagate 750GB disken (draait nu al 3 jaar probleemloos)

Intel i7 920 @2,67Ghz QuadCore Processor welke voor video een bottleneck is, m´n RAID systeem kan het makelijk aan. 12GB Geheugen op moederbord.

De disken zijn dus niet the nieuwste of de snelste, dus met een nieuwe generatie disks en RAID Controller (Areca ARC-1880 of ARC-1222) met flink wat cache erop lijkt de performance geen probleem.

Wat voor processor wil jij dan gaan gebruiken.

[Voor 6% gewijzigd door John2B op 06-07-2011 20:07]

[Anoniem: 15758]

Dat is een forse configuratie maar zal zeker aan zijn performancebehoeften voldoen. Echter, als hij daarnaast nog veel geld kwijt is aan een backup dan drijft dat de prijs aardig op. Het is niet zo dat je de Areca met RAID5 als vervanging van een goede backup kunt zien. Het grootste voordeel wat ik zie in zo'n configuratie is de uptime garantie; als een disk faalt kun je gewoon doorwerken op je primaire workstation.

Overigens als je voor Areca+BBU gaat zou ik voor RAID6 gaan, bijvoorbeeld met 8 disks dan hou je 6 x 2TB = 12TB over en heb je ongeveer 400MB/s sequential write schat ik zo. Hetzelfde kun je halen met slechts 3 of 4 disks in RAID0 op onboard Intel RAID0; vandaar dat dit een veel goedkoper alternatief is waarin je de bescherming van je data vooral in de backup zoekt, wat vooral ten koste gaat aan uptime wanneer een disk sterft.

In beide gevallen lijkt het me waardevol vooral in de backup te investeren; het liefst ZFS zodat je corruptie uit kunt bannen. Daarmee kun je ook de kosten flink verlagen. Het blijft dus een afweging tussen bescherming, uptime, performance en kosten.

[dutch_warrior]

Ik moet CiPHER toch voor de zoveelste keer gelijk geven .
Raid 5 is echt niet meer verstandig anno 2011, rebuild times lopen te hoog op en ook de performance is niet optimaal.
Ik heb zelf een hele tijd hardware raid5 gedraaid met 4x1TB seagate schijven en dat draaide opzich goed alleen wanneer een schijf kapot was duurde een rebuild toch al snel 24 uur. Heb ook al een keer meegemaakt dat na stroomuitval de hele array verloren was, gelukkig had ik toen ook een backup.
Het is echt vaak genoeg voorgekomen dat ik een image bestand moest hebben van de raid array en dat de array door een rebuild gedurende 24 uur onbruikbaar traag was, lijkt me geen wenselijke situatie voor een professional video editing machine.

Volgens mij moet de TS zich het volgende afvragen:
- Hoeveel downtime wil ik maximaal hebben en tegen welke kosten? Wanneer een raid5 array aan het rebuilden is dan kan je deze in principe niet gebruiken voor video editing, dus je workstation is een dag niet bruikbaar!
- Hoe goed vertrouw ik mijzelf in het maken en controleren van backups?
- Kan ik het me permitteren om data van 1 dag of een halve dag te verliezen wanneer mijn raid0 set het plotseling begeeft.

Bij de laatste bovenstaande vraag wil ik wel even vermelden dat ik zelf tot nu toe altijd mijn OS op raid0 heb gedraaid en snel genoeg doorhad wanneer een schijf slecht werd. Het is 1x voorgekomen dat door stroomuitval mijn raidset kapot was maar dit is me met raid5 ook overkomen.
Raid is gewoon geen backup, het is een methode om downtime zoveel mogelijk te beperken (24u rebuild ?) en continuïteit te garanderen bij verlies van een schijf of meerdere schijven.

Persoonlijk zou ik liever voor raid1 of raid10 gaan maar dat is omdat ik van mezelf weet dat ik soms stiekem de backup een dagje oversla omdat mijn nas wegens werkzaamheden offline is ofzo.
Raid10 is echter in dit geval denk ik niet ideaal vanwege de extra io operaties maar misschien dat CiPHER dit ook even goed uit kan leggen . Natuurlijk kost raid10 veel meer schijven en heb je daarmee ook te maken met rebuild maar de impact van de rebuild is minder.
Waarschijnlijk kan de TS zoals CiPHER al aangaf het beste kiezen voor raid6, tenzij de TS van zichzelf durft te zeggen dat hij netjes iedere dag de backup laat lopen en deze ook controleert, in dat geval is het raid0 advies van CiPHER prima.

[Voor 19% gewijzigd door dutch_warrior op 06-07-2011 21:29]

[Anoniem: 15758]

RAID10 zou ook een optie zijn ja, met name om toch wat redundancy te hebben zodat je toch bescherming hebt voor de meest recent geschreven bestanden (halve dag werk) en de rebuild tijden flink te verkorten.

Een groter voordeel zou nog zijn dat hij geen dure controller nodig heeft maar gewoon de Intel onboard RAID kan gebruiken. Het liefst door alle 6 poorten te gebruiken dan kun je qua performance het zien als een 3-disk RAID0; wat snelheden van ongeveer 350MB/s mogelijk zou kunnen maken; al zou ik op 300MB/s sustained rekenen. Niet slecht dus.

Dat betekent dan wel weer dat je de SSD op een andere controller moet hebben; nu hebben veel moederborden de laatste tijd een extra Marvell controller. Normaliter raad ik die altijd af omdat daarmee gesuggereerd wordt dat deze voor extra snelheid zorgt boven de Intel 3Gbps poorten. Maar ook al is deze net iets langzamer in de praktijk dan de Intel controller, je kunt daardoor wel de Intel controller vrijhouden voor een 6-disk RAID10 configuratie. Dus dat is het overwegen waard en zit een beetje tussen de RAID0 en RAID5 met Areca+BBU in.

Je zou kunnen zeggen de gulden middenweg, ook omdat moderne 2TB schijven niet meer zo duur zijn tegenwoordig; 6x 60 euro valt nog wel te doen (360 euro). Dan houdt je ook geld over voor een goede backup; wat je in alle gevallen nodig hebt.

[flippy]

Anoniem: 15758 schreef op woensdag 06 juli 2011 @ 18:06:
flippy. Als je nu eens even kalmeert en rustig leest wat ik nu precies zeg, hoef je niet zo verontwaardigd te reageren. Ik zeg niet dat RAID0 veiliger is dan RAID5; ik zeg alleen dat op sommige punten RAID0 veiliger is dan RAID5. Dat is een subtiel verschil, en gaat met name in op de complexiteit van een storage setup.

Door hem een complex RAID5 als primair systeem te laten draaien en te stellen dat RAID5 hem (gegarandeerd) beschermt tegen een schijf failure is een valse belofte en weks schijnveiligheid waardoor je een ernstig leermoment kunt krijgen. Zie in dit verband ook:
Why RAID 5 stops working in 2009
Why RAID 6 stops working in 2019

voor een eindgebruiker is raid 5 of 6 of 10 niks ingewikkelder dan raid 0, alle vormen vereisen een basale kennis van raid.

en die linkjes zijn mooi (heb ze heel lang geleden al eens gelezen) maar als je wat dieper kijkt is het wel een beetje "wij van ZFS adviseren ZFS". ook al hebben ze tot een bepaald nivo gelijk. ZFS is zeker superieur aan bijna alle vormen van raid. echter is ZFS nog niet beschikbaar voor windows

als men een OS als freenas gebruikt heb je net als raid slechts een basiskennis van ZFS nodig om het te kunnen gebruiken. al kan de overdaad aan opties een beetje overweldigend zijn in het begin.

mijn orginele punt blijft stiekem wel staan: raid 5 heeft nadelen, echter ook voordelen. in beide gevallen heb je in een hardwarefalen een halve dag helemaal niks of in elk geval weinig aan je systeem. echter is het voordeel dat je bij raid 5 niet eerst al je data opnieuw moet opzoeken en terugplaatsen. dat is ook een niet te onderschatten tijdrovend karweitje.

en men kan natuurlijk er ook voor kiezen om raid 5 via de onboard te doen ipv een dedicated kaart. kost je dan ook niks extra. (al is dat wel trager dan een echte raidkaart).

[dutch_warrior]

raid5 via de onboard controller, dat is echt het slechtste van het slechtste.
Dat heb ik 2 maanden geprobeerd echter mijn array heeft meer staan rebuilden dat dat ik er ook echt iets mee kon. Op de momenten dat de array condition goed was dan was de performance nog om te huilen bijvoorbeeld regelmatig merkbare vertragingen in applicaties op deze array. Onboard raid5 presteert onder andere door het gebrek aan dedicated cache slecht, dit kan je oplossen door writeback cache voor de schijven in te schakelen echter doe je dan gewoon de weinige voordelen die raid5 anno 2011 voor desktop gebruikers nog te bieden heeft teniet.
raid0 werkt het beste op onboard controllers, raid1 is ook nog te doen, raid10 kan ook prima onboard maar raid5 nee daar kan je beter niet aan beginnen, ik zie ook steeds vaker bordjes zonder onboard raid5.

[Anoniem: 15758]

RAID5 via onboard controller moet je inderdaad niet doen. Behalve de sub-optimale rebuildtechniek die de schijven continu laat seeken ben je dan overgeleverd aan een onveilige RAM writeback mode. Want zonder writeback schrijf je maar tegen 10MB/s, dat geldt ook zo als je de Areca instelt op write-through mode. Writeback zorgt ervoor dat je RAM geheugen als tijdelijke buffer wordt gebruikt, zodat de data in optimale zogenaamde full stripe blocks kan worden weggeschreven; RAID5 en RAID6 kunnen alleen optimaal schijven in veelvouden van een magische blokgrootte. Daarvoor is een split&combine engine nodig die I/O requests aan elkaar plakt en split, om zo de optimale I/O request size te bereiken. Dit proces gaat dus gepaard met veel risico's, die een Areca en andere hardware RAID controller afdekt door een BBU (Battery Backup Unit) te gebruiken.

Veel hardware controllers verbieden je om writeback in te schakelen zonder dat een BBU aanwezig is, om ernstig gegevensverlies cq. corruptie te voorkomen door de vluchtige DRAM van prik te voorzien. Areca is daar een uitzondering in, en laat je write-back gebruiken zonder BBU hetgeen dus erg gevaarlijk is en silent corruption in de hand werkt; dat is geen veilige setup. Een veilige RAID5 setup met onboard RAID5 + Windows gaat ook niet lukken; NTFS light metadata-only journaling kan niet de schadelijke gevolgen van verloren buffers opvangen en Intel gebruikt je host RAM geheugen voor write-back genaamd "Volume Write-back" in de Intel RST drivers. Zonder zo'n write-back is het schrijven naar RAID5 heel erg traag omdat de hardeschijven continu aan het seeken zijn, de zogenaamde read-modify-write cycles.

Dus bij onboard RAID5 is het kiezen tussen heel erg traag of heel erg onveilig; dat moet je dus niet doen. Zoals hierboven gezegd is RAID0 en RAID1 en varianten daarvan prima te doen en heeft geen speciale onveilige writeback nodig.

Nog een opmerking over die rebuildtijden: als je RAID5 er 22 uur over doet om te rebuilden is het herstellen met RAID10 of zelfs RAID0 veel sneller. Een RAID10 of mirror kan binnen 2 uur hersteld zijn omdat de schijven 100% sequential read+write doen, bij een RAID0 is het een kwestie van een reserveschijf aansluiten in plaats van de gefaalde schijf en je backup teruggooien; iets wat door de gigabit een stuk langer kan duren maar zelfs gigabit kan tegen 360GB per uur vervoeren; wat waarschijnlijk nog een stuk sneller zal zijn dan een RAID5 rebuild. Ook kun je beginnen met de bestanden die je echt nodig hebt en de rest 's nachts uitvoeren als je er toch niet op zit te wachten.

Elke optie heeft zijn eigen voordelen en nadelen. Ik ben van het principe dat je de risico's goed moet kennen en weten waar je aan toe bent, en wil je waarschuwen om zogenaamde beloftes van RAID5 en zelfs RAID6 met een korrel zout te nemen; soms werkt het trucje maar soms ook niet.

[flippy]

raid 5/6 wordt nu wel heel erg afgeschilderd als een draconische manier van opslag. denk dat men iets iets te ver op de materie inhamert en vooral overdrijft. als het echt zo slecht was als men hier nu zit te verkondigen begrijp ik niet waarom hardware raid nog steeds practisch de de-facto manier is van opslag is in de echt serieuze systemen. (al wint ZFS wel terrein)

even voor de duidelijkheid trouwens: mijn areca (geen mals modelletje) doet een rebuild/migrate met een zeer deftige 450~470mb/s als je hem met rust laat. mijn oude highpoint zonder XOR (en dus terugvalt op de cpu) deed het zelfs nog sneller dan dat gezien een i7 sneller is dan een areca XOR chip. write snelheden zonder BBU zijn marginaal lager in vergelijking met write cache aan. random write is ander verhaal natuurlijk maar qua grote bestanden is er geen verschil merkbaar.

[Maarten L]

Hier is mijn systeem zoals ik het tot nog toe in gedachten heb exclusief data management.

Ik wil er max zo'n 2300,- aan uitgeven.

#	Product	Prijs	Subtotaal
1	Dell Ultrasharp U2410	€ 399,90	€ 399,90
1	Cooler Master CM 690 II Advanced	€ 79,50	€ 79,50
1	Intel Core i7 2600K Boxed	€ 249,70	€ 249,70
1	XFX Black Edition 750W	€ 98,89	€ 98,89
1	Crucial m4 CT128M4SSD2 128GB	€ 169,-	€ 169,-
2	Corsair XMS3 CMX8GX3M2A1600C9	€ 57,79	€ 115,58
1	Asus ENGTX570 DCII/2DIS/1280MD5	€ 296,91	€ 296,91
1	Asus P8Z68-V	€ 134,-	€ 134,-
Bekijk collectie Importeer producten		Totaal	€ 1.543,48

[Anoniem: 15758]

Maarten, je hebt al een heel aardig lijstje samengesteld zo. Echter als je inderdaad een RAID10 wilt zoals boven besproken dan zou je meer dan 6 SATA poorten nodig hebben, en dan zou je een moederbord moeten kiezen met een extra Marvell chip, zoals een van deze:

pricewatch: Asus P8Z68-V PRO
pricewatch: MSI Z68A-GD65 (B3)
pricewatch: MSI Z68A-GD80 (B3)
pricewatch: Gigabyte GA-Z68X-UD3H-B3

Verder kun je qua geheugen nog deze overwegen, is misschien iets zuiniger:
pricewatch: Kingston HyperX KHX1600C9D3K2/8G

Qua schijven zou ik dan de Samsungs nemen:
pricewatch: Samsung EcoGreen F4EG HD204UI, 2TB

Verder raad ik je aan alles nog even te laten bezinken voordat je echt uitgaven gaat doen, zodat je zeker weet wat voor storage setup en backup setup je kiest. Als dat laatste een ZFS NAS wordt dan wil ik je ook graag helpen bij je hardware keuze hiervoor; dat kan redelijk goedkoop en toch lekker snel met de juiste keuzes. Bijvoorbeeld:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 96,97	€ 96,97
6	Samsung EcoGreen F4EG HD204UI, 2TB	€ 59,99	€ 359,94
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 46,-	€ 46,-
Bekijk collectie Importeer producten		Totaal	€ 502,91

Daar komt nog bij een kast en voeding; reken op 600 euro. Je kunt de 6 Samsungs dan in RAID-Z2 draaien en direct van booten; afhankelijk van welk software platform je kiest. Anders zou je nog een USB stick erbij kunnen nemen wat wel handig is met FreeNAS.

flippy.nl schreef op woensdag 06 juli 2011 @ 23:39:
raid 5/6 wordt nu wel heel erg afgeschilderd als een draconische manier van opslag. denk dat men iets iets te ver op de materie inhamert en vooral overdrijft. als het echt zo slecht was als men hier nu zit te verkondigen begrijp ik niet waarom hardware raid nog steeds practisch de de-facto manier is van opslag is in de echt serieuze systemen. (al wint ZFS wel terrein)

Hardware RAID is nog steeds erg populair voor opslag voor Windows systemen. Windows moet het namelijk nog doen met een inmiddels zeer gedateerd NTFS filesystem, wat vergelijkbaar is met Ext3 en UFS en vrijwel geen bescherming biedt tegen corruptie en geen redundante metadata heeft. Ook de software RAID mogelijkheden voor het Windows platform zijn erg beperkt. Om die reden betekent het gebruik van RAID5 op een Windows platform bijna automatisch dat je kiest voor Hardware RAID. Ook de management van Hardware RAID met features als RAID migration, expansion, meerdere RAIDsets en staggered spinup kunnen redenen zijn om nog steeds voor een Hardware RAID setup te kiezen.

write snelheden zonder BBU zijn marginaal lager in vergelijking met write cache aan.

Stel je controller in Areca BIOS eens in op Write-through mode en doe dan een sequential write test.

Verder nodig ik je uit de discussie over de ins en outs via DM te voeren, waarin ik je inmiddels van een uitgebreide reactie heb voorzien.

[Maarten L]

Ik ben nu het ZFS topic aan het doorlezen =)

[flippy]

Anoniem: 15758 schreef op donderdag 07 juli 2011 @ 01:57:
Stel je controller in Areca BIOS eens in op Write-through mode en doe dan een sequential write test.

al eens gedaan, en probleem is niet het verwerken, het probleem is de aanvoer. alleen benchmark proggies of traces kunnen een zware raid setup zo maxen dat write cache echt begint te spelen. met normaal desktop/workstationgebruik ga je dat niet zo heel erg merken.

[Getto]

sorry maar ik heb het hier zitten doorlezen en wat ik denk is dat de beste back - up die je kan hebben is raid bay waar 4 schijven in kunnen die zet je in een raid 10 met een enkele of dubbele spear er overheen dan kan er gewoon niks fout gaan(behalve als je kat over de voeding heen pist)