W2012R2: Spanned Volume => Defrag

[GoT]

Hallo,

Ik heb 4x 3TB HDD's in mijn server waar ik een Spanned Volume van wil maken.
http://tweakers.net/gallery/sys/217295
Ik snap de risico's van een Spanned Volume, de bestanden die hierop staan zijn niet zo belangrijk.
Heb nog een NAS met RAID6 waar ik belangrijkere bestanden bewaar, foto's documenten, homemade video's, etc. http://tweakers.net/gallery/sys/703413
En ja: RAID is geen backup! Maar dat is niet mijn vraag, anders had ik het niet hier gepost.

Ik weet dat als 1 HDD kaduuk is, er een kans is dat de resterende HDD nog uitgelezen kunnen worden.
Tenzij bestanden gefragmenteerd zijn over de meerdere HDD's, dan uiteraard niet.
Helpt het als ik om de zoveel tijd defrag aan zet, om toch de risico's wat te beperken ?
Of heeft dit totaal geen zin ?
De server zit toch 99% van de tijd uit zijn neus te vreten.

[Hero of Time]

Leuk dat je denkt aan een defrag, maar wat hoop je er mee te bereiken als de eerste schijf ook stuk kan gaan? Wil je 't kunnen terughalen, dan maak je een backup ervan. Is 't niet belangrijk, dan is het potentieel kunnen uitlezen van een disk voor recovery ook niet. En daarmee dus ook de defrag. Bovendien is het juist de kracht van RAID0 om data gefragmenteerd op te slaan. Ga je 't op zo'n manier plaatsen dat alles op de eerste schijf komt, dan trap je het hele idee van performance de grond in en kan je net zo goed met losse disks werken.

[Question Mark]

Waarom zou je een spanned volume aan willen maken als je eigenlijk stiekum toch niet wil dat bestanden verspreid raken over meerdere disken?

In jouw geval zou je dan toch beter met de vier losse disken kunnen blijven werken. Ook al zou je defragmenteren, zekerheid heb je nooit.

[GoT]

Dat is nog geen antwoord op mijn vraag die zeer concreet gesteld is en weer krijg ik alleen maar suggestieve opmerkingen/adviezen, waar ik niet om heb gevraagd.
Graag ontopic en alleen als je de vraag weet te beantwoorden, ik weet heus wel wat een back-up is.
Weet je het antwoord niet, post dan niet.

Note:
Spanned Volume <> RAID0 en heeft dus weinig met performance te maken.
RAID0 = Striping, maar ik geef aan Spanned volume !

offtopic:
Het niveau hier keldert steeds verder naar beneden.

[ Voor 49% gewijzigd door GoT op 06-03-2015 18:31 ]

[hans_lenze]

GoT schreef op vrijdag 06 maart 2015 @ 13:40:
[knip]
Helpt het als ik om de zoveel tijd defrag aan zet, om toch de risico's wat te beperken ?
[knip]

Nee, dat helpt niet. Een defragmentatie probeert om de bestanden zoveel mogelijkj aaneengesloten blokken te laten gebruiken .Er is geen link tussen het logische volume en de LBAs waardoor het logische volume niet door heeft dat het in werkelijkheid vier schijven zijn. Omdat de partitietabel en de NTFS file table alsnog vooraan staan, ben je die gewoon kwijt als je eerste schijf stuk gaat.

Als je echter een andere schijf kwijt raakt, is het mogelijk dat de bestanden vanaf de nog werkende schijven nog steeds worden geserveerd. Elke zinnige RAID controller zal echter de hele schijfset offline halen om corruptie te voorkomen op de werkende schijven.

Wat zijn trouwens "de risico's"?

[Question Mark]

GoT schreef op vrijdag 06 maart 2015 @ 18:12:
Dat is nog geen antwoord op mijn vraag die zeer concreet gesteld is en weer krijg ik alleen maar suggestieve opmerkingen/adviezen, waar ik niet om heb gevraagd.
Graag ontopic en alleen als je de vraag weet te beantwoorden, ik weet heus wel wat een back-up is.
Weet je het antwoord niet, post dan niet.

Sorry hoor, maar GOT is nog steeds een discussieforum. Jij als topicstarter gaat niet beslissen welk soort antwoorden op je vraag komen. Je krijgt van twee verschillende personen goedbedoelde adviezen, en het staat je vrij om daar al dan niet iets mee te gaan doen.

Denk je dat niks aan die adviezen hebt, dan lees je gewoon verder. Vind je ze teveel offtopic gaan, dan maak je een topicreport aan en dan kan een mod beslissen wat hij/zij met deze posts kan gaan doen.

Wat je in elk geval niet moet gaan doen is denigrerend reageren, en zeggen dat het niveau op GOT omlaag keldert omdat je toevallig niet de antwoorden krijgt die je wilt horen.

[belrpr]

In u geval zou ik eerder voor jbod gaan.

[GoT]

Als men het verschil niet eens weet tussen striped en spanned volume, dan zijn het zelfs verkeerde adviezen.
En zoals je aan de laatste reactie kan lezen: I rest my case.

@hans_lenze: tnx for the info.
Risico is dat ik wat kwijt ben, maar ik geen huilie, huilie ga doen als het weg is.

[Question Mark]

Toch jammer dat je niet ingaat op mijn vraag waarom je dit precies wilt.

Als bijvoorbeeld de reden was geweest dat je via een enkele drive-letter of entry toegang had willen krijgen tot al je films, dan had wellicht iemand je erop gewezen dat je dit ook had kunnen realiseren mbv een DFS-namespace.

En dat is nu net het mooie van een discussieforum. Je kunt antwoord krijgen op je gestelde vraag (zie het antwoord van hans_lenze), maar het gebeurd soms ook dat anderen proberen het achterliggende probleem en vraagstuk te begrijpen, om zo ook alternatieve oplossingen aan te reiken.

En ja, soms heb je niet zoveel aan een antwoord , soms is een antwoord simpelweg verkeerd, en soms kan een antwoord juist erg goed zijn.

[ Voor 5% gewijzigd door Question Mark op 06-03-2015 21:04 ]

[Wim-Bart]

Spanned volume (good old JBOD) is minder onveilig dan Striped (RAID-0). Al is dit nog heel erg betrekkelijk want kans dat er een disk uit valt in een Multi disk omgeving is statistisch groter dan bij een single disk. Windows heeft een aantal bestanden (ja bestanden) welke cruciale data structuren bevatten zoals de MFT. Deze file is gerepliceerd dus er is altijd een kopie. Maar er zijn ook andere structuren aanwezig welke gelukkig ook dubbel zijn opgeslagen zoals een bittable. http://www.ntfs.com/ntfs-system-files.htm

Door defragmenteren bereik je in ieder geval dat je bestanden altijd geheel op een disk staan omdat je volume spanned is (behalve als er een roll-over is naar de volgende disk). Dus in theorie bij een goede defragmentatie vul je je volume als een glas, van boven naar onderen. Zolang de eerste disk niet kapot gaat heb je altijd kans dat je veel data kan recoveren. Met mazzel staat je MFTMirror op een andere disk en is die te gebruiken.

Echter dit is theorie. In de praktijk maakt het geen ene moer uit en hoe gedefragmenteerder hoe meer de kans dat alles over je 4 disks verspreid is. Windows zal namelijk altijd proberen om bestanden op eenvolgende sectoren te plaatsen, dus de kans dat een bestand op 2 of meer disks staat is vrij klein.

Bij RAID-0 is het een ander verhaal, daar ben je gewoon je data kwijt. Niks herstelbaar wat groter is dan de stripesize.

[ Voor 4% gewijzigd door Wim-Bart op 07-03-2015 05:02 ]

[GoT]

Ik heb nu alles met aparte driveletter als simple Volume en daar wil ik vanaf.
Ik wil 1 grote bak waar alles onder elkaar staat, zonder verwijzingen.
Dan mag je weer in al die verwijzingen gaan zitten kijken waar het zit.
Alles op 1 hoop dus, dan kom ik toch weer uit bij Spanned Volume.

Als 1 HDD crasht, dan is het redden wat er te redden valt en verlies voor lief nemen.
Om het verlies toch enigzins wat te beperken en de server toch 99% van de tijd zit duimen te draaien is het peanuts om 1x per maand even Defrag te draaien.
Mocht een bestand toch op 2 HDD's zitten dan is die maar kwijt.

@Wim-Bart: Als je begint met een leeg Volume en bestanden gaat kopieren, natuurlijk.
Maar als je eenmaal bestanden gaat deleten en nieuwe bestanden erop gaat kopieren, dan begint de fragmentatie.

[_Arthur]

GoT schreef op zaterdag 07 maart 2015 @ 08:47:
Mocht een bestand toch op 2 HDD's zitten dan is die maar kwijt.

En hoe ga je er achterkomen welke bestand je dan precies kwijt bent? Ga je MD5-checksums laten maken elke nacht en de opgeslagen checks vergelijken met checks die je na het verlies van een schijf maakt? Check diskje er overheen?

Aangezien je toch niet openstaat voor mogelijke alternatieven, mag je dat lekker zelf uitzoeken

[SlinkingAnt]

Heb je gekeken naar de mogelijkheden van Storage Spaces?

[_Arthur]

SlinkingAnt schreef op zaterdag 07 maart 2015 @ 09:36:
Heb je gekeken naar de mogelijkheden van Storage Spaces?

Dat wilde ik nu juist net niet aandragen....

[GoT]

@_Arthur: Voor Pr0n ? Teveel moeite, ik download het wel opnieuw.
In 1st post: Heb nog een 8 bay NAS in RAID6: http://tweakers.net/gallery/sys/703413, waar ik alles ernaar toe heb gemoved.
Hierdoor zijn de 3 TB's vrij gemaakt en aangezien het toch oude meuk is geworden ga ik het nu ook vol stoppen met eeeeh oude meuk.
De Adaptec AAR-1430SA controller is zelfs al discontinued en niet eens 2012R2 certified heb een 2008 driver gebruikt, maar ook dit boeit mij niet.
http://tweakers.net/gallery/sys/217295

@SlinkingAnt: Daar loop ik met een flinke boog omheen.

[Wim-Bart]

GoT schreef op zaterdag 07 maart 2015 @ 10:49:
@SlinkingAnt: Daar loop ik met een flinke boog omheen.

Storage Spaces is ideaal. Ik zou er niet zo maar met een grote boog omheen lopen. Zeker qua performance. Maar tja, onder server 2012 heb je meer leuk spul, data deduplication. Alleen Dedup op een JBOD is vragen om problemen dus niet aan te raden. Niks ergers dan je chunks kwijt...... En zeker als je gaat tieren met een ssd tier, dan is het helemaal feest met Storage Spaces.

[GoT]

Performance komt van hardware: SSD vs SHDD vs HDD, 5400 vs 7200 vs 10k vs 15k RPM, SATA/SAS, controller, RAIDx, etc.
Storage Space is een "wizard" van Microsoft om het wat makkelijker/flexibeler te maken voor de gebruiker beheerder door de boel te virtualiseren.
Ik loop er nog steeds met een boog omheen, ik heb liever wat meer controle wat er op mijn server gebeurt met good old Disk Management.

Het formateren duurde even...
Maar it's done, ik heb nu een whopping 12 TB Drive met oude meuk erop.

Ga nog defrag 1x per maand instellen, anders heeft de server niks te doen.

[ Voor 4% gewijzigd door GoT op 08-03-2015 09:40 ]

[GoT]

_Arthur schreef op zaterdag 07 maart 2015 @ 09:13:
[...]
Aangezien je toch niet openstaat voor mogelijke alternatieven...

"Open staan" wil niet zeggen dat je gelijk moet doen wat iemand "adviseert", dat zou wel erg dom zijn.
Volgens mij heb ik wel genoeg argumenten gegeven waarom ik een spanned volume wil en dat is ook het probleem hier. Ik stel maar 1 vraag en moet me gelijk verdedigen waarom ik mijn eigen server op een bepaalde manier wil inrichten.
Ik heb op mijn 1e post al genoeg informatie gegeven met zelfs 2 links naar mijn server en NAS, ook heb ik daar al aangegeven dat ik wel weet wat de risico's zijn.

[Question Mark]

Wim-Bart schreef op zondag 08 maart 2015 @ 01:01:
[...]


Storage Spaces is ideaal. Ik zou er niet zo maar met een grote boog omheen lopen. Zeker qua performance. Maar tja, onder server 2012 heb je meer leuk spul, data deduplication. Alleen Dedup op een JBOD is vragen om problemen dus niet aan te raden. Niks ergers dan je chunks kwijt......

Wat zijn je ervaringen hiermee dan? De testen die ik allemaal gelezen heb waarin de performance van storagespaces vergeleken worden met hardware raid controllers zijn een beetje wisselvallig qua resultaat. Sommige workloads performen heel goed, anderen ontzettend beroerd.

En zeker als je gaat tieren met een ssd tier, dan is het helemaal feest met Storage Spaces.

Dan alleen voor write-back cache. Het algoritme wat je hotspot aan data verplaatst naar je snellere tier loopt bij storage spaces (in tegenstelling tot hardware oplossingen) niet echt dynamisch. Waar dedicated hardware arrays dynamisch de hotspot bepalen en optimaliseren, doet Storage spaces dit met een scheduled task, die standaard 1x per nacht loopt (overigens wel handmatig nog te draaien).

Als ik één dag lang bezig ben met een set data die op langzamere storage draait, blijft dit ook de hele dag op die storage draaien. 's Nachts vindt de optimalisatie pas plaats, waarna deze data op snellere storage staat. Maar ja... de volgende dag ben ik alweer bezig met een andere dataset... Beetje een worst case scenario, maar wel reëel. Bij de implementatie van storagespaces moet hier wel rekening mee gehouden worden.

[GoT]

Question Mark schreef op zondag 08 maart 2015 @ 11:16:
... waarin de performance van storagespaces vergeleken worden met hardware raid controllers...

Software vs Hardware = appels met peren.

Ik zie liever reviews waar men Storage Pools vergelijkt met zelf aanmaken via Disk Management.
"Striped / Mirrored / Parity Storage Pools" vs "Striped / Mirrored / Parity Disk Management"

[Question Mark]

De reden dat men storage spaces vergelijkt met Hardware Raid oplossingen is omdat MS het als vervanger van grotere hardware storage arrays in wil zetten en ook als dusdanig presenteerd. Nogal logisch dan dat het meerendeel van de reviews de performance van storage spaces gaan vergelijken met hardware oplossingen.

Overigens zijn er wel reviews waarin Hardware-Raid, traditionele Software Raid en Storage spaces met elkaar vergeleken worden.
Zie bijvoorbeeld: http://globalsp.ts.fujits...-r2-performance-ww-en.pdf

Even de conclusie van dat onderzoek (en dan zonder ssd's):

Storage Spaces only makes sense for pure read accesses for the Spaces layouts: Single Parity; and;Dual Parity; and offers approximately the performance of Hardware RAID 5 and 6 in these load profiles. Hardware RAID offers ten times higher performance for both sequential and random write accesses and should therefore be favored for these two load profiles.

Although Software RAID is the long-standing predecessor of Storage Spaces, it performs equally well or even slightly better than Storage Spaces in most cases. One exception to this is the mixed read and write access for the Spaces layout;Simple; and Software RAID; Stripe;, where Storage Spaces has marked advantages in part.

Qua performance is storage spaces itt hardware Raid dus volgens de meeste reviews helemaal niet zo geweldig als MS beweerd, vandaar dat ik Wim-Bart ook even vroeg naar zijn ervaringen hiermee. Zeker bij loadprofielen met veel write's zou ik erg voorzichtig zijn om storagespaces aan te raden tov hardware Raid.

[ Voor 3% gewijzigd door Question Mark op 08-03-2015 17:01 ]

[hans_lenze]

Storage spaces is erg fijn zolang je maar geen Parity volumes aanmaakt. Die zijn belachelijk traag met schrijven, zelfs met SSD write back cache. Gelukkig wordt Parity ook bijna nergens voor ondersteund dus de kans dat het gebruikt wordt door iemand die de documentatie leest is klein.

Voor een hyper-v of SQL cluster is het zeker de moeite waard om een keer naar te kijken.

[Wim-Bart]

hans_lenze schreef op zondag 08 maart 2015 @ 19:45:
Storage spaces is erg fijn zolang je maar geen Parity volumes aanmaakt. Die zijn belachelijk traag met schrijven, zelfs met SSD write back cache. Gelukkig wordt Parity ook bijna nergens voor ondersteund dus de kans dat het gebruikt wordt door iemand die de documentatie leest is klein.

Voor een hyper-v of SQL cluster is het zeker de moeite waard om een keer naar te kijken.

Klopt helemaal, Storage spaces met dubbel parity is een draak, maar dat is voor iedere software implementatie. Maar aan de andere kant, storage spaces met single parity vergeleken met "fake-raid" is vergelijkbaar. Toen ik mijn eerste server 2012 ging inrichten had ik een Intel bak met Intel ICH chipset. De Raid-5 via de ICH was gewoon dramatisch en storage spaces met single parity was beter, het was ook dramatisch, maar dat kwam door de disks (WD Green). Als ik me goed herinner was de maximale doorvoor (met HDTACH) voor de ICH iets rond de 40MB/s (4x 2TB green op SATA2) en met storage spaces zat ik rond de 60MB/s (MegaByte). Op mijn nieuwe Hyper-V bak met AMD 8120 was het iets beter, hardware raid (via AMD chipset, dus fake-raid) kwam ik rond de 60MB/s en met Storage spaces op de 80MB/s. Daarom ben ik van single parity afgestapt en naar RAID-10 overgestapt. Daar zit ik nu via "fake-raid" op de controller op de 140MB/s maar met storage spaces in een 4 disk layout rond de 180MB/s en tikt hij soms de 210MB/s aan in Performance monitor. Vandaar de keuze voor mij om storage spaces te gebruiken en binnenkort de boel te gaan tieren om de write performance te verbeteren met WBC en een tier. RAID-5 of single/double parity is gewoon geen optie voor low cost performance in een dergelijk systeem.