Server stottert sinds instellen extra software RAID

[Mr_Big]

De situatie is als volgt:
- Intel i5 op een ASRock H61DE/S3 bordje
- Windows Server 2008 R2 x64
- 16 GB geheugen
- Highpoint 2310 met 4x 1,5TB - ingedeeld in 2x RAID 5 volume
- Net erbij geplaatst: 2x 2GB WD Green op de Intel ICH

De schijfindeling is als volgt
- C: (100GB RAID 5 volume) Windows en de applicaties
- D: (~4GB RAID 5 volume) m.n. opslag - stond (te) vol tot upgrade
- E: (2GB Windows software RAID 1) Opslag + VHD's van enkele draaiende VMs

Sinds de laatste upgrade, oftewel het bijplaatsen van de 2x WD 2GB Green HDD's in Software RAID 1, is de server erg traag geworden. Ik heb last van 'stotteren' en traag starten/reageren van applicaties. Soms duurt het ook even voordat de inhoud van een map wordt weergegeven.

Aangezien de applicaties allemaal op de 'oude' RAID5 staan, en wat mij betreft dus niks met de nieuwe schijven te maken hebben, en het traag openen van mappen op alle drie de schijfletters gebeurt, ben ik de kluts een beetje kwijt: hoe kan dit en wat doe ik eraan?

Wat heb ik al gedaan:
- Ik heb gechecked dat de partities op de nieuwe schijven aligned zijn, want zijn schijven met 4K clusters.
- De WD schijven staan in de BIOS op AHCI - maar ik vraag mij af of dat eigenlijk wel wordt ondersteund door de ASRock H61DE/S3
- Dubbel gechecked dat de schijven op de Intel controller zitten, niet de ASmedia
- Nieuwste Intel drivers
- Gedefragmenteerd (waar dat ook nog goed voor mag zijn)

Verder vraag ik mij af of het verstandig is geweest om de VM's naar de nieuwe software RAID1 te verplaatsen. Zou dat misschien voor de persormance problemen zorgen, omdat alle andere IO's achteraan moeten sluiten in een IO-queue, ook al vinden ze plaats op een andere schijf?

[com2,1ghz]

Green schijven zijn eigenlijk niet bedoeld om in RAID te plaatsen. Het kan wel, maar dat is weer een ander verhaal

[Mr_Big]

Het hoeft ook geen high performance te zijn, maar nu stottert de boel, waar het hiervoor allemaal lekker snel ging.
De RAID5 is ook opgebouwd rond 4 Samsung green schijven en draait (draaide) nu al jaren met prima performance.

[Zorc]

Mr_Big schreef op dinsdag 18 december 2012 @ 10:01:
Ik heb last van 'stotteren' en traag starten/reageren van applicaties. Soms duurt het ook even voordat de inhoud van een map wordt weergegeven.

Ik denk dat je nog wel wat dingen kan proberen of meer informatie geven over het probleem:
Heb je dat op zowel C,D en E? Lees/schrijf snelheid getest? Is de raid5 nog gezond en heb je gekeken naar de SMART data van de schijven, i.e. ik heb wel eens een brakke SATA kabel/connector gehad die ineens kuren gaf nadat ik in de betreffende PC had lopen rommelen (en niet eens met die kabel zelf)
Je hebt het ook over VM's, heb je daar de problemen mee en/of alleen op de server zelf?

[Mr_Big]

Ik heb de schijfsnelheid voor de zekerheid nogmaals gebenchmarked (read seq / 4k / 4K-QD32):
C: 200 / 1,5 / 8,0
D: 170 / 1,0 / 5,9
E: 125 / 0,6 / 3,0 - Write seq is echter maar 17 MB/s!
Let op: op E: draaien verschillende VMs die ik tijdens de benachmark niet kan uitzetten. Dat heeft natuurlijk een negatieve impact. Ook verwacht ik van deze RAID1 geen hoge performance, aangezien het in principe om single disk performance gaat.

RAID 5 geeft geen problemen aan, de software RAID 1 ook niet, ook alle SMART-data staan op groen.

Binnen de (Linux) VM's wil het soms ook wat traag reageren, maar in veel mindere mate dan in Windows zelf.

Ik ga de kabels van alle schijven nog eens nalopen. Mogelijk dat er daarvan één een beetje los zit, of anderszins veel foutcorrectie vereist.

Mijn voornaamste verdachte blijft echter de nieuwe RAID1 - m.n. de lage schrijfsnelheid (meerdere keren gebenched) vind ik verdacht. Wat ik alleen niet kan uitleggen, is waarom deze schijven ook zo'n invloed hebben op het uitvoeren van applicaties die op de RAID5 schijven staan. Zoals jullie kunnen zien, performen die in de benchmark in ieder geval prima.


Update: waarschijnlijk heb ik gewoon een verkeerde beslissing genomen door de VMs op de RAID1 te zetten. Mijn idee was dat het goed voor de performance zou zijn om ze te scheiden van andere applicaties. Helaas wist is niet wat een slechte performance Windows software RAID1 geeft.

Nu ik de VMs weer heb teruggeplaatst op de originele RAID5-volume, lijkt alles weer als vanouds te gaan.
Mij zijn twee zaken opgevallen:
1. Ik vind het gek dat de slechte performance van schijf X een blokkerend (vertragend) effect heeft op schijf Y. Ook als het daadwerkelijk verschillende schijven, zelfs verschillende controllers zijn.
2. De Software RAID 1 implementatie van Windows 2008 is behoorlijk slecht. Na wat bestanden kopieren en dit monitoren, viel mij op dat tijdens het kopieren van bestanden naar de E:-schijf, dezelfde bestanden ook weer werden gelezen vanaf de E:-schijf. Het lijkt er dus op dat de Windows RAID1 meer een synchronisatieoplossing is dan een echter RAID1-implementatie.
Dit mechanisme verklaart ook meteen de slechte schijfperformance: waar de leesperformance ca 120MB/s is, is de scrijfperformance na het verplaatsen van de VM's op iets boven de 39MB/s is komen te liggen. Oftewel, grofweg 1/3e van de leesperformance.
Wat er gebeurt is het volgende:
- Windows schrijft een file weg met 30 MB/s
- Windows leest dezelfde file weer in met 30 MB/s
- Windows schrijft de file weg naar de 2e schijf met 30MB/s.
Opgeteld netjes 100MB/s, dus ongeveer de verwachte schrijfsnelheid minus wat overhead.

Oftewel: eens maar nooit meer een software RAID1 onder Windows. (gelukkig was het ook niet meer dan een tijdelijke (nood)oplossing)

[ Voor 41% gewijzigd door Mr_Big op 18-12-2012 18:56 ]

[Eagle Creek]

1. Ik vind het gek dat de slechte performance van schijf X een blokkerend (vertragend) effect heeft op schijf Y. Ook als het daadwerkelijk verschillende schijven, zelfs verschillende controllers zijn.

In principe heb je gelijk maar mocht er -iets- zijn op schijf Y dat moet wachten op schijf X, dan is het verklaarbaar. Als de software op Y moet wachten op X, dan kan je dat nog steeds als een vertraging opmerken. Ik neem aan dat de handelingen op Y namelijk niet daadwerkelijk trager zijn wanneer je dit meet?

Oftewel: eens maar nooit meer een software RAID1 onder Windows. (gelukkig was het ook niet meer dan een tijdelijke (nood)oplossing)

Toch vreemd want hoewel men nog bijzonder lyrisch is over de Windows RAID, lees je toch wel dat het vaak een eenvoudige (en daarmee adviseerbare) oplossing is.

[heuveltje]

Eagle Creek schreef op dinsdag 18 december 2012 @ 21:02:
[...]

In principe heb je gelijk maar mocht er -iets- zijn op schijf Y dat moet wachten op schijf X, dan is het verklaarbaar. Als de software op Y moet wachten op X, dan kan je dat nog steeds als een vertraging opmerken. Ik neem aan dat de handelingen op Y namelijk niet daadwerkelijk trager zijn wanneer je dit meet?

Windows is daar toch al een beetje vaag mee
Ik heb een 256GB SSD en daarnaast nog 3 hd's in mijn PC zitten.
Regelmatig als ik iets wil doen wat eigenlijk alleen op die ssd staat, moet ik toch wachten terwijl mijn hd's opgespint worden. Ook nooit kunnen uitvinden waarom

[Mr_Big]

Ach ja, de mysteriën van 'black box' Windows...
Het wordt toch eens een keertje tijd om volledig over te stappen op Linux. Dan kan je eventuele problemen tenminste achterhalen en er iets aan doen.

[Mr_Big]

De problemen lijken toch niet helemaal opgelost: de traagheid is nog regelmatig aanwezig.
Het gekke is dat de i/o queue van de e-schijf vaak onder de 0,1 blijft. Oftewel: die staat eigenlijk niks te doen.

Hetzelfde geldt voor de andere schijven, maar helaas ook als ik een applicatie wil opstarten. Het lijkt wel alsof er dan niks gebeurt, want de i/o queue blijft laag. Dan op bepaalde momenten komt alles tot leven, start de applicatie op en schieten de doorvoer en i/o queue omhoog.

Zou er dan toch wat anders aan de hand zijn?