NCQ en RAID

[Wim-Bart]

Mijn Hyper-V host is gebouwd rond een Gigabyte board met 6x SATA-3 en voorzien van een AMD FX-8150. Op zich niks mis mee, afgezien van de 32GB limiet en de tweaks die ik moest doen om excessive core parking te voorkomen.

De disk indeling is een ander verhaal:
Poort 1: WDC WD2500AAKX-00ERMA0 250GB RAID1-Set 1
Poort 2: WDC WD2500AAKX-00ERMA0 250GB RAID1-Set 1

Poort 3:WDC WD2002FYPS-02W3B1 2TB RAID1-Set 2
Poort 4:WDC WD2002FYPS-02W3B1 2TB RAID1-Set 2
Poort 5:WDC WD2002FYPS-02W3B1 2TB RAID1-Set 3
Poort 6:WDC WD2002FYPS-02W3B1 2TB RAID1-Set 3

Onder Hyper-V heb ik een RAID0 stripe gemaakt van RAID1-Set 2 en RAID1-Set 3. Approx 4TB total. De reden is dat RAID 10 niet ging omdat hij er anders een block-size van 1024 van maakte en daar kan Hyper-V niet mee overweg.

In eerste instantie had ik op alle drives NCQ aan staan. Want in mijn logica is het orderen van reads en writes effectiever en zou "in theorie" ook sneller moeten zijn. Na wat onderzoek (na 2 jaar zo draaien) heb ik NCQ uitgezet (tegen mijn gevoel in) om eens te zien wat dat brengen zou.

Nu zie ik dat ik na wat testen op alle sets (met HDTune) 15-20%, en op mijn stripe zelfs 20-40% hogere doorvoelsnelheid heb.

Vraag 1:
Helaas kan ik nergens een eenduidig antwoord krijgen wat hiervan de reden is, en of dit door te trekken is naar andere configuraties.

Vraag 2:
Hoe zet je het uit onder Windows 8.1 met een Intel ICH RAID1? En natuurlijk ook weer aan, als het daar niet werkt?

[Verwijderd]

NCQ voor hardeschijven heeft nooit goed gewerkt; helemaal niet in desktop-omgevingen. Dit komt omdat de hardeschijf het on-the-fly herschikken van I/O requests niet snel genoeg kan doen - er onstaat een vertraging. Je operating system kan dit veel beter en heeft extreem veel snellere hardware ter beschikking (je CPU).

NCQ is wel effectief voor SSDs omdat die daardoor meerdere I/O tegelijk kunnen verwerken. Ook is NCQ nuttig in sommige server workloads in combinatie met SAS disks die gebouwd zijn voor NCQ om bij hoge queue depths voordeel te halen. Voorwaarde is dan wel dat je een 'slecht' operating system hebt, wat zelf niet voldoende order brengt in de volgorde van I/O requests. Want wat NCQ doet voor hardeschijven kan je OS natuurlijk veel beter en veel sneller.

Echter zou NCQ niets mogen uitmaken voor sequential workloads; dat kan ik niet verklaren. Wellicht is er een issue waarbij de read-ahead / write buffering van beide OS (je host OS en de virtualiatie OS) een rol speelt. Geef je de disks ruw door aan de VM, of maak je gebruik van een file container? In dat geval zit je met een driedubbele overhead (host filesystem, VM container filesystem, guest filesystem).

[Wim-Bart]

Het is gewoon een NTFS volume waarop vhdx-en aangemaakt zijn. Ik heb het gevoel dat er minder "delay" is bij lees en schrijfacties. Om een voorbeeld te geven:

4 VM's Windows Update draaien, 23 updates (na een paar maanden geen update), deed met NCQ een kleine 3,5 uur, na uitzetten van NCQ op de disks deden de overige 4 VM's er iets meer dan 2 uur over. Gewoon ontzettend veel verschil. Uitgangssituatie het zelfde, OS het zelfde, Updates ook het zelfde.

Gewoon extreem verschil. Ik merk het ook aan mij Exchange 2013 virtuele doos, responsiever met OWA.

[Verwijderd]

Consumenten disks doen het over het algemeen ook niet zo goed met NCQ. Server disks is een ander verhaal - die zijn ontworpen voor hoge queue depths. Dat is hoe jij de schijven nu gebruikt.

NTFS is ook... ouderwets. Maar dat is een ander verhaal.

[Wim-Bart]

Verwijderd schreef op dinsdag 15 juli 2014 @ 22:59:
Consumenten disks doen het over het algemeen ook niet zo goed met NCQ. Server disks is een ander verhaal - die zijn ontworpen voor hoge queue depths. Dat is hoe jij de schijven nu gebruikt.

NTFS is ook... ouderwets. Maar dat is een ander verhaal.

NFTS will do the job. Heb met een ZFS machine getest, maar dat is dus extra hardware en in een VM draaien is weer extra resources die je anders kan inzetten.

Heb als test eens gekeken naar ZFS als VM in mijn server, onder ESX en onder Hyper-V (met disks rechtstreeks doorgegeven aan de VM). Maar om een beetje gelijkwaardige performance te halen, met deduplicatie, was ik al 16GB kwijt voor de ZFS machine. En om er een fysieke machine naast te plaatsen, te veel werk en onderhoud.

[Verwijderd]

ZFS in een VM is ook als een gouden bestek voor het personeel - verkeerd besteed.

Maar je moet zelf je afwegingen maken. Het verhaal over NCQ is denk ik heel simpel; je disks zijn hier niet voor geoptimaliseerd.