Performance server blijft achter op verwachting

[Eagle Creek]

Hey Tweakers,

Graag jullie mening over het volgende. Ik laat bewust een aantal technische specs achterwege om de OP eenvoudig te houden maar op verzoek uiteraard beschikbaar. Ik hoop dat we zo samen gericht vraag > antwoord kunnen doen.

Situatie
Ik heb thuis een server draaien met meerdere VM's hierop. Ik merk echter dat (zeer waarschijnlijk) de disk performance achterblijft en voor mijn gevoel zou dit niet moeten. Echter, omdat ik onvoldoende referentie heb anders dan onderbuikgevoel en andere systemen graag jullie mening.

Voorheen maakte ik gebruik van een 4 7200 disks in RAID5 opstelling. De performance hiervan viel mij tegen en daarom heb ik besloten nu een andere set-up te kiezen. Echter valt de performance mij hier tegen alle verwachting in weer enorm tegen.

Systeem
Software
Server 2016 Hyper-V Hypervisor
+/- 8 clients, gemengd Linux, Windows 10, Windows 2016, Windows 2019

Hardware
Intel Core i5-3330 @ 3.0 Ghz
32 GB 1600 Mhz RAM
4x 2,73 TB, 7200RPM, SATA, ST3000DM001
2x 224 GB, SSD, SATA, WDC WDS240G2G0A

Configuratie
De disks zitten gezamenlijk in een Windows Storage Pool op het Hyper-V systeem. Hierbij als configuratie een Microsoft Tiered Storage Spaces (SSD + HDD), waarbij de HDD's feitelijk in een RAID10 zitten en de SSD's de tier aanvullen (ter info informatie YouTube: StoreMI: Why Tiered Storage is better than cache on x470/Zen+ and Th....

De SSD's zijn 100% opgenomen in de tier.

Omschrijving
Wat ik merk is zodra ook maar meer dan 3 VM's echt wat moeten doen (en dan bedoel ik meer dan achtergrondtaken maar Windows Update, software installeren, etc (zaken die ik testmatig eenvoudig trigger)) de performance enorm inzakt. De acties zelf duren enorm lang maar het hele OS wordt nauwelijks responsive. Iets eenvoudigs als een browser openen kost 30 seconden.

CPU-capaciteit lijkt er in overvloed. Zowel de VM als host zit niet aan de max. Voor RAM idem. Dit maakt dat ik naar disk kijk. Als ik daar performance van opvraag zie ik op de host een hoge belasting, die ik niet kan verklaren.

Als ik verhalen hoor van SAN-opstellingen waar op 16 disks weet ik hoeveel VM's probleemloos draaien (zij het profi SAN met 15K disks) kan ik mij niet voorstellen dat de 4x 7200+2x SSD al zo snel in de problemen komt.

Graag jullie suggestie voor een gedegen onderzoek.

[ Voor 3% gewijzigd door Eagle Creek op 07-04-2020 11:44 ]

[To_Tall]

Zonder specs kan je er niet iets zinigs over zeggen..

Heb je een Quadcore Pentium 4 4gh Processor??
Of heb je een vrij nieuwe processor??

Hoveel CPU's heb je aan de VM's gegeven?? Alle VMS mogen alle Cores gebruiken of elke VM mag maar 1 Core gebruiken?

Hoeveel Geheugen heb je uitgegeven?? als je overcommit kan het best zijn dat de perfomace inzakt.

Disks kunnen ook vertragende factor zijn...
Gebruik je software Raid of hardware Raid/

[ Voor 11% gewijzigd door To_Tall op 07-04-2020 11:25 ]

[Eagle Creek]

To_Tall schreef op dinsdag 7 april 2020 @ 11:23:
Zonder specs kan je er niet iets zinigs over zeggen..

Heb je een Quadcore Pentium 4 4gh Processor??
Of heb je een vrij nieuwe processor??

Hoveel CPU's heb je aan de VM's gegeven?? Alle VMS mogen alle Cores gebruiken of elke VM mag maar 1 Core gebruiken?

Hoeveel Geheugen heb je uitgegeven?? als je overcommit kan het best zijn dat de perfomace inzakt.

Ik zie ruimte op zowel CPU als geheugen. Beiden zitten niet aan de max. Om een voorbeeld te geven heb ik 3 systemen die feitelijk een kale installatie zijn, 4GB RAM, de VM's mogen alle cores gebruiken en bij gezamenlijke Windows Update omvallen.

For the sake of the argument ga ik zo meteen wel even inloggen en de OP bijwerken zodat je een beter beeld hebt. Dank voor jouw reactie.

[theblindman]

Specifiek van HyperV heb ik geen verstand, maar met RAID10 heb je lees- en schrijfprestaties van 2 schijven. Windows Update op 1 machine kan al makkelijk een harde schijf vol belasten, als je dat vervolgens 3x tegelijk doet, is het niet gek dat je weinig performance overhoudt.
Ik zou in de server een SSD voor de VM's plaatsen, dan ben je van je problemen af

[To_Tall]

Dat zegt niets..

Een 4Ghz Pentium 4 HT... zal een machine trager zijn dan op een Xeon E2226G

Terwijl de Pentium als de Xeon niet vol getrokken worden.

[Eagle Creek]

theblindman schreef op dinsdag 7 april 2020 @ 11:29:
Specifiek van HyperV heb ik geen verstand, maar met RAID10 heb je lees- en schrijfprestaties van 2 schijven. Windows Update op 1 machine kan al makkelijk een harde schijf vol belasten, als je dat vervolgens 3x tegelijk doet, is het niet gek dat je weinig performance overhoudt.
Ik zou in de server een SSD voor de VM's plaatsen, dan ben je van je problemen af

Ik had verwacht dat de aanwezigheid van 2 HDD's die volledig ter beschiking staan aan de cache dit probleem zouden oplossen.

[tweakict]

Het spul zit natuurlijk met software (RAID) aan elkaar geknoopt en dit hangt weer aan de CPU. De VM's maken hier ook weer gebruik van. In een meer profi omgeving zitten de disken aan een hardware (RAID) controller met eigen CPU's voor offloading van de berekeningen i.c.m. CACHE als buffer. Dit mis jij natuurlijk geheel.

Vraag; Hoeveel write-back cache heb je genomen bij de configuratie voor het tiered volume?

EDIT: Graag ook even overzicht posten van: Get-VirtualDisk | Select-Object FriendlyName, Size, WriteCacheSize

[ Voor 12% gewijzigd door tweakict op 07-04-2020 11:35 ]

[Eagle Creek]

To_Tall schreef op dinsdag 7 april 2020 @ 11:23:
Zonder specs kan je er niet iets zinigs over zeggen..

Specs van hardware zijn toegevoegd in OP.

To_Tall schreef op dinsdag 7 april 2020 @ 11:23:
Hoveel CPU's heb je aan de VM's gegeven?? Alle VMS mogen alle Cores gebruiken of elke VM mag maar 1 Core gebruiken?

Elk systeem heeft de configuratie:
Number of virt proc: 4
Virtual machine reserve: 0%
Virtual machine limit: 100%
Percent of total system resources: 100
Relative weight: 100

To_Tall schreef op dinsdag 7 april 2020 @ 11:23:Hoeveel Geheugen heb je uitgegeven?? als je overcommit kan het best zijn dat de perfomace inzakt.

Op dit moment geen overcomit. Alle systemen hebben géen Dynamic Memory, "gewoon" 4 GB en het totaal aantal guests opgeteld is 26 GB, dus de host heeft ruim voldoende voor zichzelf.

To_Tall schreef op dinsdag 7 april 2020 @ 11:23:
Disks kunnen ook vertragende factor zijn...
Gebruik je software Raid of hardware Raid/

RAID via Windows Storage Spaces, dus neem aan soft (er zit geen dedicated controller extra in het systeem).

[Eagle Creek]

tweakict schreef op dinsdag 7 april 2020 @ 11:32:
EDIT: Graag ook even overzicht posten van: Get-VirtualDisk | Select-Object FriendlyName, Size, WriteCacheSize

Size
6221260128256 (+/- 6.22 TB)

WriteCacheSize
1073731824 (+/- 1.07 GB)

Zou dit kloppen, dat lijkt me bijzonder weinig. Kan ik niet realteren aan de volledige SSD's die ter beschikking staan aan de tier?

[ Voor 23% gewijzigd door Eagle Creek op 07-04-2020 11:55 ]

[tweakict]

Eagle Creek schreef op dinsdag 7 april 2020 @ 11:50:
[...]

Size
6221260128256 (+/- 6.22 TB)

WriteCacheSize
1073731824 (+/- 1.07 GB)

Zou dit kloppen, dat lijkt me bijzonder weinig. Kan ik niet realteren aan de volledige SSD's die ter beschikking staan aan de tier?

Dit is exact de standaard (1 GB) van Microsoft.... Pas dit eens aan naar 16 GB en testen maar :-)

[Eagle Creek]

tweakict schreef op dinsdag 7 april 2020 @ 11:56:
[...]


Dit is exact de standaard (1 GB) van Microsoft.... Pas dit eens aan naar 16 GB en testen maar :-)

Ik kan dit lastig verklaren. Ik heb de huidige tier opgebouwd via de GUI. Je kunt hierin aangeven dat je een Tiered Storage Space wilt opbouwen en heb hierin gekozen voor 4x HDD en 2x SSD. De SSD moet hierin fungeren voor cache.

Staat dit los van de WriteBackCache die wij hier nu bespreken? Ik zou verwachten dat wanneer de WBC vol zit, hij overgaat op SSD. Dan nog zal ik straks de WBC verhogen om te testen máar gevoelsmatig mag dat niet het volledige verschil zijn. "Toch"?

Als ik bijvoorbeeld kijk naar: https://kallesplayground....r-2012-r2-storage-spaces/

New-VirtualDisk -StoragePoolFriendlyName “My Storage Pool” -FriendlyName TieredSpace -StorageTiers @($ssd_tier, $hdd_tier) -StorageTierSizes @(50GB, 300GB) -ResiliencySettingName simple -WriteCacheSize 2GB

Je specificeert niet de volledige SSD tier as WBC.

[ Voor 22% gewijzigd door Eagle Creek op 07-04-2020 12:01 ]

[citruspers]

Eagle Creek schreef op dinsdag 7 april 2020 @ 11:47:

Elk systeem heeft de configuratie:
Number of virt proc: 4
Virtual machine reserve: 0%
Virtual machine limit: 100%
Percent of total system resources: 100
Relative weight: 100

Probeer qua vCPU's eens 1 of 2 per VM, in plaats van 4. Op die manier geef je de scheduler een heel stuk meer ademruimte en hoeven multithreaded processen niet te wachten totdat alle 4 cores beschikbaar zijn.

Klinkt niet heel intuitief, maar zeker als je niet veel cores/threads op je host hebt wil het verlagen van de core count per VM nogal eens voor betere performance zorgen.

Qua achtergrondtaken is er trouwens ook de VMWare OS Optimization tool, deze zet een heleboel Windows zaken uit die niet relevant zijn voor VM's (accu status monitor, wifi enzovoorts). Pas hier wel mee op, sommige default configs zetten ook zaken als Windows update en dergelijke uit.

[ Voor 17% gewijzigd door citruspers op 07-04-2020 13:03 ]

[Q]

Het zou erg goed kunnen dat je storage spaces oplossing de bottleneck is. Maar tot nu toe is er nergens hard bewijs voor geleverd.

Je moet gaan kijken naar de gemiddelde 'latency' van je storage. Dit kan met Performance Monitor.

https://www.concurrency.c...g-disk-performance-issues

Met deze tool kun je tenminste testen / vergelijken of eventuele modificaties zin hebben gehad.

Wat je qua metric het beste kunt meten - voor jou relevant - per individuele disk:

Avg. Disk sec/Read (read latency in miliseconds)
Avg. Disk sec/Write (write latency in miliseconds)

Dus configureer je monitoring (zeg ook de periode van 100 seconde naar 999 seconde) en ga wat dingen doen.

Langdurige Latency read / write boven de 20 miliseconden is niet ok. wat hele korte spikes is minder erg.

Als we puur naar de harde schijf performance kijken en de SSDs negeren dan kunnen we wel snel helder zijn: een RAID10 van 4 x 7200 RPM disks is totaal onwerkbaar voor virtuele machines.

Reken maar mee max IOPS lezen is ~300 en schrijven 'slechts' 150 IOPS. Dus 8 VMs (als ik het goed begrijp) is gemiddeld <38 IOPS lezen en <18 IOPS schrijven per VM. Dat is effectief onbruikbaar.

Voor zover ik weet van storage spaces vraag ik me erg af of die Tiering wel real-time is. Zo niet, dan heb je er geen zak aan. De tiering draait af en toe / periodiek om dan de hot data op SSD te krijgen. Maar dan is het al te laat. Het is een tijdje terug dat ik met storage spaces en SSDs heb gespeeld.

Ik denk om eerlijk te zijn dat je waarschijnlijk beter af bent om die SSDs exclusief (in RAID 1?) in te zetten voor je VMs. Je kunt eventueel de DATA disks van de VMS op de RAID10 van de disks zetten, afhankelijk van de performance behoefte.

Dat een 16 disk SAN van 15K RPM schijven prima presteert is appels met fietsen vergelijken. Zelfs een 10.000 RPM schijf geeft al zo'n betere lees/schrijf performance ten opzichte van een consumenten 7200 RPM schijf, het is gewoon een andere wereld.

Maar laten we even rekenen. 16 x 15K disks = 16 x 180 IOPS = 2880 IOPS, steekt nogal af met wat je zelf er in hebt zitten. En schrijven gaat vaak nog veel harder, is mijn ervaring. Maar ik bedoel: 380 IOPS per VM is wel even een ander verhaal, lijkt me, als we het bovenstaande even met elkaar vergelijken.

[ Voor 47% gewijzigd door Q op 08-04-2020 17:18 ]

[Q]

Dit is voor 2012, maar hier heb ik trouwens hard bewijs dat het hele tiering verhaal niet real-time plaatsvindt:

https://docs.microsoft.co...in-windows-server-2012-r2

Storage tiers optimization is a two-part process, as shown below:
Over the course of the day, Storage Spaces creates a heat map of the data based on how often each piece of data is accessed. (1)
During its nightly run (at 1:00 a.m., by default), the Storage Tiers Optimization task moves the most frequently accessed ("hot") data to your faster solid-state drives (the SSD tier) and the "cooler" data to the less expensive hard disk drives (the HDD tier). (2)

Ik weet niet of dit ook voor 2016 en hoger geldt.

Dit wil niet zeggen dat tiering 'is slecht', maar geeft meer aan wat je er van moet verwachten.

[ Voor 6% gewijzigd door Q op 07-04-2020 23:59 ]

[Q]

@Eagle Creek ben je ooit nog wijzer geworden, wat heb je gedaan?

[Eagle Creek]

Ik kom er nog op terug! Zal de gestelde vragen beantwoorden.

[Eagle Creek]

Q schreef op donderdag 16 april 2020 @ 21:56:
@Eagle Creek ben je ooit nog wijzer geworden, wat heb je gedaan?

Ik ben er eindelijk aan toe gekomen om dit weer op te pakken. Er staan nu 3 VM's te updaten, dit zegt Taakbeheer.

De daadwerkelijke performancemeting zal ik vanavond doen.