10gb performance probleem

[iceman33]

Ls,

Ik heb een erg vreemd probleem met de snelheid van mijn 10Gb netwerk.

Server 1:
HP Proliant DL380G8 (18 * 600GB RAID 60, 7 * 4TB voor data RAID 50, 128GB MEM)
2GB FBWC
2 * Mellanox 10GB kaarten, 1 voor hyper-V, 1 naar een 10GB switch (DXS-1210-12SC).

Server 2:
HP Proliant ML350G6 (8 * 500 RAID 50, P410i 512MB cache, 4 *2TB LSI met cache, 32GB MEM)
Dual HP 10Gb kaart (1 x passtrough naar de Windows 10 VM).

Op server 1 draait Windows 2016 Server essentials. Hier draai ik met hyper-V een windows 10 VM op.
Op server 2 draait ESXi 5.5u3 met een windows 10 VM.

Als ik vanuit de ESXi VM een copy start van of naar de Windows 2016 Server dan haal ik maximaal 1Gb down-/upload. iPerf geeft c.a. 5Gb/s aan.
Als ik vanuit de ESXi VM een copy start van of naar de Hyper-V-VM die op Windows 2016 server draait haal ik netjes 300-500Mb/s (zoals ik zou verwachten).

Beide servers hebben geen enkel performance probleem tijdens de Server 2 VM copy naar en van de Server 1. Toch blijft de snelheid steken op 115-120MB p/s (precies 1Gb).

Ik snap er niets meer van. Heb overigens niets met de MTU gedaan (zou ik op alle kaarten moeten zetten, incl. alle switches etc.).

Heb al geprobeerd met en zonder IPv6, zelfde resultaat.

Iemand suggesties wat het zou kunnen zijn?

[vso]

heb je de juiste drivers voor esxi gedownload / geinstallerd (of de HP esxi installer gedownload? ipv de normale)

https://www.google.com/se...&sourceid=chrome&ie=UTF-8

genoeg opties om je zelf eerst eens in te lezen

[Question Mark]

iceman33 schreef op woensdag 20 maart 2019 @ 18:41:
Server 1:
HP Proliant DL380G8 (18 * 600GB RAID 60, 7 * 4TB voor data RAID 50, 128GB MEM)
2GB FBWC
2 * Mellanox 10GB kaarten, 1 voor hyper-V, 1 naar een 10GB switch (DXS-1210-12SC).

Wat bedoel je met die laatste zin? Hoe zit je netwerkconfig en virtuele switchinrichting er nu precies uit?

Als het alleen maar fout gaat als je kopieert naar de host zelf, dan zou je virtual switchconfig eens controleren. En controleer meteen ff je bekabeling en interface speeds. Zou lullig zijn als het een brak kabeltje is.

[TommyboyNL]

Hoe is de boel aangesloten? Koper? Glas? DAC? Indien glas: wel SFP+ modules gepakt, en niet reguliere SFPs?

[iceman33]

@vso Ja, heb de HP custom image gebruikt voor ESXi, alles is correct herkend. Heb overigens vanuit een workstation met SSD een test gedaan naar Server 1 copy en dat gaat met 350MB/s download snelheid. Ook een copy gedaan vanaf de ESXi VM (gedeelde map) naar het workstation, dat gaat met zo'n 250-300MB/s. Allemaal met dezelfde config en dezelfde drivers.

Alleen Server1 naar VM op server2 gaat niet > 1Gb ps.

@Question Mark Er zitten in Server1 (Hyper-V 2016 server) 2 * 10Gb netwerk kaarten, 1 voor hyper-V (virtual switch voor de VM's), 1 voor overig verkeer en diensten (DHCP, data copy vanaf de shared folders, backup etc.). Zoals gezegd zou de virtual switch config goed moeten zijn, de Hyper-V VM kopieert met 300+ MB/s. Het is alleen de server zelf (dus interface 2, niet de hyper-V) naar 1 bepaalde client op ESXi 5.5 die gecapped is/lijkt. Maar andere clients kunnen wel goed van interface 1 kopiëren.

Kabels zijn goed, zijn allemaal CISCO SPF+ kabel van 3 meter (SFP-H10GB-CU3M) .

@TommyboyNL Ja, SFP+ kabels, zowel in de clients als de switch.

Vind het zo vreemd dat dit probleem het alleen voordoet bij de download vanaf de Server vanaf de ESXi client. Andersom is het geen probleem (Server1 vanaf ESXi client).

[iceman33]

Wellicht ook nog een goede toevoeging, beide servers zitten in hetzelfde rack en maken gebruik van dezelfde 10Gb switch.

[vso]

iceman33 schreef op donderdag 21 maart 2019 @ 09:06:
Wellicht ook nog een goede toevoeging, beide servers zitten in hetzelfde rack en maken gebruik van dezelfde 10Gb switch.

switch zelfde settings op de porten ?

[iceman33]

@vso Ja, en geven ook allemaal GROEN aan in de webconsole, dat wil zeggen dat het 10Gb full duplex is.

Ben nu een test aan het doen met een DL380G6 en esxi 6.0. Resultaten zal ik vanavond delen. Zelfde Mellanox kaart als in Server1.

[ Voor 39% gewijzigd door iceman33 op 21-03-2019 10:48 ]

[NaliXL]

Stomme vraag misschien, ik heb geen ervaring met RAID setup en netwerken in deze orde van grootte. Maar kan het zijn dat je W10 machine een sparse disk heeft? Dat deze VM wel heel snel bestanden kan lezen, maar dat je snelheidsbeperking zit in het feit dat de VM disk steeds uitgebreid moet worden wat het wegschrijven trager maakt?

[iceman33]

Goede vraag hoor, maar nee, ik heb de HDD (RAID 50) als EAGER ZEROED geformatteerd, daar is ie dan een paar uur mee bezig maar dan heb je de volledige grootte geformateerd. Het is ook niet echt een performance probleem, maar hij gaat gewoon niet over de 120MB ps. Hij blijft tussen de 112-116MB in een vlakke lijn, geen dips.

[Barreljan]

Gebruik je een E1000 netwerk adapter naar je VM's binnen ESXi? Die word ook afgeraden en je kan beter een VMXNET3 adapter gebruiken. Ik zou tweede adapter toekennen, Windows drivers laten ophalen/aanwijzen. Adapter weer weghalen de actieve aanpassen. Maar dat heb ik al eventjes niet gedaan dus ik zou daar de juiste tutorials voor lezen. Belangrijkste is dat je driver al op je systeem even staat.

Overigens, maar ignore if wanted; upgraden naar 6.5/6.7?

[iceman33]

@Barreljan Nee, ik gebruik al VMXNET3, zowel E1000 als E1000E zijn in principe 1Gb al kunnen ze virtueel een stuk hoger. De 10Gb adapter heb ik ook als PCI device passthrough gegeven. Hij geeft ook netjes 10Gb aan in Windows en als ik niet vanaf Server 1 download (maar bijvoorbeeld vanaf de Hyper-V-VM die op server 1 draait) gaat hij ook dik over de 1Gb heen.

[ Voor 1% gewijzigd door iceman33 op 21-03-2019 16:14 . Reden: Was @barreljan vergeten ]

[vso]

@iceman33 ik zou een pure cpu/ram test doen met read/write (ramdisk oid), wat @NaliXL zit zeker wel hout in.
Ik zou het niet vreemd vinden als de raidkaart of disks de uiteindelijke bottle neck blijkt te zijn
- probeer eerst uit te vinden of je disk(s) wel r/w performance halen die je verwacht
- als je genoeg ram hebt zou je ook met behulp van ramdisk(s) direct de transfer rate kunnen checken.
- draai desnoods de (patch)kabels om
- tune & tweaking guides/best practische er op nageslagen ?

Maak een lijst, en schrijf daarop de resultaten theorie en praktijk van elk "onderdeel" en waarmee je het test. handig als "bewijs" waarmee je bezig was/bent maar zorgt ook voor het hoe/waarom idee

ps ik heb een dergelijk onderzoek ooit gedaan, en soms sta je verbaast wat via de GUI/commandline/console nog extra geconfigureerd kan worden (geactiveerd) ..

en niet geheel onverstandig, zorg dat je elke actie ongedaan kan maken en elke test vanaf scratch te herhalen valt.. dus niet zomaar dat je 3 setting-wijzigingen doet en niet weet welke nu effect had dus reinstall van de host kan nodig zijn ..

[ Voor 3% gewijzigd door vso op 21-03-2019 16:18 ]

[iceman33]

@vso Maar hoe verklaar je dan de " normale" performance vanaf andere 10Gb VM's / workstation? Dan haalt hij op server2 wel 300-400MB. Dat kan niet als de RAID disk de bottleneck is.

Heb overigens alles al zo'n beetje gelezen over het onderwerp maar kom er niet uit op deze manier. Vandaar het forum om te kijken of wellicht iemand anders tegen hetzelfde / soortgelijk probleem is aangelopen.

[vso]

iceman33 schreef op donderdag 21 maart 2019 @ 16:21:
@vso Maar hoe verklaar je dan de " normale" performance vanaf andere 10Gb VM's / workstation? Dan haalt hij op server2 wel 300-400MB. Dat kan niet als de RAID disk de bottleneck is.

Heb overigens alles al zo'n beetje gelezen over het onderwerp maar kom er niet uit op deze manier. Vandaar het forum om te kijken of wellicht iemand anders tegen hetzelfde / soortgelijk probleem is aangelopen.

Verklaren kan ik niet daarvoor geef je te weinig informatie (oftewel wij hebben geen inzicht)
Je zal zelf moeten achterhalen (bewijzen) dat alles loopt zoals jij het vermoedelijke geconfigureerd hebt, op het forum kunnen we je alleen tips/advies geven hoe je dit kan checken.

Zoals ik eerder zij een lijst/tekening/flowchart/verwachting & realiteit maken met hoe je alles geconfigureerd hebt, en testen of dit klopt is daar belangrijk onderdeel van. en herhalen van deze tests op diverse momenten is ook belangrijk

je kan bv met je laptop en een switch monitoring tool kijken of het verkeer wat je eroverheen pompt ook in de port statistieken correct weergegeven word (of een andere poort gaat over zijn steiger)

de lijst zal je alleen maar helpen bij het identificeren, en je kan onderzoeken per onderdeel wat je kan monitoren.. soms betekend dat een stekker trekken, soms expres verkeerd configureren.

[ Voor 4% gewijzigd door vso op 21-03-2019 16:45 ]

[iceman33]

Als je kunt aangeven welke informatie je nog wilt hebben wil ik het graag geven. Toch zoek ik het zelf niet in de hoek van performance omdat server2 wel goed naar server1 kan kopiëren en server1 hyper-v-vm ook. Dus de netwerk setting moet dan wel goed staan, hij haalt namelijk in andere scenario's wel de juiste snelheid.

Alleen in de uitzondering (die ik graag wil gebruiken als directe back-up) van server1 naar VM op server2 lijkt hij gecapped. Beter kan ik het niet uitleggen ......

Nogmaals, als je wat meer info wilt of je wilt plaatjes zien van de netwerk setting in Hyper-V en-/of ESXi laat het me weten. Zou mooi zijn als het opgelost kan worden :-)

[ijdod]

TCP transmit window kan ook een rol spelen. Dat kan op verschillende platform en verschillende protocollen anders geconfigureerd zijn. Dat is de waarde die je in iperf met -w configureert.

[iceman33]

All, heb vandaag een upgrade gedaan van ESXi 5.5 naar 6.0u3 met precies dezelfde kaarten en settings een dat heeft het probleem opgelost. Nog niet optimaal maar via de switch toch zo'n 250 MB per seconde.

Iedereen super bedankt voor het meedenken.