[ESXi] Netwerk traag tussen guests

[ThinkPad]

Hoi,

Thuis een servertje draaien met ESXi Free erop (5.1). Nu viel het mij laatst op dat bestandsoverdracht tussen 2 VM's via een gedeelde Windows map niet heel erg snel ging (24 - 30 MB/s)

Nu ging ik net eens iperf draaien, en het netwerk onderling is gewoon supertraag.... Hoger dan een 150 - 230Mbit heb ik nog niet gezien...

Hoe los ik dat op? Ik zie hier dat iemand 11.3Gbit loopt te pompen onderling, maar ik kom daar niet eens in de buurt

Opsomming:

• 1x Server 2012 VM, VMXNET3
• 2x Windows 8 VM, VMXNET3
• Allen op zelfde vSwitch
• Allen 10.0Gbps link geven ze aan
• Allen hebben VMWare tools geinstalleerd

Heb de iperf instellingen gewoon default , op de server "iperf -s", en op de client "iperf -c <ip>". Van een W8 VM iperf server maken, en dan vanaf S2012 meten geeft zelfde resultaat: tussen de 150 - 230Mbit.

Van mijn fysieke desktop naar een van de virtuele machines is het ook maar 212Mbit (terwijl ik wel Gbit overal in huis heb lopen )

Heb al wat op internet rond zitten lezen, maar weet niet goed waar ik moet beginnen. Heb de netwerkconfiguratie in ESXi gewoon standaard gelaten, dingen als teaming/jumbo frames heb ik dus niet aangepast.

[ Voor 45% gewijzigd door ThinkPad op 25-09-2013 00:59 ]

[sanfranjake]

Heb je VMCI-device aan staan op die vm's? Zonee zet dat eens aan (eigenschappen per vm te activeren) en kijk of je snelheid dan toeneemt.

[ThinkPad]

Nee, die optie stond niet aan. Heb het nu bij een aantal VM's aangezet.

Vreemde is wel dat ik net (voor ik jouw bericht las) nog even weer een testje draaide, en toen was hij ineens 700 - 800Mbit... Net echter weer 212Mbit... snap er niks van. Dat is van Server 2012 naar W8. Op Server 2012 stond VMCI aan.

Tussen twee W8 VM's met beiden VMCI ingeschakeld is het ook maar 384Mbit... Met Jumbo Frames (9000) aan is het 1.08 Gbits/sec. Is dat een normale snelheid?

[ Voor 9% gewijzigd door ThinkPad op 25-09-2013 10:22 ]

[Oid]

Heb het net ook eens getest thuis, haal 6.29 Gbits/s tussen 2x 2012 VM's, geen tuning of VMCI.

wat voor hardware gebruik je?

[hans_lenze]

Ik kom hier op 85 - 120 Mbit/s tussen een 2012 en een 2008R2 VM. Beide met een VMXnet3 adapter dus dat valt me nogal tegen.

Edit: nog wat heen en weer geprobeerd en het lijkt er op dat ik van 2008R2 naar 2012 rond de 300Mbit/s haal en van 2012 naar 2008R2 zo'n 10,8Mbit/s. Vaag...

[ Voor 39% gewijzigd door hans_lenze op 25-09-2013 11:03 ]

[FireDrunk]

Heb je de VM's meerdere vCPU's gegeven? Ik heb vaak betere tests als ik ze maar 1 vCPU geef. (Zit een lang technisch verhaal achter waarom, maar dat is even niet relevant).

[hans_lenze]

Beide 1 vCPU en verder geen resources in gebruik op de host. Geen overprovisioning van CPU of geheugen. Wel op poeptrage storage.

[ThinkPad]

Oid schreef op woensdag 25 september 2013 @ 10:33:
Heb het net ook eens getest thuis, haal 6.29 Gbits/s tussen 2x 2012 VM's, geen tuning of VMCI.

wat voor hardware gebruik je?

Zulk soort waarden verwachtte ik ook.

Hardware:

• Intel G620 processor
• DH67BL
• 16GB RAM
• WD 5000AAKS (500GB 3.5" SATA) waar de VM's op staan
• Samsung HD203WI 2TB schijf voor extra opslag (hangt aan S2012 via RDM)
• ESXi 5.1

Wel aangepaste ISO zodat de Intel 82579V op m'n moederbord gebruikt kan worden. Maar dat staat er los van, aangezien het om de snelheid tussen 2 VM's gaat, en niet met een losse fysieke machine..

Je kunt blijkbaar ook een loop test doen (in ene cmd venster de server draaien, nog een cmd venster de client, en dan verbinden met 127.0.0.1). Dan kom ik op waarden tussen 700Mbit - 1Gbit. Wat mij wel opvalt is dat de CPU gelijk 100% belast is. Dat vind ik erg raar, als ik hetzelfde doe op m'n laptop kom ik maar tot 44% CPU belasting. Troughput is dan 1.75Gbit.

M'n VM's hebben allen maar 1vCPU, aangezien dit best practice is (bij meerdere vCPU's heb je kans dat de boel vertraagt omdat je VM moet wachten tot er voor de tweede CPU ook cycles vrij zijn op de host).

Mijn storage is ook niet bloedsnel, het is een gewone 3.5" SATA schijf die met HD Tune rond de 80MB/s read deed geloof ik. Maar met iperf test je het toch los van de storage?

[ Voor 15% gewijzigd door ThinkPad op 25-09-2013 11:40 ]

[hans_lenze]

Hier een zelfde verhaal: rond de 3Gbit/s bij een loop test. CPU schiet ook naar 100% tijdens de test met twee iperf.exe processen die alle CPU cycles op eten.

[FireDrunk]

Ik heb het ook wel eens gehad, maar ik weet eerlijk waar niet meer waardoor het kwam. Onder FreeBSD mis je MSI/MSI-X als je VT-d gebruikt (dat krakt) en PVSCSI en VMXNET3 gebruiken beide MSI/MSI-X voor zover ik weet.

Maar onder Windows zou dat allemaal geen probleem moeten zijn.

[HyperBart]

ThinkPadd schreef op woensdag 25 september 2013 @ 10:01:
Nee, die optie stond niet aan. Heb het nu bij een aantal VM's aangezet.

Vreemde is wel dat ik net (voor ik jouw bericht las) nog even weer een testje draaide, en toen was hij ineens 700 - 800Mbit... Net echter weer 212Mbit... snap er niks van. Dat is van Server 2012 naar W8. Op Server 2012 stond VMCI aan.

Tussen twee W8 VM's met beiden VMCI ingeschakeld is het ook maar 384Mbit... Met Jumbo Frames (9000) aan is het 1.08 Gbits/sec. Is dat een normale snelheid?

Neen, 1Gbit is magertjes. Maar hoe is je algemene CPU belasting? Ik weet dat VMXNET3 echt wel zwaar kan gaan trekken aan je CPU

Iperf is compleet los van storage, dus wat er onder steekt boeit niet zo veel.

Ik heb niet echt te klagen, dan doe ik nog geen tweaks met sizes die over het lijntje gaan of whatever, gewoon standaard, en af en toe met wat meer threads of over een lagere periode van tijd.

------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[  4] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54295
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  5.60 GBytes  4.81 Gbits/sec
[  5] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54296
[  4] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54297
[  6] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54298
[  7] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54299
[  4]  0.0- 5.0 sec   346 MBytes   580 Mbits/sec
[  7]  0.0- 5.0 sec   750 MBytes  1.25 Gbits/sec
[  6]  0.0- 5.0 sec  1.23 GBytes  2.10 Gbits/sec
[  5]  0.0- 5.1 sec  1.59 GBytes  2.67 Gbits/sec
[SUM]  0.0- 5.1 sec  3.89 GBytes  6.54 Gbits/sec
[  8] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54301
[  4] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54302
[  5] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54303
[  6] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54304
[  8]  0.0-10.0 sec  1.06 GBytes   907 Mbits/sec
[  6]  0.0-10.0 sec  2.81 GBytes  2.41 Gbits/sec
[  4]  0.0-10.0 sec  2.24 GBytes  1.92 Gbits/sec
[  5]  0.0-10.0 sec  1.57 GBytes  1.35 Gbits/sec
[SUM]  0.0-10.0 sec  7.68 GBytes  6.58 Gbits/sec
[  7] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54305
[  4] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54306
[  5] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54307
[  6] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54308
[  8] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54309
[  9] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54310
[ 10] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54311
[ 11] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54312
[  5]  0.0-10.0 sec  1.10 GBytes   946 Mbits/sec
[  8]  0.0-10.0 sec  1.02 GBytes   874 Mbits/sec
[ 10]  0.0-10.0 sec   878 MBytes   736 Mbits/sec
[  9]  0.0-10.1 sec   682 MBytes   569 Mbits/sec
[  7]  0.0-10.1 sec   767 MBytes   638 Mbits/sec
[  4]  0.0-10.1 sec  1.31 GBytes  1.12 Gbits/sec
[  6]  0.0-10.1 sec  1.11 GBytes   946 Mbits/sec
[ 11]  0.0-10.3 sec  1.52 GBytes  1.27 Gbits/sec
[SUM]  0.0-10.3 sec  8.34 GBytes  6.94 Gbits/sec
[ 12] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54313
[  4] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54314
[  5] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54315
[  6] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54316
[  7] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54317
[  8] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54318
[  9] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54319
[ 10] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54320
[  5]  0.0-15.0 sec  1.41 GBytes   806 Mbits/sec
[  7]  0.0-15.0 sec  1.10 GBytes   628 Mbits/sec
[  8]  0.0-15.0 sec  2.26 GBytes  1.29 Gbits/sec
[ 12]  0.0-15.2 sec   618 MBytes   340 Mbits/sec
[  6]  0.0-15.2 sec  1.63 GBytes   919 Mbits/sec
[ 10]  0.0-15.2 sec  2.50 GBytes  1.41 Gbits/sec
[  9]  0.0-15.3 sec  1.24 GBytes   697 Mbits/sec
[  4]  0.0-15.5 sec  1.63 GBytes   899 Mbits/sec
[SUM]  0.0-15.5 sec  12.4 GBytes  6.84 Gbits/sec
[ 11] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54322
[  4] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54323
[  5] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54324
[  6] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54325
[  7] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54326
[  8] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54327
[  9] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54328
[ 10] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54329
[ 12] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54330
[ 13] local 192.168.4.25 port 5001 connected with 192.168.4.60 port 54331
[  7]  0.0-15.0 sec  1.09 GBytes   625 Mbits/sec
[ 10]  0.0-15.1 sec  1.93 GBytes  1.10 Gbits/sec
[ 13]  0.0-15.1 sec  1.13 GBytes   643 Mbits/sec
[  8]  0.0-15.2 sec  1.31 GBytes   740 Mbits/sec
[  9]  0.0-15.3 sec  1.22 GBytes   684 Mbits/sec
[ 12]  0.0-15.3 sec   771 MBytes   422 Mbits/sec
[  5]  0.0-15.3 sec   524 MBytes   287 Mbits/sec
[  6]  0.0-15.4 sec  1.30 GBytes   728 Mbits/sec
[  4]  0.0-15.4 sec  1.34 GBytes   746 Mbits/sec
[ 11]  0.0-15.4 sec  1.49 GBytes   828 Mbits/sec
[SUM]  0.0-15.4 sec  12.1 GBytes  6.73 Gbits/sec

Dit is gemeten vanaf een Windows 2012 R2 machine richting een Ubuntu 13.04 dacht ik.


Tussen 2 Windows 2012 R2 machines:

------------------------------------------------------------
Client connecting to 192.168.6.20, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[224] local 192.168.6.250 port 54380 connected with 192.168.6.20 port 5001
[240] local 192.168.6.250 port 54382 connected with 192.168.6.20 port 5001
[192] local 192.168.6.250 port 54376 connected with 192.168.6.20 port 5001
[232] local 192.168.6.250 port 54381 connected with 192.168.6.20 port 5001
[216] local 192.168.6.250 port 54379 connected with 192.168.6.20 port 5001
[200] local 192.168.6.250 port 54377 connected with 192.168.6.20 port 5001
[208] local 192.168.6.250 port 54378 connected with 192.168.6.20 port 5001
[248] local 192.168.6.250 port 54383 connected with 192.168.6.20 port 5001
[ ID] Interval       Transfer     Bandwidth
[200]  0.0-15.0 sec  1.68 GBytes   965 Mbits/sec
[248]  0.0-15.0 sec  1.37 GBytes   784 Mbits/sec
[240]  0.0-15.0 sec  1.47 GBytes   841 Mbits/sec
[208]  0.0-15.0 sec  1.30 GBytes   742 Mbits/sec
[216]  0.0-15.0 sec  1.28 GBytes   732 Mbits/sec
[192]  0.0-15.0 sec  1.81 GBytes  1.04 Gbits/sec
[232]  0.0-15.0 sec  1.63 GBytes   934 Mbits/sec
[224]  0.0-15.0 sec  1.57 GBytes   901 Mbits/sec
[SUM]  0.0-15.0 sec  12.1 GBytes  6.94 Gbits/sec

Prima snelheden in mijn ogen dus .

Uiteraard allemaal over VMXNET3.


Het is natuurlijk wel zo dat CPU redelijk fel belast wordt. Het klinkt misschien als een long shot, maar kan het zijn dat je CPU gewoon de bottleneck is?

[ Voor 6% gewijzigd door HyperBart op 25-09-2013 13:34 ]

[chaoscontrol]

Heb je niet gewoon teveel IO op dat flauwe sata schijfje?

[ThinkPad]

IO is niet van toepassing, aangezien iperf daar los van staat.

M'n Windows machines hebben schijven met PVSCSI controller, en VMXNET3...
CPU load gemiddeld is 28% ofzo (gekeken in vSphere en dan bij Performance). En het is een G620, geen Pentium 2 ofzo.... Deze CPU is vergelijkbaar met een i3, dan moet hij toch wel wat hoger kunnen qua snelheid?

[ Voor 9% gewijzigd door ThinkPad op 25-09-2013 14:52 ]

[FireDrunk]

Probeer eens een vSwitch aan te maken zonder fysieke adapter en test daar eens mee.

[redfoxert]

Volgens mij heb je geen vSwitches (of extra) in ESXi Free ... maar daar kan ik me in vergissen. Heb alleen licensed ESX dozen in beheer

[FireDrunk]

Ja hoor, dat heb je allemaal.

[ThinkPad]

FireDrunk schreef op woensdag 25 september 2013 @ 16:08:
Probeer eens een vSwitch aan te maken zonder fysieke adapter en test daar eens mee.

Dat heb ik net gedaan. Even statisch IP adres ingesteld en in gateway en DNS veld verwezen naar de andere VM (en vice versa). Pingen lukt dan niet, maar iperf wel (met als adres het statische adres, dus het loopt wel via die vSwitch lijkt mij).

Resultaat is dan tussen 620 - 850Mbit per meting. CPU op de VM loopt behoorlijk dicht (geen 100% overigens zoals bij de vorige metingen op de andere vSwitch), rond de 88%. Load op de host schiet naar 67%

Dit is zonder jumbo frames op de vSwitch... Beiden VMXNET3. Ook nog even met beiden E1000E geprobeerd, dan zijn de resultaten vergelijkbaar.

Vind het allemaal maar erg vreemd.

[ Voor 68% gewijzigd door ThinkPad op 25-09-2013 23:30 ]

[Wim-Bart]

Hier op Hyper-V (2012R2) tussen 2x 2012 VM, beide VM's 2048 MB, 1 Core.

Variërend tussen de 2,04 Gb/s (laagste) en 8,12 Gb/s (hoogste) met een gemiddelde van 5,72 Gb/s over een periode van 30 minuten met Iperf 32-bit, maar niet stabiel, 1 machine is AD+DNS+WINS, andere is FS met 4 TB disk provisioning. Net zoals ik bij anderen lees is de snelheid niet constant.

Hardware is AMD 8120 met Hyper-V op powersave schema en 12 cores uitgedeeld tussen een aantal Windows 2012 VM's (inclusief exchange 2013) en 1 Windows XP en 1 Windows 7 werkplek.
DC, FS, IS = 3 cores
EXCH = 4 cores
SQL = 2 cores
XP = 1 core
Win 7 = 2 cores

Memory van host, 30 GB van de 32 GB uitgedeeld. En geen Jumbo Frames.

[FireDrunk]

Vaag idd. Heb je aan de power instellingen gerommeld? C-states/p-states? Zet je power settings eens op high performance, reboot en probeer het nog eens.

[KillerAce_NL]

Ik zie dat je topic verandert van opzet:
Eerst heb je het over langzame bestandsoverdracht tussne vm's en vervolgens over netwerktroughput met iperf. Zijn wel 2 verschillende dingen. Je netwerk is snel zat voor die bestandsoverdracht, dus de oorzaak daarvan zal eerder in je sata disk liggen. Van vmdk naar vmdk op 1 disk, betekent simultane reads en writes, daar is een standaard sata diskje nou eenmaal niet zo goed in.

Staar je aub niet blind op de netwerk throughput. Het is een instapbakje, wat wil je daarvan verwachten ?

[ThinkPad]

Dat is waar, de snelheid met kopieren zal waarschijnlijk tegen de max. van de disk aan hangen. Maar dat iperf zo langzaam is snap ik niet.

Al bedenk ik me wel (door de opmerking van FireDrunk) dat ik de power instellingen e.d. heb aangepast in ESXi, misschien dat het daardoor komt. Zal eens proberen wat het voor verschil uitmaakt als ik hem terugzet op "Balanced".

[ Voor 12% gewijzigd door ThinkPad op 26-09-2013 08:58 ]

[Question Mark]

ThinkPadd schreef op woensdag 25 september 2013 @ 22:38:
[...]
Dat heb ik net gedaan. Even statisch IP adres ingesteld en in gateway en DNS veld verwezen naar de andere VM (en vice versa). Pingen lukt dan niet, maar iperf wel (met als adres het statische adres, dus het loopt wel via die vSwitch lijkt mij).

Het lijkt mij dat je 100 procent zeker wilt weten of het via je nieuw aangemaakt vswitch verloopt. Bind je virtuele nic's eens alleen aan die nieuw aangemaakte vswitch, dan weet je zeker dat al het verkeer over die vswitch loopt.

Test verder ook eens met uitgeschakelde anti-virus.

[ThinkPad]

Dat heb ik gedaan. Heb voor de zekerheid m'n andere NIC (die verbonden is met de default vSwitch).

Virusscanner heb ik er niet op staan

Denk wel dat de power settings uitmaken, nu hij terug is gezet op "Balanced" haal ik rond de 1,43Gbit/s per meting.

Hij is nu een stuk constanter lijkt het (sowieso iedere keer boven de 1,2Gbit/s). Dat is met een TCP window size van 64k. Wanneer ik hem tussen de 1 - 10M instel gaat hij richting de 2Gbit/s.

Denk dat die power options het grootste euvel was. Dat is overigens naar een W2012 VM, zonder VMCI ingeschakeld (kon die machine niet rebooten omdat hij nodig was). Dus VMCI maakt in deze niet zo heel veel uit waarschijnlijk.

[ Voor 75% gewijzigd door ThinkPad op 26-09-2013 09:10 ]

[FireDrunk]

Zet hem dan eens op High Performance, want ik verwacht dat je dan eerder richting de 5-6Gb/s gaat.

[ThinkPad]

Mmm dat valt tegen, hij gaat dan richting de 2,3 / 2,4Gbit/s. Wat is de ideale TCP Window Size om mee te testen? die 2,3 / 2,4 is tussen de 5 en 100M.

[FireDrunk]

64k gok ik.