802.1AD Link Aggregation icm Qnap en Vmware Vpsphere 5.1

[pitchdown]

Goedemiddag,
ik heb een lab-omgeving gebaseerd op Vmware Vsphere 5.1 met 2 hosts.
Beide hosts hebben 2 gigabit-porten die zijn gekoppeld aan Distributed Switch en geconfigureerd voor link aggregation.



Deze hosts zijn via 2 cat5e-kabels gekoppeld aan een HP Procurve switch 6108 die 3 trunks heeft voor link aggregation.


Trunk 1 = QNAP
Trunk 2 = HOST1
Trunk 3 = HOST2

Wanneer ik een speedtest doe en kijk binnen de QNAP-interface zie ik dat er maar 1 interface gebruikt word en dus maar "de helft" van de snelheid benut word :


Dit terwijl link aggregation aanstaat in de QNAP:



Ik heb al verschillende dingen geprobeerd binnen vmware, andere switch (had eerst een D-Link DGS 1100) en op de QNAP de trunk opnieuw aan te maken.
Dit alles zonder resultaat.

Heeft iemand enig idee wat hier mis gaat?

Alvast Bedankt

[pitchdown]

Wil graag het topic-naam corrigeren ! Hoe dit ik dat? :-)

[webfreakz.nl]

Dit is expected behavior.

Als je een Link Aggregate hebt (2x 1GbE link samenvoegen tot 2Gbps) dan kan je een enkele TCP/IP stream opzetten met een maximale snelheid van 1Gbps. Je kan dan wel een tweede stream opzetten die óver dezelfde interface gaat (onderwater een andere member-interface weliswaar) en die haalt ook 1Gbps.

Een enkele TCP/IP stream starten die een snelheid van 2Gbps haalt gaat je niet lukken, tenzij je een 10GbE adapter gebruikt (=duur), of FibreChannel (=duur) of wazige RoundRobin loadbalancing gaat doen met Linux.

[pitchdown]

webfreakz.nl schreef op zaterdag 22 september 2012 @ 14:52:
Dit is expected behavior.

Als je een Link Aggregate hebt (2x 1GbE link samenvoegen tot 2Gbps) dan kan je een enkele TCP/IP stream opzetten met een maximale snelheid van 1Gbps. Je kan dan wel een tweede stream opzetten die óver dezelfde interface gaat (onderwater een andere member-interface weliswaar) en die haalt ook 1Gbps.

Een enkele TCP/IP stream starten die een snelheid van 2Gbps haalt gaat je niet lukken, tenzij je een 10GbE adapter gebruikt (=duur), of FibreChannel (=duur) of wazige RoundRobin loadbalancing gaat doen met Linux.

Zou dit betekenen dat als ik 2 speedtest draaien naar 2 verschillende luns dat ik WEL traffic zie op beide interfaces?

[webfreakz.nl]

Welke member interface voor een bepaalde stream gekozen wordt hangt af van een hashing-algoritme.

Ervan uitgaande dat dit algoritme de andere member interface selecteert voor je tweede stream, dan: Ja.

[pitchdown]

Binnen vsphere is gekozen (zoals de documentatie aangeeft) op basis van iphash.
Zou deze traffic al zichtbaar moeten zijn als ik traffic vanaf 2 vm`s naar hetzelfde LUN uitvoer? of moet er echte data naar een andere lun worden gegenereerd?

[pitchdown]

Ook na het toevoegen van een extra lun zie ik het traffic nog steeds maar over 1 NIC gaan.
Netto haalt deze een snelheid maximaal rond de 90 MB.
Lijkt me dat er nog steeds iets niet goed gaat?

Daarnaast zie ik op 1 van de 2 interfaces op de switch ook minder traffic...

Hoe dit te fixen?

[webfreakz.nl]

Ik kan niet voorspellen wat de resultaten van het iphash algoritme gaan zetten, omdat ik je IP adressen niet heb en het algortime niet ga doen voor je

Wat ik zou doen is 2x Ubuntu Linux VM starten en het programma IPerf installeren, daarna je een paar fysieke computers op je switch aansluiten (PC + Laptop?) en ook daar IPerf op installeren. Dan kan je het gewoon testen zonder rekening te houden met wat het storage aspect hierin speelt.

Ik denk dat je het volgende eens moet lezen als je hier écht in wilt graven:

• http://kb.vmware.com/self...playKC&externalId=1007371
• http://longwhiteclouds.co...sh-or-load-based-teaming/
• http://frankdenneman.nl/2011/02/ip-hash-versus-lbt/
• http://frankdenneman.nl/2...nd-ip-hash-loadbalancing/

De eerste link bevat de IPhash formule.

Quote uit het tweede artikel:

Use Load Based Teaming unless you have no other option, and even then you should seriously consider not using Etherchannel and IP Hash Load Balancing. The complexity, increased overheads and lack of probable real world benefits make IP Hash a poor choice for most use cases.

[pitchdown]

Heb een test gedaan vanaf 2 fysieke w7-machines. Als ik dit uitvoer worden inderdaad beide interfaces aangesproken!

Wanneer ik dezelfde iscsi-luns aanspreek vanuit 2 vm`s gebeurd dat niet!
Gaat er toch iets mis in vmware?

[webfreakz.nl]

Zoals ze in http://kb.vmware.com/self...playKC&externalId=1007371 ook bespreken:

Change the IP for NFS2 from 10.0.0.22 to 10.0.0.21.

...

Now the IP-Hash algorithm returns a different result. IP-Hash now balances the outbound traffic across both vSwitch uplinks.

[pitchdown]

webfreakz.nl schreef op zaterdag 22 september 2012 @ 15:27:
Zoals ze in http://kb.vmware.com/self...playKC&externalId=1007371 ook bespreken:


[...]

Hier begrijp ik weinig van.
Dit zou toch wat makkelijker (en sowieso met vsphere 5.1) moeten kunnen?

[webfreakz.nl]

Verander eens het IP adres van 1 van je VMs naar een ander IP adres, en test daarna opnieuw. Mocht het niet werken, probeer een paar andere adressen.

[pitchdown]

webfreakz.nl schreef op zaterdag 22 september 2012 @ 15:33:
Verander eens het IP adres van 1 van je VMs naar een ander IP adres, en test daarna opnieuw. Mocht het niet werken, probeer een paar andere adressen.

Ik had de volgende ip-adressen van 2 vm`s

192.168.2.235
192.168.2.200

veranderd naar
192.168.2.236
192.168.2.200

daarnaast nog enkele adressen geprobeerd zonder resultaat.

Daaarnaast moet dit toch ook makkelijker kunnen lijkt me? Je kan toch niet alle ip-adressen van alle vm`s gaan wijzigen hiervoor?

Misschien zoals de link die je stuurde, vmware omzetten naar LBT?
Heb je daar ervaring mee?

[ Voor 25% gewijzigd door pitchdown op 22-09-2012 15:45 ]

[webfreakz.nl]

pitchdown schreef op zaterdag 22 september 2012 @ 15:37:
[...]
Ik had de volgende ip-adressen van 2 vm`s

192.168.2.235
192.168.2.200

veranderd naar
192.168.2.236
192.168.2.200

daarnaast nog enkele adressen geprobeerd zonder resultaat.

Als mijn berekeningen kloppen, dan zou dit wel geloadbalanced moeten worden.

Daaarnaast moet dit toch ook makkelijker kunnen lijkt me? Je kan toch niet alle ip-adressen van alle vm`s gaan wijzigen hiervoor?

Misschien zoals de link die je stuurde, vmware omzetten naar LBT?
Heb je daar ervaring mee?

Heb geen ervaring met VMWare ESX, maar kijk eens naar YouTube: VMware Load-Based Teaming (LBT) op 03:49 is het menu te vinden waar je *denk ik* moet zijn. Ik denk dat je daar voor "Route based on physical NIC load" moet kiezen, en http://pubs.vmware.com/vs...36-A0D7-1FAC528D0C58.html voor meer info.

Beetje zelf googlen mag ook wel

[Pauwl]

Als je lacp niet gebruikt voor redundancy kun je natuurlijk ook de 2 nics apart configureren en zo verbindingen opzetten naar de verschillende nics. Op die manier benut je altijd beide nics. Anders gaat je vmware host (1 ip) naar je target (ook 1 ip) en zal er altijd maar 1 fysieke nic benut worden. Met meerdere ip adressen op verschillende nics heb je dat probleem natuurlijk niet.

edit: je zou eens moeten zoeken op MPIO. Ik lees net dat de qnap multipath IO standaard ondersteund als je qnap meerdere ips heeft. Als je dus de interfaces los configureerd, en mpio op vmware aanzet, dan heb je dus nog steeds redundancy, en je beide nics zullen worden benut. Lijkt me een betere oplossing dan lacp imo.

zie bv http://files.qnap.com/new..._and_Citrix_XenServer.pdf (gaat wel over xenserver, maar onder vmware zal het niet veel anders gaan lijkt me).

[ Voor 42% gewijzigd door Pauwl op 22-09-2012 20:33 ]

[pitchdown]

Ik heb dit probleem aangepakt om iscsi Multi-pathing te gebruiken.
Zijn er nog meer mensen die dit gebruiken?

Welke performance halen jullie over 2 netwerkkaarten op basis van gigabit?

[pitchdown]

Middels Iscsi-multipathing haal ik inmiddels de volgende snelheden:
Write : 70 MBs
Read : Ca. 100 MBs

Ik heb via verschillende fora`s gekeken of hier meer uit te halen valt, echter tot nutoe zonder resultaat.

Dingen die ik heb geprobeerd:
- Round Robin, Fixed, Most recently used (MRU werkt het beste)
- 2 ip-adressen op mn storage
- SSD plaatsen in storage --> Maximale performance 100/100 read/write

Waar ik nog over twijfel is :
- MTU

Zijn er mensen die eenzelfde soort inrichting hebben en welke snelheid halen jullie middels iscsi multi-patching?