Welke Hypervisor kan ik het beste nemen?

[dion_b]

Even dit topic mogelijk misbruiken voor een "welke hypervisor?"-vraag. Het gaat niet om thuisgebruik, daarom stel ik de vraag ook niet in Het grote thuis-virtualisatie topic

Voor een standalone testserver zoek ik de beste virtualization-oplossing. Doelstelling is om beide endpoints voor performance tests die ik met IxChariot en iperf uitvoer op zelfde fysieke machine te combineren. Alles draait dus om de netwerkverbindingen. Storage is minimaal aanwezig en backups gebeuren extern. Enige bijkomende is een testapparaat dat via USB-aansluitingen aangestuurd wordt. Het is een totaal standalone-apparaat met eigen netwerk (omdat veel van de devices die getest worden routers zijn en eigen netwerken opzetten).


Hardware:
Supermicro X10SDV-4C+-TP4F moederbord met embedded Xeon D-1518 (4 cores, 8 threads)
- ondersteunt VT-x
- ondersteunt VT-D
- 2x PCIe 10GbE (Intel X522) SFP+, ondersteunen FLR, dus PCI passthrough
- 2x PCIe 1GbE (Intel), ondersteunen FLR, dus PCI passthrough
16GB RAM
256GB NVME SSD en 2TB HDD
Metageek Wi-Spy (USB 2.0)
Testapparaat met 2x USB aansturing.


Guest OSsen:
1x Windows 7 Enterprise 64b, ~4GB RAM required
1x IxChariot 9.x (=RedHat-based x86_64 Linux),
1x Ubuntu server 64b
(en mogelijk nog een Linux-based VM)

Functionele requirements:
- >2.5Gbps TCP throughput op de Ubuntu server en ofwel de Windows 7 (nu) danwel IxChariot 9.0 VM (later) guests.
- USB toegang voor de Windows guest

USB passthrough kan op erg veel hypervisors. Maar >2.5Gbps TCP throughput voor een guest OS is lastiger en vereist voorzover ik het kan zien dat de device rechtstreeks door de guest aangesproken wordt dmv PCI passthrough. Dan wordt het lijstje opties iets korter. Ik vind:

- KVM (op Linux, bijv Ubuntu Server)
- Virtualbox (op Linux, bijv Ubuntu Server)
- Vmware ESX/Vsphere Hypervisor
- Xen (waarbij het schijbaar zowel met hvm als pv kan)

Allevier blijken standalone gratis te gebruiken. Nu heb ik mondjesmaat ervaring met Vmware en Virtualbox, maar onvoldoende om een uitgesproken voorkeur voor of tegen een van de twee te hebben. Eenvoud in de boel (incl PCI passthrough!) aan de praat krijgen vind ik belangrijker dan gemak in het beheer (want zoals gezegd standalone install), al ben ik prima in staat tot bijv hercompileren van een kernel indien echt nodig.

Vragen:
1) klopt het dat op de genoemde vier PCI passthrough (met correcte hardware) mogelijk is - en ben ik geen andere opties vergeten?
2) ik ga er voor het gemak vanuit dat de performance die ik over PCI passthrough haal met guestOS hetzelfde zal zijn (aangezien host OS/hypervisor niets meer doet met de device). Klopt deze aanname wel of zijn er significante verschillen te verwachten?
3) ervan uitgaande dat er meerdere opties zijn die PCI passthrough aankunnen en degelijke prestaties leveren, welke is waarschijnlijk de meest eenvoudige qua initiele configuratie om dat voor elkaar te krijgen?

[FireDrunk]

Bedoel je echt 2.5Gb/s? Want dat is niet zo heel moeilijk hoor? Moderne systemen, met (VMware) vmxnet3 of (oVirt, RHEV, Proxmox, KVM etc) virtio netwerk, halen dat prima?

Voor die 2.5Gb/s heb je echt geen Passthrough nodig.

Kijk eens naar Proxmox icm KVM images (geen containers), en zet VirtIO Multiqueues aan.
Dan gaat het erg hard
Ook nog belangrijk, is het 2.5Gb/s over 1 TCP connectie, of meerdere? Want dat maakt uit (vooral icm multiqueues).

EDIT:
Net voor de lol even een testje gedaan op 1 van onze productie machines:

[root@*knip* ~]# iperf -c *knip*
------------------------------------------------------------
Client connecting to *knip*, TCP port 5001
TCP window size:  298 KByte (default)
------------------------------------------------------------
[  3] local 172.29.8.123 port 35448 connected with 172.29.8.95 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  34.4 GBytes  29.5 Gbits/sec

Dit is op Proxmox 4.4 met VirtIO zonder Multiqueues.

[ Voor 38% gewijzigd door FireDrunk op 15-08-2017 11:43 ]

[dion_b]

FireDrunk schreef op dinsdag 15 augustus 2017 @ 11:40:
Bedoel je echt 2.5Gb/s? Want dat is niet zo heel moeilijk hoor? Moderne systemen, met (VMware) vmxnet3 of (oVirt, RHEV, Proxmox, KVM etc) virtio netwerk, halen dat prima?

Voor die 2.5Gb/s heb je echt geen Passthrough nodig.

Kijk eens naar Proxmox icm KVM images (geen containers), en zet VirtIO Multiqueues aan.
Dan gaat het erg hard
Ook nog belangrijk, is het 2.5Gb/s over 1 TCP connectie, of meerdere? Want dat maakt uit (vooral icm multiqueues).

Wens is >2.5Gbps over enkele connectie, maar in praktijk testen we zelfs op een fractie van deze snelheden met minstens 5 en ik verwacht nog meer te gebruiken voor hogere bandbreedtes (puur met iperf prutsend zag ik al rond de 900Mbps verschil tussen 5 en 10)

EDIT:
Net voor de lol even een testje gedaan op 1 van onze productie machines:

[root@*knip* ~]# iperf -c *knip*
------------------------------------------------------------
Client connecting to *knip*, TCP port 5001
TCP window size:  298 KByte (default)
------------------------------------------------------------
[  3] local 172.29.8.123 port 35448 connected with 172.29.8.95 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  34.4 GBytes  29.5 Gbits/sec

Dit is op Proxmox 4.4 met VirtIO zonder Multiqueues.

Niet slecht

Volgens mij ga ik eens naar Proxmox kijken. Had het in eerste instantie links laten liggen omdat het me vooral een beheersomgeving (a la vSphere) leek, niet zozeer iets toevoegends op nuts & bolts-niveau. Maar als dit out-of-the-box haalbaar is voldoet het iig aan de eisen mbt performance en gemak...

Tnx

[Hero of Time]

Het grote welk OS ( bijvoorbeeld linux distro) topic deel 8 is bedoelt voor desktop OS vragen. Server Software, zoals een Hypervisor, hoort in SWS. Ik heb daarom de reacties afgesplitst. Denk hier de volgende keer even aan.

[FireDrunk]

@dion_b Dit is wel lokaal binnen de host, ik durf op dit tijdstip even geen cross host bench te doen, maar ik verwacht ~9.5Gb/s. Bij het inspoelen van deze clusters hebben we dat namelijk al eens eerder tussen hosts getest, en kwamen we op ~9.8Gb/s

[dion_b]

Heb Proxmox erop gezet en een eerste guest VM geinstalleerd (de Ubuntu server bak). 10GbE heb ik nog niet aan de praat (want nog niets om tegenaan te praten), maar op de 1GbE haal ik met Virtio een strakke 943Mbps met een enkele TCP thread naar m'n oude iperf server. Begin is in ieder geval goed