[VMware] ESXI Server op basis van Ryzen 3600

[eheijnen]

Ik ben van plan om een ESXi server op basis van een Ryzen 3600 te bouwen.
Dit is als start gedacht, maar de mogelijkheid om deze later naar een Rijzen 5600 of hoger te upgraden is wenselijk.

Nu ben ik eerst eens gaan rondneuzen op het net maar heb eigenlijk relatief weinig info daarover gevonden, ook hier op het forum (wat ook een goed teken kan zijn). Behalve dan dat men aanraad om een Intel NIC te gebruiken als deze niet standaard op het mainboard zit.

Maar toch nog eens een draadje om te kijken wat de ervaringen/meningen zijn met dit platform i.c.m. ESXi.

Ik zoek een?
Ryzen 3600 i.c.m.
Een mainboard met twee M2 SSD aansluitingen.
4 Memory Slots
Mogelijkheid voor PCIe passthrough zodat er eventueel met een grafische kaart in VM's gewerkt kan worden.
2 PCIe slots is wenselijk als de onboard NIC niet compatibel met ESXi is.
Componenten liefst zonder RGB toestanden.

Wat is je budget?
N.v.t.

Heb je bepaalde (merk)voorkeuren?
Nee.

Specificeer het systeem en de omgeving waarin je het product gaat gebruiken.?
VMware ESXi 6.5 of hoger en zal naar nieuwere versies worden bijgewerkt over tijd.

[peligro2k]

Een beetje offtopic. Maar zelf wil ik gaan kijken naar een Asus PN50 om daar een zuinige esxi server van te maken. Deze heeft echter maar twee dimm slots en een enkel storage slot. Daarnaat ondersteunt esxi de nic niet, ik ga dan een usb netwerk adapter gebruiken.

[Praetextatus]

Misschien kun je hier wat meer informatie krijgen:

https://docs.vmware.com/e...39-BF76-E354679202FC.html

[eheijnen]

Meeste borden hebben een Realtek Nic.

Iemand van jullie hier ervaring mee ?
https://flings.vmware.com/usb-network-native-driver-for-esxi

Misschien dat er nog andere merken/types zijn die compatibel zijn met Esx 7.xx ....?

[franklee]

Ik heb hier al enige tijd een ryzen 3950x, 64 GB, onder esxi 7.0 draaien, met GPU en USB passthru. Heeft wat gedoe gekost maar draait eindelijk goed. Mobo: gigabyte aorus pro, netwerkchip is Intel en werkt direct.
Het heeft ook gewerkt in bijna dezelfde combi met een ryzen 2700 , alleen onder esxi 6.7
Het enige punt blijft dat de vm bij een warm restart op de USB passthru hangt. Is bekend probleem, even alle devices van de USB poort loskoppelen, en na de reboot weer aankoppelen. En het voordeel bij esxi 7.0 is dat je,bij de juiste bios setting, de passtrhu devices kunt activeren/de-activeren zonder reboot van de hele server zoals bij 6.7 het geval was.
Oja: dynamic overclocking werkt niet onder esxi, blijft op 3.5draaien tenzij je handmatig gaat overclocken. Doe ik niet, met 32 vCpu's en diverse vm's is stabiliteit en temp belangrijker dan een nog snellere machine. 1 vm staat met Nvidia en usb passtrhu en 14 cores 24/7 curecoin te draaien, probleemloos nu inmiddels. Niet voor het geld, rendement op curecoins < energiekosten, maar ook ivm het doel. En omdat het kan natuurlijk

[ Voor 78% gewijzigd door franklee op 06-03-2021 09:48 . Reden: Typo ]

[eheijnen]

@franklee
Dank je,

Sinds dit draadje is geplaatst heb ik zitten kijken naar componenten.
En ben daarbij meermaals bij Gigabyte mobos uitgekomen, ook die van jouw. Intel onboard is geen must. Voldoende pcie intel/hp-compaq kaarten te krijgen die op de HCL staan.
GPU (passthrough) is wel iets wat ik later er nog aan wil toevoegen. Daarom borden geselecteerd die in de bios iommu kunnen in- uitschakelen.

Zal sws Esx 7U1 worden. Heb nu een hele tijd Debian met KVM draaien op een socket 1366 6-core Xeon. Wat op zich best goed gaat en zeker voor linux zonder virtualisatie een prima machine is. Maar VMs met W10/2019/2016 gaan toch niet echt lekker. Al helemaal niet als er daar ook nog eens een paar van draaien.

Die Ryzen 3600 is ca. 3x zo snel in de benchmarks en zal voorlopig voldoende zijn. Overklokken is niet aan de orde, wel undervolting voor betere temps.

[franklee]

Ik zou toch echt voor een Intel netwerk chip gaan, dat werkt meteen. Ik heb hier ook nog een dual PCIe GB netwerkkaart uit een HP server liggen en die werkt inderdaad ook direct.
Ik was alleen vergeten te zeggen dat de geïntegreerde USB passthru (mantissa 3.0 device) onder 6.7 met een ryzen 2700 wel werkte maar met een 3950x en 7.0 en 7U1 niet aan de praat te krijgen was. Geen idee of het door de 3950x kwam of door esxi 7.0 TOV 6.7, dat heb ik verder niet meer uitgezocht.

Dus ik heb ook nog een dual USB PCIe erbij gestoken. Als ik ze beiden in het mobo had, kreeg ik ze met geen mogelijkheid samen aan de praat. Ieder apart wel,samen niet. Leek op een IRQ conflict. Verwisselen van het PCIe slot hielp ook niet. Ik heb de HP kaart eruit gehaald en werk nu weer met de netwerkinterface van het mobo zelf. Als er een broadcom chip erop had gezeten,had ik nu een probleem. Maar wellicht is die mobo afhankelijk en hebben andere x570 mobo's dat niet.

Nog een ding mbt GPU passthru, Nvidia specifiek, is de warme reset van de VM waarna het OS de Nvidia niet meer ziet. Dit heeft kennelijk te maken met een bepaald reset command wat in de gpu bios moet zitten, maar in de consumerlijn kennelijk niet en in profi lijn wel. Gevolg: bij het opnieuw opstarten van de VM, wil de VM de GPU intialiseren middels een reset.Dit werkt niet,waardoor de driver de GPU in een ongeinitialiseerde state aantreft en niet verder kan. Onder esxi 6.7 kon je niet anders dan de hele machine rebooten,dus alle VM's plat. Bij esxi 7.0 en hoger kun je bij het overzicht van alle PCIe devices, de GPU passtrue even heen en weer toggelen en de vervolgens de VM weer opstarten. Dit schijnt bij de meeste (alle?) Nvidia kaarten zo te zijn. Dit staat volledig los van de code 43 error en het pciPassthru0.msiEnabled= false verhaal .

[eheijnen]

@franklee
Misschien dat je hier nog iets aan hebt:
https://docs.nvidia.com/g...vmware-vsphere/index.html

[franklee]

Thanks @eheijnen, dat had ik nog niet gezien. Ben ff druk,maar ga ik nog eens naar kijken. Op dit moment loopt het 24/7 stabiel, moet kijken of vGpu kan met een gtx1060 6gb (geen powerhouse, I know,maar ben geen gamer ) en een voordeel heeft. Wat ik zo denk te lezen vooral als je een gpu over meerdere vm's wil kunnen delen. ( Cuda toepassingen in verschillende vm's?)

[eheijnen]

Ik heb er kort doorheen gelezen. Het gaat igg. over professionele gpus.
Maar dacht het toch interessant kon zijn gezien er daar wordt ingegaan op de parameterisering binnen esx.

Kan ook interessant zijn om in de toekomst (want ik zal nog eens zo'n ding moeten kopen) te kijken wat er te krijgen is tweedehands in het pro-segment. Kan ook een idee voor jou zijn als je nog eens wat anders wil.

Is misschien ook een idee om naar AMD kaarten te kijken en of deze zich beter "gedragen" op esx.