ESXi server voor 10 VMs

[Fuss!]

Wat wil je doen met je nieuwe systeem?
Bedoeling: 10 VMs draaien op een recent ESXi-systeem.

Huidige systeem is een 1U HP Proliant server van 2012 met Ubuntu Server, waar ik een 7-tal VMs draai met KVM. Deze is aan vernieuwing toe, en moet nu VMware gebaseerd zijn (geen KVM meer) gezien dit een eis is van 1 van de 2 externe systemen die er nu bijkomen.

Het nieuwe systeem moet minstens 10 VMs kunnen draaien op een comfortabele manier. Geen van de VMs zijn momenteel erg "hongerig" naar CPU/Mem/netwerk en ik verwacht daarin geen verandering.
VMs:
- pfSense als main Firewall
- Ubuntu server met o.a. webapplicaties (kleine DB), Unifi controller, Unifi video
- Windows server met AD en een custom application
- Asterisk server voor telefonie (CentOS)
- Testserver (Ubuntu) of reserve
- Extern systeem 1: Windows server
- Extern systeem 2: Red Hat
- Extern systeem 2: Untangled
- Extern systeem 2: Ubuntu server
- Extern systeem 2: Ubuntu server

Ik ben van plan om de gratis versie van ESXi te gebruiken. Backups van de volledige VM via GhettoVCB (nb: nog geen ervaring mee).

Qua storage dacht ik aan:
- ESXi booten via een externe USB-stick (16GB)
- PCI-e 1TB voor de systeempartities van de VMs
- 2 SATA-schrijven 3TB voor enkele VMs die veel opslag nodig hebben (2 van de Ubuntu servers)

Wat mag het systeem gaan kosten?
€2000 maximum, liefst goedkoper (ik dacht eerder rond €1500, zie voorstel hieronder). Assembleren gebeurt zelf.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Neen, behalve 2 SATA-schijven van een ander systeem (4TB elk).
Het bestaande systeem zal nog even in gebruik blijven wegens de migratie en herinstallatie van de individuele VMs.

Wat denk je allemaal nodig te hebben?
Hieronder een voorstel:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1245 v6 Tray	€ 302,34	€ 302,34
1	Supermicro X11SSH-LN4F	€ 228,-	€ 228,-
1	Inter-Tech IPC 4U-4088-S	€ 63,-	€ 63,-
2	Crucial CT2K16G4WFD8213	€ 346,14	€ 692,28
1	Seasonic G-series 360 watt	€ 59,52	€ 59,52
1	Samsung 970 Evo 1TB	€ 327,81	€ 327,81
Bekijk collectie Importeer producten		Totaal	€ 1.672,95

Zoals vermeld heb ik reeds 2 4TB HDDs.

Gezien de dure geheugenprijzen zou ik me misschien voorlopig beperken tot 32GB RAM (1 set van 2x16GB).

Heb je nog bepaalde (merk)voorkeuren?
Supermicro gezien deze OOB management biedt en server grade is + meerdere GigE-poorten heeft. Ook naar de Fujitsu gekeken maar die mist deze twee voordelen.

Heb je nog bepaalde eisen/wensen?
- Rack-mountable, bij voorkeur 4u zodat er plaats genoeg is om voldoende koeling te voorzien + uitbreiding.
- Niet té energieverslindend.
- Bescherming tegen data loss op storages die daarvoor gevoelig zijn, m.a.w. de HDDs (zie ook vraag hieronder).

Wat verwacht je van ons?
- General check: lijkt het geheel logisch opgebouwd?
- ESXi compatibility: zal dit systeem out-of-the-box werken met ESXi, of zijn er custom driver modifications noodzakelijk? Ik heb gezocht in de HCL, maar deze is vrij cryptisch. Bijvoorbeeld bij zoeken op c236 (chipset mobo) krijg ik geen resultaten; bij zoeken op moederbordtype (bvb. in geval van de Fujitsu: D3417) ook niet. Maar toch zie ik in verschillende threads dat deze combo wel zou moeten werken..?
- Is de boxed CPU voldoende, of wordt er een aparte koeler aangeraden?
- In (lang) verleden al enkele keren dataverlies gehad door falende schijven. Ik veronderstel dat RAID voor de PCI-e Samsung 970 evo nonsense is, gezien de erg lage kans op dataverlies met niet-draaiende storages zoals deze?
- Wat dan met de HDD's - ik lees dat ESXi geen SW RAID ondersteunt. Schaf ik best een RAID-kaart aan, of breng ik een VM op met bvb. FreeNAS waarin ik passthrough doe van de schrijven en er een iSCSI of NFS van maak en deze aanbiedt aan andere VMs? Zoja, geeft dit geen problemen met opstarten (i.e. als zowel de FreeNAS als de VM die de disk gebruikt tegelijk opstarten, dan is mogelijk de FreeNAS nog niet klaar en kan de VM niet aan de data)?

[TommyboyNL]

- Ik heb het zelfde mobo en CPU (zie mijn inventaris), en dit draait prima in combinatie met ESXi 6.5.
- Je RAM is maar bij 1 shop verkrijgbaar met 10+ werkdagen levertijd. Lijkt mij niet handig
- Waarop ga je ESXi zelf installeren? Mijn tip: USB stick (wederom: Zie mijn inventaris)
- Ik heb de SATA controller in pass-through naar een FreeNAS instance staan. Als je je andere VMs voldoende vertraging geeft bij het booten, komt dit helemaal goed. Wel moet je FreeNAS OS dan op je 970 staan.
- Het M.2 slot op het mobo is maar PCIe x2, volgens mij gaat dat je 970 bottlenecken. Ik heb mijn m.2 SSD daarom met een verloopje in een écht PCIe slot gemonteerd.

[Fuss!]

Thanks @TommyboyNL !
- Je zegt dat ESXi 6.5 gesupporteerd is - ik veronderstel dat 6.7 (welke ik plan te gebruiken) geen verschil maakt?
- RAM: geen voorkeur van merk, maar zal moeten DDR4/ECC zijn. De opgelijste was de goedkoopste in de pricewatch maar kan overschakelen naar iets anders. Is er iets om op te letten, of zijn alle DDR4 ramlatten met ECC gesupporteerd in ESXi?
- Inderdaad, ik plan ESXi op USB stick te installeren (stond ook in m'n post ).
- Cool, SATA controller met Passthrough en FreeNAS zal het worden dan.
- PCIe-kaart met verloop naar M.2: deze bijvoorbeeld dus? pricewatch: Startech.com PCI Express x4 naar M.2 PCIe SSD-adapter

Nog een punt: is de 970 zeker gesupporteerd in ESXi? Want verschilt qua technologie met de 960.

Mocht iemand nog op de andere punten commentaar hebben, shoot!

[TommyboyNL]

@Fuss!
- Geen idee, ik moet zelf die upgrade nog een keer doen. Ik verwacht echter geen issues.
- RAM support i.c.m. ESXi is geen issue. Waar je wél op moet letten is dat deze mobo/CPU geen registered geheugen slikken. Let ook op of het geheugen single of dual rank is in combinatie met 4Gb of 8Gb chips. Zie ook pagina 33 van de handleiding.
- Overheen gelezen, sorry!
- Tip alvast: Als je passthrough gebruikt in een VM, dan moet je het geheugen voor die VM hard reserveren.
- Ongetwijfeld. Zelf heb ik echter de volgende gekocht, omdat die ook de SSD koelt: https://shop.aquacomputer...info.php?products_id=3659
- Geen idee over de 970, sorry!

[Pantagruel]

Fuss! schreef op woensdag 8 augustus 2018 @ 17:40:
Wat wil je doen met je nieuwe systeem?
TL;DR

Wat verwacht je van ons?

Search the forum/Google/etc.

Het gebruikte moederbord is, met verschillende cpu's en storage, de revue gepasseerd, dus er is voldoende info te vinden.

De gebruikte Xeon is potent genoeg voor je wensen, 32+ GB RAM lijkt me idd wel wenselijk.

TommyboyNL schreef op woensdag 8 augustus 2018 @ 22:46:
@Fuss!
- Geen idee, ik moet zelf die upgrade nog een keer doen. Ik verwacht echter geen issues.
- RAM support i.c.m. ESXi is geen issue. Waar je wél op moet letten is dat deze mobo/CPU geen registered geheugen slikken. Let ook op of het geheugen single of dual rank is in combinatie met 4Gb of 8Gb chips. Zie ook pagina 33 van de handleiding.

Idd neem de compatibility listing van SuperMicro door.

- Overheen gelezen, sorry!
- Tip alvast: Als je passthrough gebruikt in een VM, dan moet je het geheugen voor die VM hard reserveren.
- Ongetwijfeld. Zelf heb ik echter de volgende gekocht, omdat die ook de SSD koelt: https://shop.aquacomputer...info.php?products_id=3659
- Geen idee over de 970, sorry!

De 970 mag geen probleem zijn,

[|sWORDs|]

Passthrough van de Intel controller werkt (nog) niet op ESXi 6.7, dus als je een storage VM (Het Grote XPenology Topic ook een goede optie) wil draaien zou ik met 6.5 beginnen en pas als U1 uit is naar 6.7 kijken of je zou naar een Supermicro bord met LSI controller kunnen gaan.

Alle NVMe drives werken met ESXi, dus ook de 970 Evo.

In je lijstje mist een CPU koeler (tray = geen koeler) en je zou voor 2400MHz geheugen kunnen gaan als het prijsverschil beperkt is.

De opvolgers zijn er al wel (neem dan 2666MHz geheugen):
https://www.supermicro.co...herboard/X11/X11SCA-F.cfm
https://www.intel.com/con...rs/xeon/e-processors.html

Met C236/C246 en een Intel NIC en CPU met IGP/vPro heb je altijd OOB (Intel AMT), dus je hoeft dan niet perse een bord met IPMI te nemen. Als je de OOB eis laat vallen kun je nog flink (400-450 euro) wat geld besparen, een i3 8100 is bijna net zo snel en veel goedkoper, plus je kunt een goedkoper bord en geheugen nemen, is ECC en OOB je echt zo veel geld waard?

[ Voor 69% gewijzigd door |sWORDs| op 09-08-2018 09:56 ]

[Sandor_Clegane]

Een beetje een standaard HP of Dell systeem moet dit prima trekken. Wil je het zelf bouwen?

Een refurbished DL 380 of zo'n 1U ding moet prima kunnen.

Voordeel daarvan is dat je gewoon een ESXi iso van HP of Dell kunt downloaden met alle drivers.

[ Voor 24% gewijzigd door Sandor_Clegane op 09-08-2018 11:27 ]

[Fuss!]

Thanks @Sandor_Clegane. Ik zou het inderdaad liefst zelf bouwen, denk dat dat kosteneffectiever zal zijn en meer keuzevrijheid.

[Sandor_Clegane]

Is de machine voor jezelf? Of is het bedrijfsmatig? Gewoon nieuwsgierig.

[Fuss!]

Combinatie. Bedijf van m'n vrouw, waar we wonen

[ Voor 17% gewijzigd door Fuss! op 09-08-2018 11:52 ]

[Fuss!]

|sWORDs| schreef op donderdag 9 augustus 2018 @ 09:18:
Passthrough van de Intel controller werkt (nog) niet op ESXi 6.7, dus als je een storage VM (Het Grote XPenology Topic ook een goede optie) wil draaien zou ik met 6.5 beginnen en pas als U1 uit is naar 6.7 kijken of je zou naar een Supermicro bord met LSI controller kunnen gaan.

Thanks, dan wordt het 6.5 voorlopig.

In je lijstje mist een CPU koeler (tray = geen koeler) en je zou voor 2400MHz geheugen kunnen gaan als het prijsverschil beperkt is.

Bij nader inzien is de gekozen CPU (Xeon 1245) met embedded graphics, en da's ook niet nodig dacht ik. Een Xeon 1240v6 zou moeten voldoen.
Is Boxed voldoende of investeer ik beter in een grotere koeler? dB is niet echt een probleem.

De opvolgers zijn er al wel (neem dan 2666MHz geheugen):
https://www.supermicro.co...herboard/X11/X11SCA-F.cfm
https://www.intel.com/con...rs/xeon/e-processors.html

Noch het moederbord, noch de Intel CPUs komen op de Pricewatch voor. Dus zal nog niet voor direct zijn vrees ik (en is vrij dringend nodig). Plus ik heb weinig ervaring met ESXi en vrees wat voor incompatibiliteit als 'early adopter'.

Met C236/C246 en een Intel NIC en CPU met IGP/vPro heb je altijd OOB (Intel AMT), dus je hoeft dan niet perse een bord met IPMI te nemen. Als je de OOB eis laat vallen kun je nog flink (400-450 euro) wat geld besparen, een i3 8100 is bijna net zo snel en veel goedkoper, plus je kunt een goedkoper bord en geheugen nemen, is ECC en OOB je echt zo veel geld waard?

Die Intel i3 8100 is wel beschikbaar; ECC is nice to have (en het prijsverschil met gewone DDR4 is niet érg groot). Zorgt onbewust (en/of onterecht?) ook voor gemoedsrust want minder kans op falen.
Indien 8100: welk ESXi-ondersteund mobo wordt dan aangeraden? De Fujitsu D3417-B2 kan niet met CoffeeLake overweg helaas. De pricewatch: Gigabyte Z370-HD3?

[DarkBlaze]

Is een AMD systeem geen optie? Die ondersteunen namelijk altijd ECC ook de Ryzen processoren dus dan heb je voor 150 euro een 6 core 12 thread processor en de optie om ECC te gebruiken. Ik weet alleen niet hoe de ESXi support van Ryzen is maar van wat ik kan zien werkt het wel. Lijkt me practischer dan een 8100 zonder ECC en het prijsverschil is ~30 euro.

Voor beide geld natuurlijk wel dat je dan wel aan een desktop vormfactor vast zit, anders kom je namelijk al op epyc uit en die zijn een stuk duurder.

[ Voor 17% gewijzigd door DarkBlaze op 09-08-2018 12:48 ]

[|sWORDs|]

DarkBlaze schreef op donderdag 9 augustus 2018 @ 12:41:
Is een AMD systeem geen optie? Die ondersteunen namelijk altijd ECC ook de Ryzen processoren dus dan heb je voor 150 euro een 6 core 12 thread processor en de optie om ECC te gebruiken. Ik weet alleen niet hoe de ESXi support van Ryzen is maar van wat ik kan zien werkt het wel. Lijkt me practischer dan een 8100 zonder ECC en het prijsverschil is ~30 euro.

Voor beide geld natuurlijk wel dat je dan wel aan een desktop vormfactor vast zit, anders kom je namelijk al op epyc uit en die zijn een stuk duurder.

Ryzen werkt met ESXi, alleen zijn zaken zoals passthrough of vIOMMU (bijv Microsoft Virtualization Based Security) niet/slecht werkend, ook is iets als XPenology niet echt lekker met AMD. Intel is een veiligere keuze.