Aankoopadvies ESXi-thuisserver <€2k

[Rene2322]

Bij gebrek aan een SAA, dit adviesverzoek maar in het desktop aankoopadvies forum. Hopelijk zit ik hier goed.

Wat wil je doen met je nieuwe systeem?
Een aantal (3-8) VM's draaien vanuit een stand-alone headless ESXi-server.

• VM-NAS-01 (FreeNAS 11.2 òf Xpenology met Plex Media Server, SabNZBd en Logitech Media Server 7.9.2 (community version)
• VM-DOM-01 (Debian 9 (Stretch) met Domoticz en SMA (SBFspot))
• VM-LAN-01 (Debian 9 (Stretch) met Unifi / UNMS, PiHole, Guest Portal (Wi-Fi))
• VM-MGT-01 (Windows Server 2019 / Linux-variant (Management Server) met Syslog, VPN, ?PfSense en ?Suricata / SNORT (Intrusion Detection System))
• VM-VLT-01 (Windows Server 2019 met Autodesk Vault en Microsoft SQL
• VM-WRK-01 Windows 7
• VM-WRK-02 Windows 10
• VM-WRK-03 Debian 9 (Stretch) + desktop

Hierdoor kan ik voorzichtig afscheid gaan nemen van enkele op leeftijd gerakende andere systemen. De NAS-functionaliteit is hierbij de belangrijkste.
Mijn huidige NAS (QNAP 419P+ met 4x 2TB in RAID5) begint toch echt oud te worden. Deze wil ik verplaatsen naar tuinhuisje (semi-offsite) als eerste (dagelijkse) back-up voor belangrijke data (foto's, familie, administratie). Andere offsite back-up is NAS van ouders (dagelijks) en losse HDD (2-wekelijks).
Andere werkstations met veel local storage zou ik mettertijd willen vervangen door thin-client met storage via de NAS.
Eventueel zou ik nog willen pogen om de HTPC in woonkamer te virtualiseren en middels pass-through een videokaart en i/o door te geven. Anders misschien wel VMWare Horizon Client met Blast Extreme.
Omdat mijn huidige HD-ontvanger (SMT-C7140) af en toe kuren heeft zou dit wellicht ook verplaatst kunnen worden. Als laatste nog een RPi2B+ en een RPi3B+ in de meterkast hangen. Dit kan dan ook mooi virtueel.


Wat mag het systeem gaan kosten?
Ergens tussen de €1500 en €2000 moet het wel ophouden. Dit is inclusief verzendkosten. Assemblage doe ik zelf.
Ik heb gekozen voor recente hardware gebaseerd op socket 1151 en C242/C246 chipset. Via V&A heb ik hiervoor al enkele componenten aangeschaft.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Netwerk via een Ubiquiti EdgeMAX Lite3 en 2 Netgear GS108Ev3 switches, waarbij de statische gebruikers zijn aangesloten op gigabit CAT5E en mobiele gebruikers + enkele OIT-devices op WiFi met volledige dekking middels een aantal Ubiquiti AP AC Lite en AP AC LR acces points.

Reeds in bezit zijn:

• CPU: Intel Xeon E3-1245v6
• PSU: Seasonic Platinum Series 400 Watt Fanless
• UPS: APC Back-UPS 650VA
• enkele WD Green HDD's om eventueel wat mee te testen in afwachting van aanschaf WD Red's

Wat denk je allemaal nodig te hebben?

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Xeon E3-1245 v6 Boxed	€ 342,19	€ 342,19
1	Moederborden	Supermicro X11SCL-F	€ 221,83	€ 221,83
6	Interne harde schijven	Seagate IronWolf IronWolf, 4TB	€ 109,90	€ 659,40
6	Interne harde schijven	WD Red (64MB cache), 4TB	€ 109,90	€ 659,40
1	Behuizingen	Antec P110 Silent	€ 91,50	€ 91,50
1	Behuizingen	Fractal Design Define Mini	€ 79,-	€ 79,-
1	Behuizingen	Fractal Design Node 804	€ 93,05	€ 93,05
1	Usb-sticks	Samsung FIT Plus 32GB Zwart	€ 11,59	€ 11,59
2	Geheugen intern	Kingston KSM26ED8/16ME	€ 91,29	€ 182,58
2	Geheugen intern	Samsung M391A2K43BB1-CTD	€ 81,-	€ 162,-
1	Voedingen	Seasonic Platinum Series 400 Watt Fanless	€ 121,-	€ 121,-
1	Solid state drives	Samsung 970 Evo Plus 500GB	€ 109,90	€ 109,90
Bekijk collectie Importeer producten			Totaal	€ 2.733,44

Heb je nog bepaalde (merk)voorkeuren?
Bovengenoemd systeem is bedoeld voor 24/7 thuisgebruik. Het is niet ondenkbaar dat server veel idle-time kent. Dit is de reden dat ik heb gekozen voor wat recente hardware, daar ik verwacht dat deze hun power-states beter voor elkaar hebben. Ik hecht veel waarde aan mijn data. Het heeft daarom dan ook niet de voorkeur hardware te gebruiken welke, voor de toepassing, twijfelachtig is.
Verder heb ik goede ervaringen met Samsung en WD

Heb je nog bepaalde eisen/wensen?
Serieuze mate van data-integriteit
Performance beter dan huidige situatie (voor de NAS is niet lastig realiseeerbaar). Qua capaciteit is mijn huidige 5-5,5TB voor alsnog voldoende gebleken.
I.v.m. lage en onregelmatige load aandacht voor energieverbruik (en bijbehorende warmte-ontwikkeling). Bij voorkeur idle<60W.

Ga je overklokken?
Nee, absoluut niet. Eerder zal ik me verdiepen in tunings-mogelijkheden om het stroomverbruik binnen de perken te houden.

Wat verwacht je van ons?
Advies / reactie aangaande de openstaande hardwarevraag en globale inrichting.
Ik heb me afgelopen jaar erg verdiept in de mogelijkheden van ESXi, FreeNAS, ZFS, HBA's, etc. Ben echter geen expert. Zakelijk zit ik voornamelijk op de stoel van de gebruiker en in beperkte mate op die van applicatiebeheer voor ons CAD-systeem.

Ik ben voornemens om de M.2-aansluiting te benutten voor een NVMe sata SSD en deze te gebruiken als boot medium voor de hypervisor en daarnaast voor de VM's (met minimale local storage). Eventueel de hypervisor op USB-stick, echter ontneemt me dat de mogelijkheid om USB door te geven aan een VM (o.a. nodig voor slimme meter). De sata-controller zou ik dan willen doorgeven aan VM-NAS-01 welke hierbij de directe beschikking zou krijgen over 4 tot 6 WD Red HDD's (2, 3 of 4TB). Ik heb echter veel gelezen over LSI HBA's welke geflashed zouden moeten worden voor gebruik in IT-mode (om hardwareRAID-functionaliteit uit te schakelen toch?). Is de onboard SATA-controller in AHCI-mode ook goed?
Qua geheugen denk ik initiëel voldoende te hebben aan 32GB (2x 16GB DDR4 2400Mhz ECC). Indien nodig (en mogelijk) kunnen hierlater nog eens 2 reepjes bij.
Verder, wanneer ik evt. een firewall en mogelijke QoS-zaken via een VM ga gebruiken, zou ik verkeer, afkomstig van het grote boze internet, via de server laten lopen. Wellicht handig om hiervoor 2 LAN-aansluitingen te benutten.
Qua storage zit ik nog wat in dubio. Slechts een beperkt deel van mijn data is mij dierbaar, de rest is minder belangrijk. Echter een beetje RAID/RAIDZ oplossing vraagt 4-6 schijven. Ik vraag me hardop af wat de meerkosten zijn om deze 2 datavormen te scheiden (extra controller, extra schijven, fors grotere behuizing) en of dat mij dat waard is.

Tips, feedback en enkele trefwoorden om mij verder te helpen zijn welkom. Alvast bedankt.
René

[Jivebunny]

Rene2322 schreef op dinsdag 1 oktober 2019 @ 13:24:

Qua storage zit ik nog wat in dubio. Slechts een beperkt deel van mijn data is mij dierbaar, de rest is minder belangrijk. Echter een beetje RAID/RAIDZ oplossing vraagt 4-6 schijven. Ik vraag me hardop af wat de meerkosten zijn om deze 2 datavormen te scheiden (extra controller, extra schijven, fors grotere behuizing) en of dat mij dat waard is.

Even los van esxi, en de hardware, heb je wel eens aan docker gedacht i.c.m. een linux server? Misschien niet geschikt voor je, maar unraid zou een oplossing voor je kunnen zijn gezien je software die je runt, en je kan dan ook nog een paar vm's draaien met Windows instanties/linux distro's erin. De rest zou ik lekker in dockers mounten. Scheelt een hoop gedoe met het inrichten van de vm zelf.

Dockers zijn er voor: Plex Media Server, SabNZBd en Logitech Media Server 7.9.2 (community version), Unifi / UNMS, PiHole, VPN, ?PfSense. De andere software weet ik zo niet uit mijn hoofd. Hangt er natuurlijk ook een beetje vanaf hoe prettig je het vindt om met linux te werken maar volgens mij zit dat wel snor?

[ Voor 26% gewijzigd door Jivebunny op 01-10-2019 13:48 ]

[Rene2322]

Momenteel maak ik gebruik van Docker containers op mijn Rpi3b+. Dit is ook zeker weer het overwegen waard. Dit is ook de reden dat ik Sabnzbd+, Plex Media Server en Logitech Media Server noem op de VM van de NAS. Wellicht dat Unifi en Domoticz hier ook bij kunnen.
FreeNAS heeft, met jails, natuurlijk een soortgelijke functionaliteit.

Waar ik nu tegenaan loop is dat ik diverse applicaties draai welke allemaal een browser hebben in met een poort in de serie 8080 en 443. Niet allemaal staan ze toe om hier een afwijkend poortnummer te gebruiken.
Hierdoor ben ik geneigd niet alle services op een grote server te gooien, maar de services logisch over meerdere (virtuele) machines te verdelen.

[Rene2322]

Ik heb inmiddels wat meer inzicht in de mogelijkheden.
Nieuwe lijst:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Xeon E3-1245 v6 Boxed	€ 346,06	€ 346,06
1	Moederborden	Supermicro X11SSM-F (Retail Pack)	€ 205,-	€ 205,-
6	Interne harde schijven	Seagate IronWolf IronWolf, 4TB	€ 110,90	€ 665,40
1	Controllers	Akasa M.2 SSD to PCIe adapter card AK-PCCM2P-01	€ 15,50	€ 15,50
2	Geheugen intern	Samsung M391A2K43BB1-CTD	€ 81,-	€ 162,-
1	Voedingen	Seasonic Platinum Series 400 Watt Fanless	€ 121,-	€ 121,-
1	Solid state drives	Samsung 970 Evo Plus 500GB	€ 107,95	€ 107,95
Bekijk collectie Importeer producten			Totaal	€ 1.634,50

ESXi wil ik gaan draaien vanaf een M.2 NVMe SSD. Hierop komen ook de VM's. 6 HDD's zullen de centrale netwerkopslag voor hun rekening nemen. Ik vermoed dat dit een gevirtualizeerde FreeNAS wordt. De SATA-controller probeer ik door te zetten. Lukt dat niet, dan wordt het een losse HBA met de bekende IT-firmware.

Het moederbord in mijn wensenlijst heb ik gewijzigd. Bleek dat ik er een in had staan welke de E3-1200v6 serie niet ondersteund. Moederbordkeuze is nu gevallen op de X11SSM-F. Hierover nog wel een vraag:

De E3-1245v6 is een vast gegeven. Deze heb ik liggen. Kan er gebruik worden gemaakt van de grafische rekenkracht van een CPU (bij virtualisatietoepassingen) wanneer het moederbord geen videoaansluiting heeft (enkel VGA van de IPMI)? Ik kan hier niets over vinden.

Ik wil geen clients fysiek op de host draaien. Enkel wat VM's via LAN. Het wordt een machine die 24/7 aanstaat, maar niet heel intensief in gebruik. Ik wel daarom enigszins het energieverbruik beperken. Om die reden gekozen voor een moederbord met IPMI. Die van Supermicro zijn voorzien van grafische chip en vga aansluiting (ik verwacht voor beheer en initiële installatie). Wanneer zulks voor thuisgebruik niet bruikbaar is laat ik me graag adviseren voor iets anders.
De Fujitsu D3417-B2 lijkt me anders ook niet raar, echter voor een headless server wat teveel opties (zoals audio). Ik vermoed dat ik in dat geval nog een lichte videokaart nodig heb voor initiële installatie.

[ Voor 9% gewijzigd door Rene2322 op 14-10-2019 16:34 ]

[martyw]

Zo te zien hebben de moederborden geen 80mm M2 interface voor de Samsung, bij deze zou ik een SATA SSD zoeken, zoals bijvoorbeeld de Pricewatch:Samsung EVO 860. Bij jouw usecase is de performance prima, wel zou ik een 1TB model overwegen, zoveel duurder zijn die niet meer.

[ Voor 18% gewijzigd door martyw op 14-10-2019 17:56 ]

[serial_killa159]

@martyw een sata ssd gaat niet lukken omdat @Rene2322 de sata controller van zijn moederbord in passtrough wil zetten in esxi voor zijn freenas VM. Op die manier kan esxi de schijven die op die sata controller hangen niet zien. Daarvoor heeft de TS een extra PCI-e naar m2 insteekkaart voorzien in zijn lijstje om een m2 drive te kunnen gebruiken als boot drive en vm storage.

[ Voor 4% gewijzigd door serial_killa159 op 15-10-2019 08:28 ]

[martyw]

serial_killa159 schreef op dinsdag 15 oktober 2019 @ 08:26:
@martyw een sata ssd gaat niet lukken omdat @Rene2322 de sata controller van zijn moederbord in passtrough wil zetten in esxi voor zijn freenas VM. Op die manier kan esxi de schijven die op die sata controller hangen niet zien. Daarvoor heeft de TS een extra PCI-e naar m2 insteekkaart voorzien in zijn lijstje om een m2 drive te kunnen gebruiken als boot drive en vm storage.

Ah, die controller had ik gemist....