Twijfel over vervangen home server

[SteGe]

Mijn vraag
Ik heb nu al 7 jaar een HPE Microserver Gen8 draaien. Daarin zit een Intel Xeon E3-1230 v2, 12GB aan geheugen en de raid controller is vervangen door een HP SmartArray P420 RAID Controller met 1GB en batterij module.
Daarop draait VMware ESXi met twee VM's:
- XPenology met naast de standaard applicaties ook docker met daarop een aantal containers waaronder home-assistant, Z-wave, Omada controller.
- Windows 10 machine met daarop Kerio mailserver.

Aangezien ik verwacht dat deze machine niet het eeuwige leven heeft, en ik ook zwaar teleurgesteld ben in de performance, zelfs met andere raid controller (m.n. de latency op de drives is belabberd, wel beter geworden, maar het reageert niet snel, terwijl CPU en Memory niet volledig belast zijn. De disk voor Xpenology is via RDM gekoppeld aan de VM, met name bij processen met read-write acties blokkeert het systeem, bijv. ophalen van docker pull is enorm traag) ben ik op zoek naar wat ik in de toekomst zou willen. En dan niet alleen hardware maar ook software.

Voordeel van het huidige systeem is het gemak van Kerio (gebruik het voor een aantal mailboxen, gedeelde agena's, fijne webmail (maar traag), catch-all, gemakkelijke verbinding met iPhones, etc. en de mogelijkheid tot het draaien van docker.

Qua hardware vind ik het heel fijn dat deze machine iLO heeft en dus niet aangesloten hoeft te zijn op toetsenbord/muis.

Aangezien de stroomprijs niet minder is geworden is de afgelopen 7 jaar mag het van mij wel iets zuiniger.

Ik zoek dus eigenlijk naar een optie voor de toekomst. Ik wil af van xpenology, want dat heeft een iets te hoge hack-gehalte. Zou eigenlijk ook wel van Kerio Connect af willen maar heb daar nog geen goed alternatief voor gevonden (wel veel dingen al geprobeerd).

Ik zit zelf te twijfelen tussen meerdere opties; zelf een zuinige server bouwen (op basis van aanbevelingen in topics uit dit forum), zonder IPMI (eventueel met een PiKVM), en daar dan bare metal truenas scale op zetten. Alleen dan moet ik binnen TrueNAS een VM gaan draaien als docker host. Andere optie is blijven bij VMware of Proxmox (die laatste vind ik minder fijn) met daarin bijv. Truenas, windows VM (als ik bij Kerio Connect blijf) en een docker-host.

De redenen voor mijn twijfel zit o.a. de huidige performance problemen die deels door ESXi komen; het weinige ontwikkelen van Kerio (maar ook kopano community is nu end-of-life), en het verschil tussen eigenbouw v.s. kant-en-klaar server/NUC/Mini-PC/compleet systeem.

Relevante software en hardware die ik gebruik
HPE Microserver Gen8:
- Intel Xeon E3-1230 v2
- 12GB ram (16 is de max, maar 8GB ECC unbuffered is haast niet voor een fatsoenlijke prijs te vinden)
- HP SmartArray P420 RAID Controller met 1GB en batterij module.

VMware ESXi 8:
Xpenology met daarop:
Docker Host

• Home-assistant
• Omada controller
• Z-wave
• Zigbee
• Mqtt
• etc.

Photo back-up
Reversed Proxy

Windows 10 host

• - Printserver (USB printer)
• - Kerio Connect (inbound mail; outbound via provider; shared agenda; webmail; push mail naar iPhone)

Wat ik al gevonden of geprobeerd heb
Alternatieven ESXi:
- Proxmox (vond ik veel minder intuïtief dan ESXi)
- Truenas scale (helaas geen optie om direct docker te draaien).

Alternatieve HPE Microserver:
- Eigenbouw op basis van ASRock N100M;
- Lenovo mini-pc

Veel topics doorgelezen op tweakers, volg diverse youtubers met homelabs.

[Ora et Labora]

Je zou ook een knappe Synology kunnen kopen, de mailserver aldaar werkt ook prima en anders eventueel een docker met Win10.

[Drardollan]

Zoals @Ora et Labora opmerkt, ik zou voor de meeste taken ook een stevige Synology adviseren. Mail is iets wat je eigenlijk niet meer zelf moet willen draaien, zoveel gedoe met mailservers de laatste jaren. Ik zou eens serieus kijken of Zoho, Exchange Online of Google Workspace geen opties zouden zijn. Niet gratis, maar dat is een server thuis draaien ook niet (aanschaf, onderhoud, stroomgebruik en mogelijk storingen).

[nelizmastr]

ESXi zou ik niet meer naar kijken. VMware is gestopt met perpetual licenties en daarmee ook de gratis versie. Je kunt dan geen nieuwe versie meer registreren zonder een abonnement en ESXi 6 en 7 zijn en lopen uit de ondersteuning in afzienbare tijd.

Proxmox, xcp-ng, Hyper-v, kale kvm, 't kan allemaal. Qua containers is Proxmox wel de sterkste met de LXC container templates die je kunt benutten.

Zelf ook van ESXi naar Proxmox gegaan, vooral vanwege de vrijheid qua PCIe passthrough.

[SteGe]

Dank voor jullie antwoorden! De reden waarom ik niet echt naar een synology kijk is omdat ik ze relatief duur vind voor beperkte hardware. Als je een beetje capaciteit wil met genoeg resources voor docker containers dan kom je al snel uit op een synology DS920+ of hoger, die al gouw aan de 600 euro zit. Dat bedrag is nog wel acceptabel, maar de uitbreidbaarheid op later ogenblik is natuurlijk minimaal.

Het punt van VMware dat overgenomen is door broadcom en nu geen perpetual licenses meer aanbied was zeker een van de redenen om over te stappen.

Daarom dus ook de twijfel tussen een NUC/standaard machine v.s. zelfbouw v.s. bijv. een synology en dito software oplossing.

[GarBaGe]

Hoeveel storage heb je in je huidige oplossing zitten?
ALs deze disks ook reeds 7 jaar oud zijn, zijn het wellicht niet hele grote disks.
In dat geval, kan je bij vervanging overwegen SSD te gebruiken (bijvoorbeeld 2,5" SATA).
Wel duurder per GB, maar een heel stuk zuiniger.

Edit: kijk anders ook ff hier: Het grote zuinige server topic - deel 3

[ Voor 14% gewijzigd door GarBaGe op 14-02-2024 10:22 ]

[Drardollan]

SteGe schreef op woensdag 14 februari 2024 @ 09:57:
Dank voor jullie antwoorden! De reden waarom ik niet echt naar een synology kijk is omdat ik ze relatief duur vind voor beperkte hardware. Als je een beetje capaciteit wil met genoeg resources voor docker containers dan kom je al snel uit op een synology DS920+ of hoger, die al gouw aan de 600 euro zit. Dat bedrag is nog wel acceptabel, maar de uitbreidbaarheid op later ogenblik is natuurlijk minimaal.

Het punt van VMware dat overgenomen is door broadcom en nu geen perpetual licenses meer aanbied was zeker een van de redenen om over te stappen.

Daarom dus ook de twijfel tussen een NUC/standaard machine v.s. zelfbouw v.s. bijv. een synology en dito software oplossing.

Ik denk dat je ook kritisch moet kijken naar wat je denkt nodig te hebben. Je kan de Synology ook nog als mailserver inzetten bedacht ik mij zojuist, dan heb je alles in 1 apparaat. De dingen in docker die je opnoemt stellen maar weinig voor volgens mij qua eisen.

Alles heeft voor en nadelen. Maar een fatsoenlijke Synology kan je bijvoorbeeld wat extra RAM inprikken. Voor de rest heb je er geen omkijken naar. Updates lopen indien gewenst automatisch en Synology heeft een prima track record op dat gebied (ik heb in zo'n 15 jaar nog nooit meegemaakt of gehoord dat een update faalde en alles omlegde).

Maar als je 600 euro al veel vind, je hebt nu een duurdere machine draaien gok ik. En je vergelijkt met heel erge basis systemen als een NUC of standaard PC. En je moet ook nadenken over wat je dan wil uitbreiden, als ik je huidige setup zie dan is daar ook maar weinig aan uitgebreid. Je praat denk ik over een stukje geheugen en schijfruimte, beide zijn in een Synology (mogelijk beperkt) uit te breiden. De CPU kan je niets aan doen, maar gezien je huidige Xeon uit 2012 komt heb ik niet het idee dat daar enerzijds een bottleneck zal zitten en anderzijds dat je in de toekomst wel een CPU upgrade gaat doen.

[SteGe]

Ik denk dat je daar zeker een overtuigende reden benoemd. Plus de interesse in het uitzoeken en troubleshooten is met een gezin met twee jonge kids een stuk minder geworden dan 7 jaar terug.

Mijn huidige setup heeft in de jaren wel wat upgrades gehad, bijv. de raid controller, oorspronkelijk zat er een Pentium in en natuurlijk geheugen uitbereiding. Maar niets heel spannends inderdaad.

Ik ga sowieso eens in de mailserver plus van synology duiken. Ik vermoed dat daar mijn grootste "angst" zit dat ik daar niet kan vinden in wat ik zoek (al zou ik dan serieus moeten overwegen of ik het op deze manier wil houden, of dat ik op een andere manier mijn mailserver in de cloud zou willen hosten). Als ik daar voor mezelf antwoord in heb is de synology zeker een pad dat ik serieus moet overwegen. Die 600 euro vind ik niet heel schokkend btw, die zou ik met een beetje fatsoenlijke machine anders ook kwijt zijn. De performance van XPenology wel, maar ik vermoed dat dat eerder te maken heeft met de performance problemen die ik nu overall merk ipv dat het door de synology software komt.

[DaTuX]

nelizmastr schreef op woensdag 14 februari 2024 @ 09:35:
ESXi zou ik niet meer naar kijken. VMware is gestopt met perpetual licenties en daarmee ook de gratis versie. Je kunt dan geen nieuwe versie meer registreren zonder een abonnement en ESXi 6 en 7 zijn en lopen uit de ondersteuning in afzienbare tijd.

Proxmox, xcp-ng, Hyper-v, kale kvm, 't kan allemaal. Qua containers is Proxmox wel de sterkste met de LXC container templates die je kunt benutten.

Zelf ook van ESXi naar Proxmox gegaan, vooral vanwege de vrijheid qua PCIe passthrough.

klopt betreft ESXi free support / beschikbaarheid de officiele nekslag https://kb.vmware.com/s/article/2107518

zelf alle hypervisors onlangs de deur uit gedaan en baremetal linux met docker ervoor in de plaats gezet
ik mis geen VM functionaliteit tot nu toe
storage / NAS functionaliteit ook minder in gebruik, meer single disk voor "Fun" data en wat belangrijk is gerepliceerd over meerdere locaties (ook fysiek)

omgeving is stukken eenvoudiger erdoor geworden, minder energie gebruik (geen OS'sen die resources slurpen) meer ruimte beschikbaar etc

[SteGe]

Ik heb er nu voor gekozen om toch te gaan voor de synology DS920+ met 32GB ram en 2x 4TB HDD (helaas geen SSD, heb nu ongeveer 2TB aan ruimte in gebruik, met RAID in SSD is dat een dure grap).Nu heb ik de mogelijkheid om als de schijven vol beginnen te worden deze uit te bereiden met nog een (of twee) 4TB schijf/schijven.

Wil wel echt als eerste de mail werkend krijgen, als dat niet lukt moet ik toch op zoek naar iets anders.. Als dat goed werkt heb ik meer dan genoeg vertrouwen in de rest.

Thanks allemaal voor jullie suggesties.

[ Voor 4% gewijzigd door SteGe op 25-02-2024 07:46 ]

[HKLM_]

SteGe schreef op zondag 25 februari 2024 @ 07:46:
Ik heb er nu voor gekozen om toch te gaan voor de synology DS920+ met 32GB ram en 2x 4TB HDD (helaas geen SSD, heb nu ongeveer 2TB aan ruimte in gebruik, met RAID in SSD is dat een dure grap).Nu heb ik de mogelijkheid om als de schijven vol beginnen te worden deze uit te bereiden met nog een (of twee) 4TB schijf/schijven.

Wil wel echt als eerste de mail werkend krijgen, als dat niet lukt moet ik toch op zoek naar iets anders.. Als dat goed werkt heb ik meer dan genoeg vertrouwen in de rest.

Thanks allemaal voor jullie suggesties.

Wat je nog kan doen, en ik heb het zelf ook gedaan is twee M2 SSD’s in je synology prikken. Zitten apparte sloten voor in. En deze als read & write cache gebruiken.

Mijn synology heeft HDD’s en een 1TB ssd cache, welke ik heb verbonden met ISCSI naar hyper-v en mijn VM’s hebben de performance van een ssd op deze manier.

https://kb.synology.com/n...genericssdcache?version=7

[ Voor 4% gewijzigd door HKLM_ op 25-02-2024 08:46 ]

[SteGe]

Haha dat wilde ik er net nog aan toevoegen. Heb nog een goede 256GB NVME liggen die ik wil gaan inzetten als cache. Synology accepteerde de non-Synology NVMe nog niet als storage dus als cache kan ik het prima gebruiken. Denk en hoop dat ik qua r/w en IOPs performance er echt op voorruit ga.

[i-chat]

@SteGe Syno mail is echt niet heel lastig wat betreft zijn instellingen. maar zelfs als je dat dan eventueel niet naar wens kunt instellen (misschien mist er iets ofzo) dan zou ik daarna gewoon eens op dockerhub rondneuzen voor een leuke mailoplossing je hoeft er iig geen hele vm (en al helemaal geen windows vm met kirio) voor op te tuigen.

[SteGe]

Nee daar ga ik ook vanuit. Lastige was dat m’n huidige xpenology zowat vast liep als ik de MailPlus server ingesteld had en draaiende liet. Dus heb er gewoon nog geen ervaring mee.

[SteGe]

Inmiddels is de DS923+ een goede week aan het draaien... En eerlijk gezegd, de NAS aan zich doet het super, een heel stuk stabieler en sneller dan de xpenology... Alleen de Mailplus server is een draak als het gaat om geïntegreerd mail + agenda + contacten waar ik juist naar op zoek ben.

Optie daarvoor is om MailCow te draaien, alleen daarin zeggen ze, terecht, dat je dat niet in docker op Synology moet doen, maar met een VM.

En daar begint het te wringen.... Ik heb op mijn oude HP server met esxi debian geïnstalleerd met mailcow, was in een kwartiertje klaar... In die tijd is de installatie van Debian niet eens voltooid op de synology NAS... Ook al een andere distro geprobeerd (ubuntu) maar die is al net zo traag...

Vind daar veel klachten over, en maar heeeeel weinig oplossingen. Ben dus even aan het dubben of ik er toch niet beter aan doe om te kijken naar een ander systeem en de NAS terug te sturen.

[Microkid]

SteGe schreef op woensdag 14 februari 2024 @ 09:57:

Daarom dus ook de twijfel tussen een NUC/standaard machine v.s. zelfbouw v.s. bijv. een synology en dito software oplossing.

Ik heb hier een NUC 13th gen draaien met Alder Lake cpu, 12 core, 16 thread, 64GB geheugen, 2TB NVMe. 12W verbruik. Er staat ESXi op, maar dat kan natuurlijk ook Proxmox enz zijn. Met een NUC heb je een hele kleine thuisserver die je in 5 minuten in elkaar zet met weinig stroomverbruik en overal kwijt kan (bij mij staat hij in de meterkast).

[Paul]

SteGe schreef op dinsdag 13 februari 2024 @ 14:43:
Mijn vraag
Aangezien ik [..] zwaar teleurgesteld ben in de performance, zelfs met andere raid controller (m.n. de latency op de drives is belabberd

SteGe schreef op zondag 25 februari 2024 @ 07:46:
2x 4TB HDD (helaas geen SSD

NOOOOOoooooooo, WHY?

Een 4TB SSD is ~2x zo duur als een 4TB HDD (grofweg €100 vs €200), maar het lost het grootste probleem dat je had direct op. Nu zit je weer met trage meuk...

Wat je kunt doen is in de andere sloten wel SSD's stoppen (en dan niet als cache, maar echt als data-disk), ~500 GB SSD's zijn ~€40, ~1TB SSD's zijn ~€60, en daar je VM's op zetten. De HDD's gebruik je dan voor backups van de VM's en je foto's.

[M2M]

Of je neemt zo'n deskmini van Asrock;
uitvoering: ASRock DeskMini X300

Zeer zuinig in verbruik, voldoende uitbreidbaar met twee SATA SSD's / 2.5" HDD's en 2 M.2 SSD's, mini-behuizing en meer dan voldoende spierballen mits voorzien van de juiste processor (5600G / 5700G).

[ijdod]

Wellicht een beetje een zijstap, maar dit was het eerste wat me te binnenschoot... echter geen idee hoe dat met de latere ESX versies ging. Buiten dat known issue herken ik de performance issues niet eerlijk gezegd (buiten de open deur van de leeftijd); heb er meerdere in gebruik gehad, zowel Xeons als Celerons.

Zelf heb ik net een consolidatie achter de rug van een ESXi server en TrueNAS Core naar een enkele TrueNAS Scale server. Ik herken je punt van docker, maar dat had ik op ESX al in een VM draaien, dus die heb ik simpelweg gemigreerd. Verder bevalt het goed, eea was vrij goed te tunen voor laag verbruik. Dat gezegd is het gebruiksgemak wat lager dan bij ESX en (mijn beperkte ervaring met) Proxmox. Ik heb er diverse VM's op draaien, DNS/DHCP, pfSense, Emby en nog zo wat. Voordeel van een 'echte' VM voor docker is dat je doorgaans in de support cycle van een OS zit, en niet afhankelijk bent van de eigenaardigheden van je de NAS vendor.

[ Voor 3% gewijzigd door ijdod op 12-03-2024 07:07 ]

[i-chat]

@M2M Zo'n deskmini is ECHT geen goede oplossing, al is het alleen al omdat je (zie pricewatch) geen of nauwelijks fatsoenlijke 2,5inc schijven meer kunt vinden op wat 10 jaar oude 1 en 2 tb meuk na (die met pech stiekum ook al zijn vervangen (zonder sku weiziging) in SMR-rommel.

zoek dan een standaard zo goedkoop mogelijk itx bordje in een behuizing zoals deze uitvoering: Inter-Tech IPC SC-4004

met 4x sata ironwolf 4 8 of 10 tb disk (afhankelijk van je wensen) kom je dan al een heel stuk.

als je dan ook nog slim genoeg bent om te kiezen voor een cpu met intergrated graffics, dan kun je een mobo kiezen die pci-e bifurcation ondersteunt zodat je nog eens 4 nvme drives op een insteekkaart kwijt kunt. daar zijn dan heule interesanten dingen mee te doen, bijvoorbeeld OS boot, Docker images, Write cache en hosting van een database

wat ik TS echter wel mee wil geven is dit, draai tegelijkertijd ook niet te veel meuk op je nas,
het is in veel gevallen beter om je nas nas te laten zijn en voor wat geavanceerdere meuk andere oplossingen te zoeken.

dus: nas draaien met zoveel mogelijk disk en zo goed mogelijk ingerichten resources (als je mvme-disk kunt installeren doe dat dan en zet die in voor cache, en zaken als databases. en als je ram bij kunt plaatsen is dat ook zeker de moeite waard, maar voor mailcow wil je misschien wel gewoon iets apparts inrichten, wellicht zelfs je oude HP of op een simpele nuc of heel misschien zelfs op een rPi, punt is dan dat je cores (rekenkracht) en ram offloadt naar buiten je nas terwijl je storage wel gewoon op je nas blijft. dat geeft wel IETS van netwerk load maar in beginsel kan dat prima desnoods op een 2e nic (vanuit je nas).

[powerboat]

En daar begint het te wringen....

Ben dus even aan het dubben of ik er toch niet beter aan doe om te kijken naar een ander systeem en de NAS terug te sturen.

Dat dus ... Ik heb die route ook al een keer bewandeld en heb binnen 2 weken weer een servertje aangeschaft. Wat je eigenlijk mist als techneut, hobbiest is flexibiliteit.

Je ruilt nl. gemak in voor flexibiliteit.

Als je niet van Proxmox houd, kijk dan eens naar TrueNAS scale, heb je toch beetje de mogelijkheid om te klooien met apps en ben je flexibel met virtualisatie. Het grote voordeel is dat je kan schalen mocht je toch een zwaardere omgeving willen hebben.

[M2M]

i-chat schreef op maandag 11 maart 2024 @ 22:56:
@M2M Zo'n deskmini is ECHT geen goede oplossing, al is het alleen al omdat je (zie pricewatch) geen of nauwelijks fatsoenlijke 2,5inc schijven meer kunt vinden op wat 10 jaar oude 1 en 2 tb meuk na (die met pech stiekum ook al zijn vervangen (zonder sku weiziging) in SMR-rommel.

zoek dan een standaard zo goedkoop mogelijk itx bordje in een behuizing zoals deze uitvoering: Inter-Tech IPC SC-4004

Tja, als grootte niet uitmaakt, zou ik een grotere plank nemen dan ITX. ITX kost meer dan mATX en heeft normaliter minder uitbreiding.

Bovendien, spinnende storage? Druk er gewoon een setje SSD's in. Zuiniger, gaat ook lang mee en backups moet je toch maken. Snelheid voldoende, memory voldoende en absoluut rockbottom idle verbruik.

[i-chat]

sppinnende opslag is, als storage grootte telt, gewoon nodig

zelfs voor thuis waar enkele 4 tb schijven wel zullen volstaan kom je per tb op ongeveer 25 a 30 euro voor cmr

kijk ik dan naar sata ssds liggen de prijzen letterlijk 2x hoger want voor dezelfde prijs koop je nu maat 2tb toegegeven daarvan passen er dan wel 2 in jouw desk mini maar het maakt wel een dure manier van opslaan terwijl je nogsteeds tegen diezelfde sata limitations aanloopt

nvme is wel goedkoper maar er zijn helaas nog geen moederborden waar je er een stuk of 10 in kunt proppen en die bifurcatie kaartjes maken een toch al dure oplossing nóg duurder

[SteGe]

Uiteindelijk heb ik nu een fatsoenlijke werkende machine die denk ik prima voldoet aan mijn eisen. Heb naast de 2x 4TB hdd's ook nog 2x SSD's toegevoegd en daar de VM en de docker's op geplaatst. En een 2e m2 nvme toegevoegd zodat het niet alleen lees maar ook schrijf cache is voor de spinnende disks. En beide zaken hebben wel echt geholpen. Voor nu voldoet ie prima. Ben nog niet helemaal tevreden met MailCow in de VM, misschien dat ik daarvoor in de plaats Kerio blijf draaien in een linux VM totdat dat niet meer kan en ik wel over moet.e