Homeserver voor opslag en VM/containers

[Denjoy]

Wat wil je doen met je nieuwe systeem?
Met mijn nieuwe systeem wil ik Proxmox of TrueNAS gebruiken, waar ik momenteel nog naar aan het kijken ben. Ik heb als doel dat het systeem voldoende kracht heeft om meerdere streams via Plex te draaien. Het liefst zonder videokaart aangezien iGPU van naar mijn mening meer dan genoeg 1080p aankan.

Daarnaast wil ik virtuele machines draaien, zoals Windows 11 en verschillende Linux-distributies. Ook ben ik van plan om containers te gebruiken voor Plex, vooral de *arrs containers.

Wat mag het systeem gaan kosten?
2500 euro zal naar mijn mening voldoende budget zijn en zou graag hulp willen bij het samenstellen hiervan.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Nier perse, heb een paar hardeschijven (Seagate Ironwolff NAS) die eventueel omgezet kunnen worden. Misschien dat ik wel besluit om de NAS synology te gebruiken voor back-up doeleinden.

Wat denk je allemaal nodig te hebben?
een compleet systeem natuurlijk, en vooral flexibiliteit voor de toekomst.

Heb je nog bepaalde (merk)voorkeuren?
Geen voorkeuren voor merken.

Heb je nog bepaalde eisen/wensen?
Ik heb een paar wensen voor dit systeem. Het zou ideaal zijn als het zo compact mogelijk is, zodat het niet veel ruimte in beslag neemt. Daarnaast vind ik het belangrijk dat het systeem stil is in gebruik, zodat het geen "rare" geluiden maakt. Het systeem wil ik vervolgens kwijt in de meterkast. Wat betreft energieverbruik maakt het niet zoveel uit.

Ga je overklokken?
Niet nodig.

Wat verwacht je van ons?[i]
Graag jullie advies met betrekking tot Voeding en een mooie compacte kast waar bijvoorbeeld deze hardware in past. Daarnaast wat betreft (extra) koeling, wat zouden jullie aanraden?

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i7-14700K Boxed	€ 379,99	€ 379,99
1	Moederborden	Gigabyte Z790 AORUS ELITE AX-W	€ 222,79	€ 222,79
1	Geheugen intern	Kingston Fury Beast KF560C30BBEK2-64	€ 206,43	€ 206,43
2	SSD's	Samsung 990 Pro (zonder heatsink) 2TB	€ 159,54	€ 319,08
			Totaal	€ 1.128,29

Edit: vergeten te melden dat ik nog 6 schijven voor opslag erbij wil doen kan dit met het huidige systeem?

[martyw]

De CPU uit je lijst is alleen goed koel te houden met een AIO, en deze generatie CPU's wordt geplaagd door oververhittingsproblemen, dat maakt hem geen aanrader voor een server. Als ik jou was zou ik naar de laatste generatie Intels kijken, deze zijn veel efficienter, bijvoorbeeld de Intel Core Ultra 5 245K Boxed, maar nog beter wacht je op de niet overklokbare modellen met bijbehorende moederborden, deze worden net na de jaarwisseling verwacht. Helaas is de nieuwe generatie idle iets onzuiniger dan de huidige, maar altijd nog zuiniger dan AMD Ryzens.

Verder zou ik wat besparen op de SSD's, dit 4TB exemplaar is al sneller dan wat je nodig hebt, en snel RAM heeft in een server ook weinig toegevoegde waarde. En neem een moederbord zonder wifi, alles wat er niet opzit gebruikt ook geen stroom.

Als je niet kan wachten hierbij een lijst met afdoende koeling voor deze CPU, met ventilatoren die gebouwd zijn om continu te draaien, ze hebben wat zwaarder uitgevoerde lagers.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core Ultra 5 245K Boxed	€ 334,90	€ 334,90
1	Moederborden	Gigabyte Z890M GAMING X	€ 203,32	€ 203,32
1	Behuizingen	Chieftec Mesh Pro Cube CI-02B-OP	€ 56,75	€ 56,75
1	Processorkoeling	Arctic Freezer 36 CO	€ 25,99	€ 25,99
1	Ventilators	Arctic F14 PWM PST CO Zwart, 140mm	€ 7,14	€ 7,14
1	Geheugen intern	Kingston Fury Beast KF556C36BBEK2-64	€ 175,14	€ 175,14
1	Voedingen	be quiet! Pure Power 11 400W	€ 58,90	€ 58,90
1	SSD's	Lexar NM790 (zonder heatsink) 4TB	€ 229,69	€ 229,69
			Totaal	€ 1.091,83

[ Voor 78% gewijzigd door martyw op 27-10-2024 18:05 ]

[Denjoy]

martyw schreef op zondag 27 oktober 2024 @ 17:37:
De CPU uit je lijst is alleen goed koel te houden met een AIO, en deze generatie CPU's wordt geplaagd door oververhittingsproblemen, dat maakt hem geen aanrader voor een server. Als ik jou was zou ik naar de laatste generatie Intels kijken, deze zijn veel efficienter, bijvoorbeeld de Intel Core Ultra 5 245K Boxed, maar nog beter wacht je op de niet overklokbare modellen met bijbehorende moederborden, deze worden net na de jaarwisseling verwacht. Helaas is de nieuwe generatie idle iets onzuiniger dan de huidige, maar altijd nog zuiniger dan AMD Ryzens.

Verder zou ik wat besparen op de SSD's, dit 4TB exemplaar is al sneller dan wat je nodig hebt, en snel RAM heeft in een server ook weinig toegevoegde waarde. En neem een moederbord zonder wifi, alles wat er niet opzit gebruikt ook geen stroom.

Als je niet kan wachten hierbij een lijst met afdoende koeling voor deze CPU, met ventilatoren die gebouwd zijn om continu te draaien, ze hebben wat zwaarder uitgevoerde lagers.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core Ultra 5 245K Boxed	€ 334,90	€ 334,90
1	Moederborden	Gigabyte Z890M GAMING X	€ 203,32	€ 203,32
1	Behuizingen	Chieftec Mesh Pro Cube CI-02B-OP	€ 56,75	€ 56,75
1	Processorkoeling	Arctic Freezer 36 CO	€ 25,99	€ 25,99
1	Ventilators	Arctic F14 PWM PST CO Zwart, 140mm	€ 7,14	€ 7,14
1	Geheugen intern	Kingston Fury Beast KF556C36BBEK2-64	€ 175,14	€ 175,14
1	Voedingen	be quiet! Pure Power 11 400W	€ 58,90	€ 58,90
1	SSD's	Lexar NM790 (zonder heatsink) 4TB	€ 229,69	€ 229,69
			Totaal	€ 1.091,83

Dank voor je reactie!

Tijd is geen probleem, was echter vergeten vermelden dat een grote wens is om minimaal 6 HD’s aangesloten te hebben. Heb nog niet gekeken naar de specs van deze moederbord zal ik gelijk even doen.

[martyw]

Het moederbord uit mijn lijst komt met vier SATA connectors, bv ASUS Prime Z890M-PLUS WIFI (wel met wifi....) heeft er zes. En de Inter-Tech IM-2 Expander of de Nanoxia Deep Silence 4 kasten zijn ook niet al te groot, met plek voor zes schijven. En ook de voeding uit mijn lijst komt een SATA aansluiting tekort, de be quiet! Pure Power 11 500W heeft er wel zes.

[ Voor 11% gewijzigd door martyw op 27-10-2024 20:17 ]

[Flans]

Denjoy schreef op zondag 27 oktober 2024 @ 12:58:
Ik heb als doel dat het systeem voldoende kracht heeft om meerdere streams via Plex te draaien. Het liefst zonder videokaart aangezien iGPU van naar mijn mening meer dan genoeg 1080p aankan.

Waar hebben we het over? Hoeveel streams wil je ondersteunen en wat de kwaliteit van de content (720p/1080p/4k)? Als je spelers het namelijk ondersteunen hoeft je cpu vrijwel niks te doen. Mocht je 4k willen transcoden naar een 1080p steam dan is dat een andere zaak...

[Denjoy]

Flans schreef op maandag 28 oktober 2024 @ 11:07:
[...]


Waar hebben we het over? Hoeveel streams wil je ondersteunen en wat de kwaliteit van de content (720p/1080p/4k)? Als je spelers het namelijk ondersteunen hoeft je cpu vrijwel niks te doen. Mocht je 4k willen transcoden naar een 1080p steam dan is dat een andere zaak...

Dank voor je reactie, gemiddeld genomen zijn het er 4. Op dit moment zijn de kwaliteit van het content 1080p en heb overal bij diegene die er gebruik van mogen maken dit als "standaard" ingesteld.

Wat betreft 4k, die is alleen intern beschikbaar en niet gedeeld met andere buitenhuis. Heb jij eventueel nog advies als ik dit in de toekomst besluit wel te willen?

[Flans]

Denjoy schreef op maandag 28 oktober 2024 @ 12:54:

Dank voor je reactie, gemiddeld genomen zijn het er 4. Op dit moment zijn de kwaliteit van het content 1080p en heb overal bij diegene die er gebruik van mogen maken dit als "standaard" ingesteld.

Dan hoef je je nergens druk over te maken dit kost vrijwel geen CPU resources.

Denjoy schreef op maandag 28 oktober 2024 @ 12:54:


Wat betreft 4k, die is alleen intern beschikbaar en niet gedeeld met andere buitenhuis. Heb jij eventueel nog advies als ik dit in de toekomst besluit wel te willen?

Het gaat erom naar wat voor clients je die content gaat streamen. Als die clients 4k ondersteunen kost het je niet zoveel CPU. Als je vier goede kwaliteit 4k streams moet transcoden naar 720p dan wordt je igpu aardig belast. (dit is er vanuit gaande dat al die streams tegelijk zijn).

Voor je beeld mijn jellyfin instance heeft 15 gebruikers die 720p, 1080p en 4k content kunnen zien. Dit gaat in veel gevallen over tv's en mediaspelers en zo nu en dan over een tablet. Mijn cpu (uitvoering: Intel Core i5-12400 Boxed) komt vrijwel nooit boven de 40 a 50% uit. Ook niet bij 3 of 4 streams tegelijk.

[matthys70]

Ik zit hier zelf ook over te denken (nieuwe thuis server), maar dan met de ASRock Z790 PRO RS/D4 in combinatie met Intel Core i5-12400 processor (65 W), en ik heb begrepen dat die 8x SATA rechtstreeks vanuit CPU heeft.

[Nathilion]

Ik heb zelf een heel vergelijkbare use case uitgewerkt. Ik heb een Proxmox servertje draaien op basis van wat oudere hardware die ik nog had, aangevuld met nieuw spul. En vorige week in mijn vakantie heb ik de server nog wat verder uitgebreid. Het lijstje van de hardware is als volgt:

Asrock AB350 Pro4 moederbord
Ryzen 2200G
32GB Kingston DDR4 EEC ram
6x 2TB Seagate Barracuda HDDs
2x 500GB oude laptop HDDs
1x 256GB Patriot NVME.
ASRock Intel Arc A310
1x een oude PCIe x1 SATA RAID kaartje met 2 aansluitingen.

Dit moederbord heeft twee fysieke x16 sloten, maar helaas wordt het tweede slot uitgeschakeld als je het NVME slot gebruikt. Eigenlijk wilde ik hierin mijn 4-poorts PCIe netwerkkaart zetten om zo nog een pf/opnSense router te draaien maar dat kan nu niet.
Het is sowieso erg lastig om moederborden te vinden met meerdere x16 sloten waarvan het tweede slot niet uitgeschakeld wordt als je NVME gebruikt. Je zit dan al heel gauw aan de top-tier borden die extra PCIe controllers hebben in de categorie consumentenhardware of aan serverborden. Beiden zijn niet goedkoop. Ik raad met klem aan om te kijken hoeveel PCIe lanes je nodig hebt en hier een passende mobo+cpu combinatie op uit te zoeken.

Verder wil je 6 schijven toevoegen dus je zult ook daar al snel door in de problemen komen. Enerzijds omdat SATA poorten zeldzaam beginnen te worden. Anderszijds omdat je dan een M.2 slot moet gebruiken die potentieel PCIe lanes wegsnoept omdat het NVME is, of een sata poort uitschakelt omdat het een M.2 SATA is. En als je SATA expansions kaart moet bijzetten dan ben je weer extra PCIe sloten, dus lanes, kwijt.
De price watch kan dit niet aangegeven. Je zult echt de handleiding voor elke kandidaatmoederbord moeten downloaden en doornemen om dit te weten te komen.

Al dit alles wordt gevoed met een oude 450W voeding die ik nog had liggen en de boxed koeler die meekwam met de CPU. Het staat ook in de meterkast en alles wordt niet warmer dan 50°C. Dus wat dat betreft is het allemaal niks speciaals.

Waarom EEC voor het RAM? Dit wordt aangeraden voor ZFS voor betere data consistentie. Het was toentertijd ook maar een euro of twee duurder dan de normale RAM en Ryzen CPUs ondersteunen het op vrijwel elk model. Dus de keuze was snel gemaakt om ECC te gebruiken.


Wat heb ik nu met mijn hardware gedaan? Ik heb Proxmox 8 draaiende vanaf de NVME schijf. De 2x500GB schijven zijn aangesloten via de SATA PCIe kaart en heb ik een ZFS mirror op gezet en waarin de VMs en containers staan. De 6x2TB schijven vormen samen een ZFS RAIDZ2 opstelling en is toegewezen aan de backups, ISO files en file storage.

Hierop draai ik nu een Home Assistant VM, een Debian VM met Jellyfin en een TurnkeyLinux File Server container.

Voor Home Assistant heb ik HAOS gebruikt. Er zijn wel een paar guides (hier één) voor te vinden hoe dit te installeren op Proxmox. Enige speciale wat ik met deze VM gedaan heb is het doorsluizen van een P1 USB dongle naar deze VM.

De File Server heb ik gehaald uit de lijst met containers. Echter, bij een verse installatie van Proxmox is deze lijst behoorlijk leeg. Je moet eerst even twee commando's uitvoeren om de lijst te verversen en daarna kun je File Server in de lijst vinden:

code:

pveam update
pveam available

Aan de FileServer heb ik een ZFS dataset toegekend. In deze dataset heb ik een mapje "NAS" gemaakt en vervolgens deel ik deze map via SMB. Zo kan ik vanaf Windows de map vullen en kan de media server de map afspelen.

De Jellyfin VM was de meest bewerkelijke. Voorheen gebruikte ik de TKL Media container (ook Jellyfin). Eerst draaide ik deze zonder hardware ondersteuning voor transcoding maar dat was niet te doen. CPU naar de 100% en stotterend beeld. Daarom had toen uitgezocht hoe ik de iGPU kon delen met de container. En na een boel geklooi om user en group IDs te mappen was het me eindelijk gelukt en kon ik met <10% CPU belasting lekker streamen.

Echter waren er nog steeds een paar films en series die nog steeds stotterden. Daarom had ik besloten om maar een Intel Arc kaart aan te schaffen en eens te leren over het gebruik van PCI passthrough. Proxmox 8 maakt het al een stuk makkelijker om PCI apparaten toe te kennen via de WebUI, al moet je nog wel steeds de terminal in duiken om IOMMU goed aan te zetten, drivers te blacklisten en vfio te laden. Al is de handleiding hiervoor echt goed geworden, dus schroom niet om op de help knop te drukken in de WebUI.

Zodoende is de container vervangen voor een VM, want passthrough kan niet met een container. Het is een kale Debian VM geworden met daarop handmatig Jellyfin geïnstalleerd. Verder mount ik de NAS SMB share automatisch door het aanpassen van fstab. Dus als de VM herstart wordt ook automatisch de NAS share gemount.
Ik had ook de Turnkey Media Server kunnen gebruiken, maar ik wilde eens kijken hoe het ging met een installatie op een gewone Debian.
Let wel dat zodra je de GPU toekent aan de VM je niet meer via NoSpice (en de WebUI) kan werken. Daarom had ik SSH en Remote Desktop geïnstalleerd om de VM nog te kunnen benaderen.

Nu met de Arc kaart kan ik alles afspelen zonder stotteren en andere problemen. Alleen tone-mapping is nog een probleem. Het is allemaal wel heel donker. Daar moet ik nog eens betere instellingen voor zien te vinden.

Verder wil ik ook nog containers/VMs er bij zetten voor een *arr suite. Ik las ook nog dat je een videokaart kon delen als een virtuele resource, dus dat meerdere containers/VMs een enkele kaart kunnen delen. Maar voorlopig heb ik maar één VM die de kaart nodig heeft. Maar dit zullen wel projecten worden voor mijn volgende vakantie.

[Flans]

Leuk om te lezen en ik kan me je stappen goed voorstellen haha Ik zou toch de gemiddelde gebruiker die net wat meer wil dan synoloy of qnap niet aanraden om proxmox te gebruiken. Ik zou ze eerder aan raden om unraid of truenas te gebruiken. Vooral door de (betere) ondersteuning van docker op beide platformen dat maakt onderhoud en installatie een stuk overzichtelijker.

[Denjoy]

Allereerst, @Nathilion, bedankt voor je uitgebreide uitleg en je reactie!

Ik houd graag dingen simpel, maar vind het ook leuk om alles goed uit te zoeken. Waarom het wiel opnieuw uitvinden als het al bestaat, toch? Proxmox bevalt mij persoonlijk heel goed; ik vind het een prettig systeem om mee te werken en ben erg blij met de tteck helper scripts die hierbij ondersteunen: https://github.com/tteck/Proxmox.

@Flans
Ik ga me ook eens verdiepen in Truenas. Zoals je zegt, het lijkt veelbelovend qua ondersteuning en onderhoudsvriendelijkheid. Bedankt voor de tip, ik ga dit onderzoeken of dit systeem iets is voor de langere termijn.