Kan ik met deze server vooruit?

[JssDWt]

Hallo!
Ik heb eigenlijk weinig kaas gegeten van hardware en ben daarom op zoek naar advies.

Wat wil je doen met je nieuwe systeem?
Ik wil een server draaien met meerdere virtuele machines, hoogstwaarschijnlijk op FreeBSD (Ik weet nog niet of dat een goed idee is).
Op deze VMs komt Kubernetes, met een zooitje docker containers en Elasticsearch.

Eén van de applicaties moet razendsnel kunnen lezen en schrijven naar disk én ik mag de data niet kwijtraken. Daarom deze setup gekozen. De 980 SSDs zijn voor die applicatie en worden RAID 1. De 970 SSDs voor 'de rest', ook RAID 1. Liefst zou ik de 980 SSDs op termijn kunnen uitbreiden naar RAID 5 als de snelheid niet voldoende is, maar ik geloof niet dat er moederborden zijn met meer dan 4 slots daarvoor.

De server zal altijd aan staan, altijd aan het werk. Hij komt in de meterkast, dus liefst een beetje stil.

Videokaart mag minimaal zijn, want ik zal alleen via SSH inloggen. Wellicht sporadisch een keer een monitor eraan hangen als ik er niet via SSH bij kan.

Ik verwacht niet te overklokken.

De vragen
- Is dit een beetje een logische setup?
- Gaat dit ding voldoende koelen?
- Kan ik ergens kosten besparen omdat ik een domme keuze heb gemaakt?
- Wat voor stroomvoorziening heb ik nodig? Is er makkelijk te besparen op het energieverbruik?

PS. Deze setup had ook een rack server kunnen zijn. Maar ik heb het idee dat ik voor een rack server 2x zoveel betaal voor dezelfde eisen.

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 9 5950X Boxed	€ 759,-	€ 759,-
1	Moederborden	Gigabyte X570S AERO G	€ 324,95	€ 324,95
1	Videokaarten	ASUS GeForce GT 710 1GB	€ 65,35	€ 65,35
1	Behuizingen	Metallic Gear Neo Air Zwart	€ 69,90	€ 69,90
1	Processorkoeling	Scythe Mugen 5 PCGH Edition	€ 50,74	€ 50,74
2	Ventilatoren	be quiet! Silent Wings 3 PWM, 120mm	€ 19,13	€ 38,26
1	Geheugen intern	Kingston Fury Renegade KF436C18RBK4/128	€ 543,18	€ 543,18
2	Solid state drives	Samsung 970 Evo Plus 2TB	€ 222,89	€ 445,78
2	Solid state drives	Samsung 980 Pro (met heatsink) 1TB	€ 219,-	€ 438,-
			Totaal	€ 2.735,16

[ Voor 0% gewijzigd door JssDWt op 08-12-2021 09:22 . Reden: Er miste een SSD ]

[Vorkie]

Ga in ieder geval niet voor Consumer grade SSD's. Die schrijf je zo stuk als ik je berichtje zo lees.

[Wasp]

Ik werd even getriggerd door deze zin

[..] én ik mag de data niet kwijtraken.

Vergeet niet dat RAID géén back-up is. Dus je moet naast RAID (om een uitval in schijven op te vangen terwijl je systeem wel door kan draaien) wel nog een aparte back-up faciliteit regelen.

[peize9]

Mocht je meer m.2's nodig hebben, dan zijn er altijd dit soort dingen: pricewatch: ASUS HYPER M.2 X16 GEN 4 CARD

Die Samsung 980 SSD's zijn niet geschikt voor je usecase. De TBW (Max hoeveelheid data die je naar een SSD kan schrijven, Total Bytes Writen) is te laag, met 600TB. Een betere keuze is bijvoorbeeld pricewatch: PNY XLR8 CS3140 1TB, deze heeft een veel hogere TBW.

Verder vraag ik me af of je niets iets meer richting de server kant wil gaan met registered ECC memory e.d. Het Mobo kan ECC gebruiken, alleen het kingston kitje is niet ECC.

[JssDWt]

Vorkie schreef op woensdag 8 december 2021 @ 09:25:
Ga in ieder geval niet voor Consumer grade SSD's. Die schrijf je zo stuk als ik je berichtje zo lees.

Dank, Ik zal onderzoek doen naar duurzamere SSDs. Heb je tips toevallig?

[JssDWt]

Wasp schreef op woensdag 8 december 2021 @ 09:27:
Ik werd even getriggerd door deze zin


[...]


Vergeet niet dat RAID géén back-up is. Dus je moet naast RAID (om een uitval in schijven op te vangen terwijl je systeem wel door kan draaien) wel nog een aparte back-up faciliteit regelen.

Goede tip. Ik ga inderdaad backups maken. Maar gebruik van die backups wordt niet ideaal. Het is meer een soort noodprocedure. Ik hoop met RAID de kans om in de noodprocedure terecht te komen te verminderen.

[JssDWt]

peize9 schreef op woensdag 8 december 2021 @ 10:06:
Mocht je meer m.2's nodig hebben, dan zijn er altijd dit soort dingen: pricewatch: ASUS HYPER M.2 X16 GEN 4 CARD

Die Samsung 980 SSD's zijn niet geschikt voor je usecase. De TBW (Max hoeveelheid data die je naar een SSD kan schrijven, Total Bytes Writen) is te laag, met 600TB. Een betere keuze is bijvoorbeeld pricewatch: PNY XLR8 CS3140 1TB, deze heeft een veel hogere TBW.

Verder vraag ik me af of je niets iets meer richting de server kant wil gaan met registered ECC memory e.d. Het Mobo kan ECC gebruiken, alleen het kingston kitje is niet ECC.

- ECC registered memory, goed punt, daar ga ik naar kijken.
- Ook zo'n asus card voor meer M.2 slots ziet er goed uit voor de toekomstbestendigheid
- Heeel goed dat je die TBW aandraagt. Daar had ik niet op gerekend. Als ik benchmarks bekijk van die pny-xlr8-cs3140, dan lijkt de Samsung uit elke test ongeveer 2x zo goed naar boven te komen. Is dat schijn? Ik moet in ieder geval een hogere TBW, óf een grotere SSD aanschaffen zo te zien.

[TumTum]

Wat voor filesystem wil je gaan gebruiken? Het is met ZFS bijv. ook handig om te kijken naar memory verbruik. Daarnaast is de performance van SSD's ook belangrijk vanwege de random write sync..

[peize9]

JssDWt schreef op woensdag 8 december 2021 @ 14:00:
[...]


- ECC registered memory, goed punt, daar ga ik naar kijken.
- Ook zo'n asus card voor meer M.2 slots ziet er goed uit voor de toekomstbestendigheid
- Heeel goed dat je die TBW aandraagt. Daar had ik niet op gerekend. Als ik benchmarks bekijk van die pny-xlr8-cs3140, dan lijkt de Samsung uit elke test ongeveer 2x zo goed naar boven te komen. Is dat schijn? Ik moet in ieder geval een hogere TBW, óf een grotere SSD aanschaffen zo te zien.

Ik dacht gezien te hebben dat hij ongeveer 3x de tbw van de samsung had maar kan het niet terug vinden. Iig, je snapt het probleem en dus dat je er even naar moet kijken.

[JssDWt]

TumTum schreef op woensdag 8 december 2021 @ 14:02:
Wat voor filesystem wil je gaan gebruiken? Het is met ZFS bijv. ook handig om te kijken naar memory verbruik. Daarnaast is de performance van SSD's ook belangrijk vanwege de random write sync..

Ik neig naar ZFS inderdaad. Betrouwbaarheid is toch belangrijker nog dan snelheid. Over memory wat dat betreft heb ik me nog geen zorgen gemaakt. Ik dacht dat ZFS tot 50% van je memory kan gebruiken, maar dat dat configureerbaar is. En bovendien wordt vrijgegeven als je de RAM voor iets anders nodig hebt. Die 128GB RAM heb ik ook wel wat ruim gekozen. Dus daar maak ik me geen zorgen over.

Performance van de SSDs, dat wel...
Zijn er betere SSDs te vinden nog? Enterprise grade dingen?

[silverball]

JssDWt schreef op woensdag 8 december 2021 @ 13:52:
[...]


Goede tip. Ik ga inderdaad backups maken. Maar gebruik van die backups wordt niet ideaal. Het is meer een soort noodprocedure.

Dat is meestal hé, met een back-up

[JssDWt]

silverball schreef op woensdag 8 december 2021 @ 14:16:
[...]

Dat is meestal hé, met een back-up

Haha ja da's waar.
Al kan je in sommige systemen gewoon weer verder vanaf het punt van backup. Maar dat is bij mij niet het geval helaas.

[eL_Jay]

Volgens mij is de chipset connect bij AMD beperkt tot x4 4.0 lanes (alles wat je via de chipset verbind gaat door een trechter van X4 4.0) Als je verwacht dat je de chipset flink gaat belasten kun je intel.overwegen. die biedt bij de laatste gen x8 4.0.
Zo kan je zowel een rappe SSD als 10 Gb/s ethernet tegelijk voltrekken. Of bijv 2 rappe SSD's via de chipset verbinden zonder dat die zwaar gebottelnecked worden bij zware load.

Jij kunt beter bepalen of minder cores (Intel) een grote bottleneck vormen dan de helft aan bandbreedte richting je chipset.

Ik hoor je over RAID en volgens mij is bandbreedte dan best wel een ding.

[ Voor 19% gewijzigd door eL_Jay op 08-12-2021 14:25 ]

[silverball]

JssDWt schreef op woensdag 8 december 2021 @ 14:18:
[...]


Haha ja da's waar.
Al kan je in sommige systemen gewoon weer verder vanaf het punt van backup. Maar dat is bij mij niet het geval helaas.

Kan je in FreeBSD geen oudere ZFS snapshots booten vanuit de bootloader? Vast wel, toch?

Edit; heb je al voor servermoederbordjes gekeken met bijvoorbeeld meer I/O (sata/sas), IPMI (of vergelijkbaar)? Denk aan asrock rack serie of supermicro. Ik vind IPMI wel een killer feature; hoef ik ook niet met een beeldscherm/toetsenbord te slepen als 't OS niet meer boot .

Niet je vraagstelling maar IMO is KVM op Linux toch wel een stuk beter gepolijst dan bhyve of Xen op BSD, al eens naar Linux met OpenZFS gekeken?

[ Voor 39% gewijzigd door silverball op 08-12-2021 15:28 ]

[peize9]

eL_Jay schreef op woensdag 8 december 2021 @ 14:24:
Volgens mij is de chipset connect bij AMD beperkt tot x4 4.0 lanes (alles wat je via de chipset verbind gaat door een trechter van X4 4.0) Als je verwacht dat je de chipset flink gaat belasten kun je intel.overwegen. die biedt bij de laatste gen x8 4.0.
Zo kan je zowel een rappe SSD als 10 Gb/s ethernet tegelijk voltrekken. Of bijv 2 rappe SSD's via de chipset verbinden zonder dat die zwaar gebottelnecked worden bij zware load.

Jij kunt beter bepalen of minder cores (Intel) een grote bottleneck vormen dan de helft aan bandbreedte richting je chipset.

Ik hoor je over RAID en volgens mij is bandbreedte dan best wel een ding.

Intel's 12e generatie is idd ook niet verkeerd, ook al weet ik niet hoe die Ecores werken met non-windows systemen.

Epyc kan ook nog altijd... dan heb je direct genoeg lanes voor een lange tijd. Ik weet alleen niet of je dat qua budget wil doen.

[JssDWt]

eL_Jay schreef op woensdag 8 december 2021 @ 14:24:
Volgens mij is de chipset connect bij AMD beperkt tot x4 4.0 lanes (alles wat je via de chipset verbind gaat door een trechter van X4 4.0) Als je verwacht dat je de chipset flink gaat belasten kun je intel.overwegen. die biedt bij de laatste gen x8 4.0.
Zo kan je zowel een rappe SSD als 10 Gb/s ethernet tegelijk voltrekken. Of bijv 2 rappe SSD's via de chipset verbinden zonder dat die zwaar gebottelnecked worden bij zware load.

Jij kunt beter bepalen of minder cores (Intel) een grote bottleneck vormen dan de helft aan bandbreedte richting je chipset.

Ik hoor je over RAID en volgens mij is bandbreedte dan best wel een ding.

Dank voor je antwoord. Op zich is de bandbreedte die gebruikt zal worden relatief beperkt. Het gaat vooral om reactiesnelheid, dus opzoeken/wegschrijven van data moet snel zijn. Meestal is het niet perse heel veel tegelijk. Dus ik denk dat het met de bandbreedte goed zit. De cores zijn dus ook belangrijker dan de bandbreedte inderdaad.

[JssDWt]

silverball schreef op woensdag 8 december 2021 @ 14:24:
[...]

Kan je in FreeBSD geen oudere ZFS snapshots booten vanuit de bootloader? Vast wel, toch?

Edit; heb je al voor servermoederbordjes gekeken met bijvoorbeeld meer I/O (sata/sas), IPMI (of vergelijkbaar)? Denk aan asrock rack serie of supermicro. Ik vind IPMI wel een killer feature; hoef ik ook niet met een beeldscherm/toetsenbord te slepen als 't OS niet meer boot .

Niet je vraagstelling maar IMO is KVM op Linux toch wel een stuk beter gepolijst dan bhyve of Xen op BSD, al eens naar Linux met OpenZFS gekeken?

Oudere snapshots kan inderdaad. Maar het punt is dat ik er zeker van moet zijn dat ik de laatste versie gebruik. Als ik niet zeker weet dat ik de laatste versie gebruik zal ik de noodprocedure inzetten. Daarom is een snapshot niet geschikt voor mijn usecase.

Kijk, dat IPMI klinkt inderdaad als een killer feature, daar was ik niet mee bekend.

Wat bedoel je precies met 'meer I/O'? Hoe kan ik dat vinden, hier op tweakers bijvoorbeeld? Excuus voor de domme vraag, maar ik ben cloud computing gewend en dan druk je gewoon op 'meer IOPS' haha.

[JssDWt]

peize9 schreef op woensdag 8 december 2021 @ 16:46:
[...]
Epyc kan ook nog altijd... dan heb je direct genoeg lanes voor een lange tijd. Ik weet alleen niet of je dat qua budget wil doen.

Bij Epyc begon ik wel wat te zweten wat betreft budget inderdaad

[peize9]

JssDWt schreef op woensdag 8 december 2021 @ 21:19:
[...]


Bij Epyc begon ik wel wat te zweten wat betreft budget inderdaad

Het is vooral ook jammer dat de moederplankjes zo duur zijn, een cpu als pricewatch: HPE AMD EPYC 7282 Tray valt best mee.

[silverball]

JssDWt schreef op woensdag 8 december 2021 @ 21:18:
[...]

Wat bedoel je precies met 'meer I/O'? Hoe kan ik dat vinden, hier op tweakers bijvoorbeeld? Excuus voor de domme vraag, maar ik ben cloud computing gewend en dan druk je gewoon op 'meer IOPS' haha.

Ik doelde vooral op meer poorten, zoals SATA. Je kan in de pricewatch in de linkerkolom filteren op specificaties, zoals platform, poorten of zaken als IPMI.

JssDWt schreef op woensdag 8 december 2021 @ 21:18:
[...]

Oudere snapshots kan inderdaad. Maar het punt is dat ik er zeker van moet zijn dat ik de laatste versie gebruik. Als ik niet zeker weet dat ik de laatste versie gebruik zal ik de noodprocedure inzetten. Daarom is een snapshot niet geschikt voor mijn usecase.

Ik snap je niet, maar dat maakt niets uit

[jelmert]

Wat ben je met deze machine van plan als ik vragen mag? Het lezen van dit topic roept bij mij namelijk nogal wat vragen op.

Je gaat meerdere VM's draaien op 1 machine en deze VM's maak je dan weer onderdeel van hetzelfde Kubernetes cluster? Als het je doel is om ervaring met Kubernetes op te doen dan begrijp ik je wens maar voor de rest? Er zijn makkelijkere manieren om wat containers te draaien.

Heb je overwogen om een VPS te huren of leent jouw doel zich daar niet voor?

Enfin, het zelf samenstellen van hardware vind ik al leuk genoeg om een doel op zich te zijn en daarin wil ik je plezier niet ontnemen met mijn zure vragen

[JssDWt]

jelmert schreef op donderdag 9 december 2021 @ 13:09:
Wat ben je met deze machine van plan als ik vragen mag? Het lezen van dit topic roept bij mij namelijk nogal wat vragen op.

Je gaat meerdere VM's draaien op 1 machine en deze VM's maak je dan weer onderdeel van hetzelfde Kubernetes cluster? Als het je doel is om ervaring met Kubernetes op te doen dan begrijp ik je wens maar voor de rest? Er zijn makkelijkere manieren om wat containers te draaien.

Heb je overwogen om een VPS te huren of leent jouw doel zich daar niet voor?

Enfin, het zelf samenstellen van hardware vind ik al leuk genoeg om een doel op zich te zijn en daarin wil ik je plezier niet ontnemen met mijn zure vragen

De reden dat ik kubernetes wil gaan gebruiken is vooral om ervaring op te doen met het opbouwen van een Kubernetes cluster inderdaad. De management tools voor Kubernetes zijn ook uitgebreid en het decalarative model vind ik fijn. Dat gezegd, zou het net zo goed een docker-compose of iets dergelijks kunnen zijn inderdaad, aangezien het (voorlopig) op één server draait.

Het samenstellen van hardware is een bijzondere kunst. Ik had me er nog niet eerder mee bezig gehouden. Een vakgebied op zich!

Wat het precies gaat doen kan ik niet echt uitleggen. Maar 1 applicatie die snel moet kunnen reageren dus, waarbij disk access de bottleneck is. En de rest is monitoring vooral.

Ik heb overwogen een VPS te gebruiken, maar de hoeveelheid data die ik van plan ben op te slaan maakt een VPS veel duurder dan zelf hosten. Met zo'n server heb ik na een jaar de kosten eruit. Dat vind ik een goede deal.

[Pawnhamster]

Tering dat is goed verstopt op de website van pny...

Hierbij de tbw van de pny 4130 CS3140 per opslaggrootte

[mcDavid]

JssDWt schreef op donderdag 9 december 2021 @ 21:05:
[...]


De reden dat ik kubernetes wil gaan gebruiken is vooral om ervaring op te doen met het opbouwen van een Kubernetes cluster inderdaad. De management tools voor Kubernetes zijn ook uitgebreid en het decalarative model vind ik fijn. Dat gezegd, zou het net zo goed een docker-compose of iets dergelijks kunnen zijn inderdaad, aangezien het (voorlopig) op één server draait.

Het samenstellen van hardware is een bijzondere kunst. Ik had me er nog niet eerder mee bezig gehouden. Een vakgebied op zich!

Wat het precies gaat doen kan ik niet echt uitleggen. Maar 1 applicatie die snel moet kunnen reageren dus, waarbij disk access de bottleneck is. En de rest is monitoring vooral.

Ik heb overwogen een VPS te gebruiken, maar de hoeveelheid data die ik van plan ben op te slaan maakt een VPS veel duurder dan zelf hosten. Met zo'n server heb ik na een jaar de kosten eruit. Dat vind ik een goede deal.

Het blijft nog steeds gissen wat je wilt doen, wat de load zal zijn, etc.
Maar als die idd zo hoog is als je doet voorkomen, dan mag je je wel eens serieus af gaan vragen of je weg komt met consumentenspul, of dat je misschien naar Intel Optane moet gaan kijken of iets dergelijks. En dan ga je je misschien realiseren waaróm een VPS duur is...

Het voordeel van een VPS is echter dat je met een simpele kunt beginnen en gemakkelijk kan upgraden/bijschalen naar mate je meer nodig hebt. En dat je meterkast gegarandeerd stil blijft.

[DiedX]

FreeBSD ondersteund geen kubernetes, dus je zal moeten gaan virtualiseren. Ik zou dan een Ubuntu pakken.

[TumTum]

JssDWt schreef op donderdag 9 december 2021 @ 21:05:
[...]


De reden dat ik kubernetes wil gaan gebruiken is vooral om ervaring op te doen met het opbouwen van een Kubernetes cluster inderdaad. De management tools voor Kubernetes zijn ook uitgebreid en het decalarative model vind ik fijn. Dat gezegd, zou het net zo goed een docker-compose of iets dergelijks kunnen zijn inderdaad, aangezien het (voorlopig) op één server draait.

Het samenstellen van hardware is een bijzondere kunst. Ik had me er nog niet eerder mee bezig gehouden. Een vakgebied op zich!

Wat het precies gaat doen kan ik niet echt uitleggen. Maar 1 applicatie die snel moet kunnen reageren dus, waarbij disk access de bottleneck is. En de rest is monitoring vooral.

Ik heb overwogen een VPS te gebruiken, maar de hoeveelheid data die ik van plan ben op te slaan maakt een VPS veel duurder dan zelf hosten. Met zo'n server heb ik na een jaar de kosten eruit. Dat vind ik een goede deal.

Is dat zo? Je kan kiezen voor NVMe en dat is in de meeste gevallen storage van de host. Bij Contabo kun je ook normale SSD storage selecteren en evt. aan de support vragen of ze de snelheid iets willen boosten. Hier doen ze niet heel moeilijk over en het kost niets extra's. Ik zit zelf niet meer bij Contabo, maar voor dit soort speeltuin omgevingen is 3000+ euro heel veel geld. Daarnaast is ECC geheugen belangrijk voor ZFS met compression en dedup. ZFS caching zorgt er ook voor dat je niet heel veel I/O vraagt van de disken.

Check dus eens: https://contabo.com/en/vps/

Edit: Vergeet je energierekening niet.