Aanschaf losstaand systeem voor docker + opslag

[enigmafan]

Info
Ik wil een systeem maken dat geschikt is om veel data op te slaan en Docker te kunnen gebruiken.

Aanvankelijk was ik aan het denken om een Raspberry pi 5 16GB met een sata hat voor 5 sata sas drives te maken om zo data op te kunnen slaan en Docker uit te voeren.
Ik heb momenteel een Raspberry PI 5 8GB met een USB sata aansluiting waarop een 2TB 2.5 inch SSD sata drive.

Wat wil je doen met je nieuwe systeem?

In docker voer ik een programma uit dat 24 uur per dag info uit allerlei bronnen verzamelt en deze in een Postgres database opslaat. Omdat dit best wel groeit dacht ik aanvankelijk om de grotere PI met sata drive te overwegen maar ik denk nu dat een oplossing met iets robuustere componenten beter zal werken.
Mijn idee is minimaal 5 drives te gebruiken in combinatie met Linux en ZFS. Linux ook omdat Docker basically out of the box werkt en ZFS omdat ik begrepen heb dat dit 1 van de betrouwbaarste filesystemen is. Linux kennis is geen issue.
Wat ik vooral graag wil is dat er veel data veilig wordt opgeslagen, daarom ZFS plus veel ram. Uiterlijk van het geheel boeit me niet.
Ik wil het systeem niet als nas gebruiken.

Wat mag het systeem gaan kosten?

Ik probeer zo goedkoop mogelijk uit te zijn, liefst onder de prijs van een rpi5 16gb & Raxda Penta sata hat (zeg 240 euro) maar dat is onrealistisch dus liefst onder de 450 euro.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?

Keyboard muis etc zijn er, ik verwacht dat dit systeem weinig tot geen supervisie nodig zal hebben dus ik zie geen problemen. Verder zijn de drives ook geen probleem, ik ga nu uit van 4 stuks 2.5 inch sata sas ssd's voor de ZFS opstelling en 1 drive voor het OS, dus totaal 5.

Heb je nog bepaalde (merk)voorkeuren?
Ik heb geen merkvoorkeuren. Ik sta dan ook open voor alles.

Heb je nog bepaalde eisen/wensen?
Nu nog niet.

Ga je overklokken?
Nee.

Wat verwacht je van ons?

• Ik heb geprobeerd zo veel mogelijk de goedkoopste versie van componenten te kiezen. Is deze keuze verstandig?
• De maximale hoeveelheid geheugen op het moederbord is 128gb en ik heb er 4 van 32gb genomen omdat deze combinatie voor zover ik kon zien het goedkoopst was. Gaat dat goed samen met dual channel? Of bestaat er zo iets als quad channel dat beter is? Overigens heb ik bewust ECC/registered gekozen op aanraden van een site die ging over betrouwbaarheid van ZFS in samenwerking met geheugen.
• Ik heb 2 processoren in de lijst gezet, een Ryzen 5 en Ryzen 7. Ik weet niet of de 7 een heel groot voordeel biedt maar om de een of andere denk ik dat een 7 veel beter is dan een 5. Is het verschil heel groot?
• De voeding is de goedkoopste die ik kon vinden met dit amperage en ik heb 'gold' gekozen met de gedachte dat gold vast beter is dan niets. Is 650W genoeg, of way overdreven?
• Ik heb heel simpel de goedkoopste behuizing gekozen. Is er een reden om een betere/duurdere te nemen?
• Kan wat ik heb gekozen sowieso? Zijn er gekke combinaties die niet handig zijn?

#	Categorie	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 4500 Boxed	€ 52,77	€ 52,77
1	Processors	AMD Ryzen 7 5700X Tray	€ 110,99	€ 110,99
1	Moederborden	ASUS TUF Gaming B550-PLUS	€ 113,68	€ 113,68
1	Behuizingen	Sharkoon VS9 Black	€ 39,-	€ 39,-
4	Geheugen intern	HP 32GB (1x32GB) Quad Rank x4 DDR4-2133 CAS-15-15-15 LR (retail)	€ 34,15	€ 136,60
1	Voedingen	Inter-Tech Argus RGB-650W CM II	€ 56,43	€ 56,43
Bekijk collectie Importeer producten			Totaal	€ 509,47

[martyw]

Beide CPU's hebben geen ingebouwde GPU, ik vermoed dat dit systeem daarom niet boot - neem een CPU met ingebouwde graphics. En ja de Ryzen 7 presteert een flink stuk beter dan de Ryzen 5, maar als het nu op een raspberry Pi dtaait is iedere x86 CPU al een upgrade. Een 650 Watt is enorme overkill, veel meer dan 100 Watt gaat dit systeem niet gebruiken (CPU +/- 65 Watt onder load, SSD max 10 Watt/stuk, rest << 50 Watt).

Deze AMD moederborden ondersteunen unbuffered ECC RAM, je hebt nu registered RAM in je lijst staan (zie hier voor uitleg)

Met een CPU met ingebouwde graphics, en ondersteuning voor ECC RAM - alleen de PRO modellen doen dat bij deze APU's, kom je dan op iets als

#	Categorie	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 PRO 5655G (MPK)	€ 139,95	€ 139,95
1	Moederborden	ASRock B450M-HDV R4.0	€ 48,24	€ 48,24
1	Behuizingen	Tacens Anima ACX	€ 33,50	€ 33,50
1	Kabels	Startech.com 4x SATA Power Splitter Adapter Cable (PYO4SATA) Zwart	€ 5,90	€ 5,90
1	Computer accessoires	Inter-Tech 120W externe voeding	€ 21,89	€ 21,89
1	Processorkoeling	Arctic Freezer 8A CO	€ 16,17	€ 16,17
1	Geheugen intern	Kingston KTH-PL432E/32G	€ 115,-	€ 115,-
1	Voedingen	Mini-box picoPSU PicoPSU-160-XT	€ 52,55	€ 52,55
			Totaal	€ 433,20

[ Voor 6% gewijzigd door martyw op 13-07-2025 00:39 ]

[martyw]

En als je erg wilt besparen op de voeding, en een hoger stroomverbruik kan hebben, zou ik een servertje als dit ook wel van een LC-Power LC420-12 V2.31 (300W) durven voorzien.

[The Eagle]

Wat doet dat stukje software van je precies? Want veel data is een betrekkelijk begrip. Wat ik wel weet is dat databases van boven de TB nogal slecht handelbaar kunnen worden, en je al die data vaak niet meteen beschikbaar hoeft te hebben.

Ik wil je best wat hardware adviseren, maar ik vraag me eerder af of je de juiste software voor je toepassing hebt.

Omgaan met TB's, of zelfs PB's aan data is echt niet heel lastig, maar je moet er over het algemeen geen rdbms voor gebruiken. Eerder wil je je data storage en je compute / processing scheiden.

Dus vertel, wat doet dat ding?

[enigmafan]

Hoi 'The Eagle',

Dank je voor de reactie.

Het ding verzamelt prijzen van allerlei producten waar in ieder geval ik interesse in heb.
Het loopt nu op een Raspberry PI 5 8GB en om een idee te geven, de tabel 'prijzen' bevat entries vanaf 30 januari 2022 en, zojuist even gecheckt, de recentste prijs van enkele minuten geleden heeft id 40.210.792.
De Postgres backup (die is in leesbaar ASCII) is 290G.
Het actieve database bestand is, als ik het 'du' commando juist interpreteer, 2.177.328.000 bytes groot.

Volgens mij geen gigantische grote bestanden. Snelheid vind ik niet de belangrijkste factor. Uitbreiding van de hoeveelheid data die opgeslagen kan worden maar vooral een grotere betrouwbaarheid (daarom ZFS en ECC/Registered geheugen) vind ik wel belangrijk.

[enigmafan]

Hoi 'martyw',

ook dank voor je reactie.
Ik wist niet dat een processor zonder GPU niet kan booten. Ik dacht altijd dat er wel output mogelijk was naar een scherm maar dat dat gewoon langzamer zou zijn.
Goed dat je de processorkoeler hebt toegevoegd die had ik even over het hoofd gezien...

Een ding dat me direct opvalt is het geheugen, dat staat in je lijst als 32G voor 115 euro, dus als ik op 128G zou willen uitkomen wordt dat 460 euro. Is zo'n bedrag per se nodig voor ECC geheugen, als in duurder is beter dan de goedkopere varianten?
Ik ga nu de uitleg over geheugen lezen en jouw lijst even verder bestuderen, thanx!

[DjoeC]

Hoe kan de backup van 2GB aan gegevens zomaar 290GB worden? Het lijk me dat je naast naar hardware ook naar andere dingen moet kijken...

Mijn eigenbouw, genormaliseerde (en deels gedenormaliseerde) sensor database met na ruim 6 jaar 50M datapunten en ook 2GB groot levert een dagelijks backup bestand (middels Navicat) van 215MB. Om het aantal datapunten binnen de perken te houden gaat mijn database uit van intervallen wat zo'n 20M datapunten per jaar scheelt zonder gegevens verlies.

[enigmafan]

Postgres slaat een database op in een bepaald formaat. De backup die ik maak is een dump van die gegevens, deze is in ASCII.
Hoewel ik er nooit zo bij heb stilgestaan is mijn aanname dat ASCII een minder efficient formaat is dan het interne Postgres formaat. Toegegeven, een factor 145 is wel opvallend... Het zou kunnen zijn dat de 2GB die ik noem niet de complete db is