Het grote zuinige server topic - deel 3

[andru123]

@SirMario de ATX voeding past niet in die kast. Heb je een kleinere voeding nodig. Of andere kast.

[mrmrmr]

@devilkin Grote verbruikers, grosso modo:
videokaart: antiek, 10-20W
voeding: 5-15W
controller: 8-10W
hard disks: 4W per stuk
SSD's: antiek, data center 0,8-3,3W per stuk (gewone SSD: 50mW)
moederbord: rack betekent vaak dat er weinig is geoptimaliseerd

Remedie:
Gebruik grote disks (>18TB) en herbestem oude disks voor bijvoorbeeld backup via USB3 of verkoop ze. De waarde is veel kleiner dan het stroomverbruik. De controller kan worden vervangen door ASM1166. Het moederbord door een zuiniger type of optimaliseer (zie topic start), zelfde voor OS. Videokaart verwijderen. Pas een zuinige consumenten pcie3 SSD toe.

Hardware is zeker niet de enige knop of belangrijkste knop waar je aan kan draaien. De software en vooral slecht ingestelde of geprogrammeerde software is van groot belang. Sommige applicaties doen veel te vaak werk, bijvoorbeeld voor monitoring. Dat kun je terugbrengen tot 1 minuut, of beter nog, met een langere interval. Stel dat je het verbruik meet, dan is onzinnig 50 keer per seconde te meten als de weergave per 5 minuten is. Dan meet je beter eenmaal per 5 minuten.

Je kan nagaan waarom de disks actief zijn met een trace tool. Zet /tmp en andere actieve directories op een SSD.

[devilkin]

@mrmrmr Hmm. Vooral die videokaart zou ik niet verwacht hebben, het is uiteindelijk een echt mini dingetje. Is puur om in de bios te kunnen.
Kan eens kijken naar een Xeon model welke wel een iGPU heeft, dat moet nog wel aan lage kost te vinden zijn.

Wat je remedie betreft is het relatief: de kostprijs die dit met zich meebrengt ga je niet op 1-2-3 terugwinnen in electriciteitsgebruik. Het is ook nogal drastisch

SSD's zijn inderdaad niet de recentste, maar ik heb wel PLP nodig, en dat vind je bijna niet op een consumer grade SSD.

Controller kan ik eens bekijken of ik een recentere kan vinden aan een acceptabele prijs. Al had ik gekozen voor een SAS controller omdat de onboard controller blijkbaar niet 100% kan volgen als alle disks zwaar belast zijn (wat niet het geval is met de SAS controller)

Disk activity: ik weet perfect waar het naartoe gaat, zie ook de workload die ik erbij heb gschreven

[ Voor 9% gewijzigd door devilkin op 08-04-2025 07:55 ]

[mrmrmr]

@devilkin Een recente videokaart is geen goede oplossing. Eruit halen wel. Als je het echt nodig hebt had je beter een processor kunnen kiezen met ingebouwde gpu.

Ik zie zeker wel een aantal zaken die financieel en technisch haalbaar zijn. Het is wel een kwestie van willen en doen.

[latka]

devilkin schreef op maandag 7 april 2025 @ 21:54:
Ik vroeg me af of hier iemand hints heeft hoe ik deze build iets zuiniger zou krijgen?

* Xeon E3-1230v5
* Asrockrack C236M WS moederbord

Bord heeft 8*sata, die sas controller eruit scheelt zo 10 watt.

* 2x WDC WD140EFGX
* 2x WDC WD120EFBX
* 2x WDC WD60EFRX

Schijven vervangen door grotere?

* 2x INTEL SSDSC2BA100G3R

Ik denk dat je zfs gebruikt. Is dit l2arc of een special device? Is het l2arc dan eruit halen.

* LSI SAS2008 (daar hangen alle schijven aan)

Eruit..

* GeForce GT 610

Is die gpu echt nodig? Ik neem aan dat dit ding in de meterkast staat oid?

[devilkin]

latka schreef op dinsdag 8 april 2025 @ 08:11:
Bord heeft 8*sata, die sas controller eruit scheelt zo 10 watt.

Zoals ik al zei hogerop: verschil in throughput is gebenchmarked, was behoorlijk merkbaar. Dus dat ga ik nog even in beraad houden.

latka schreef op dinsdag 8 april 2025 @ 08:11:
Schijven vervangen door grotere?

Prijzige investering, zeker gezien de 12 en 14TB schijven nog vrij recent zijn (vervanging van vorige schijven welke gestorven zijn). De 2x6TB (=mirror, dus 6TB usable) overweeg ik eruit te halen, maar dan moet ik even zien of ik voldoende plaats heb in de rest van m'n pools zonder.

latka schreef op dinsdag 8 april 2025 @ 08:11:
Ik denk dat je zfs gebruikt. Is dit l2arc of een special device? Is het l2arc dan eruit halen.

Nee, voor SLOG, om sync writes af te vangen. Vanuit VM's is dat vrij pijnlijk anders. Plus staat daar ook m'n rootpool op. (ja, ik weet het, is afgeraden van SLOG te mengen met iets anders maar die root pool doet niks qua iops tenzij tijdens het booten)

latka schreef op dinsdag 8 april 2025 @ 08:11:
Is die gpu echt nodig? Ik neem aan dat dit ding in de meterkast staat oid?

Nope, staat naast de TV maar die gpu is vooral gebruikt voor (zoals ik al zei) ik in de bios moet zijn en/of bootproblemen heb. Dan die kast opengooien is minder handig. Maar ondertussen heb ik al even rondgekeken en een E3-1245 besteld voor een prikje. TDP is lager en heeft iGPU.

[pimlie]

@SirMario Wat betreft je dubbele redundantie logica, ben je er mee bekend dat het gebruik van 2 disks ipv 1 er voor zorgt dat je een twee keer zo grote kans hebt dat er een disk kapot gaat? Uiteraard als er een disk kapot gaat heb je die redundantie, maar je maakt het dus 2x aannemelijker dat je die redundantie nodig hebt.

Daarnaast, de MTBF van Red Plus disks zijn maar 1 miljoen uur, die van bv een 20TB MG10 ligt op 2.5 mijoen uur. Je zou dus ook kunnen zeggen dat je door het gebruik van 4x Red Plus disks ipv 2x MG10 disks een 5x grotere kans hebt dat er een disk kapot gaat (1/4 tov 2.5/2).

Nu zeg ik niet dat 2x20TB een betere en/of veiligere oplossing is, want resilver tijd is ook een ding bij grote disks, maar die 5x grotere kans dat er een disk kapot gaat is wel iets dat goed is om je te realiseren als je dat nog niet had gedaan.

[RobertMe]

pimlie schreef op dinsdag 8 april 2025 @ 10:57:
Uiteraard als er een disk kapot gaat heb je die redundantie, maar je maakt het dus 2x aannemelijker dat je die redundantie nodig hebt.

Is de kans niet oneindig keer aannemelijker? Want met 1 disk ga je de redundantie nooit nodig hebben, want die bestaat helemaal niet.

[Mars Warrior]

RobertMe schreef op dinsdag 8 april 2025 @ 11:01:
[...]
Is de kans niet oneindig keer aannemelijker? Want met 1 disk ga je de redundantie nooit nodig hebben, want die bestaat helemaal niet.

Daarom adviseren wij in dit zuinige server topic ook altijd om GEEN disken te gebruiken, dan bestaat het hele probleem niet namelijk

[pimlie]

@RobertMe Je kan een situatie zonder redundantie uiteraard niet vergelijken met een situatie met redundantie. Dus de relevante vergelijking die je hier zou moeten maken is 4x disks in raid 6/10 versus 2x disks in raid 1

[Mars Warrior]

pimlie schreef op dinsdag 8 april 2025 @ 10:57:
@SirMario Daarnaast, de MTBF van Red Plus disks zijn maar 1 miljoen uur, die van bv een 20TB MG10 ligt op 2.5 mijoen uur. Je zou dus ook kunnen zeggen dat je door het gebruik van 4x Red Plus disks ipv 2x MG10 disks een 5x grotere kans hebt dat er een disk kapot gaat (1/4 tov 2.5/2).

Als de disks ook nog tegelijkertijd zijn aangeschaft (zelfde batch), dan wordt de kans nog groter dat de disks rond dezelfde periode kapot gaan. Dat kan dus eerder zijn of later dan de MTBF, immers de M is van Mean

[Mars Warrior]

pimlie schreef op dinsdag 8 april 2025 @ 11:10:
@RobertMe Je kan een situatie zonder redundantie uiteraard niet vergelijken met een situatie met redundantie. Dus de relevante vergelijking die je hier zou moeten maken is 4x disks in raid 6/10 versus 2x disks in raid 1

Op het werk worden die grote disks vaak in partities verdeeld om lokaal falen op te vangen. Een 20TB disk wordt dan 4x5TB bijvoorbeeld. Daarmee kun je dus altijd doordraaien als 1 partitie uitvalt.
Performance is dan wel af en toe een dingetje, maar dat is een keuze.

Dit wel onder de aanname/ervaring dat het altijd een oppervlakte probleem is, en niet iets van de disk zelf (motor/arm/kop), want kapot is dan kapot.

[RobertMe]

Mars Warrior schreef op dinsdag 8 april 2025 @ 11:11:
[...]

Als de disks ook nog tegelijkertijd zijn aangeschaft (zelfde batch), dan wordt de kans nog groter dat de disks rond dezelfde periode kapot gaan. Dat kan dus eerder zijn of later dan de MTBF, immers de M is van Mean

Daarom verspreid kopen of vroegtijdig vervangen. Ik heb toentertijd 3x 8TB gekocht, maar na een jaar (met edn aanbieding) eentje vervangen door een 14TB model. En een jaar later een vervangen met een 18TB model (en uiteindelijk weer een vervangen met een 20TB model). Waarbij uiteindelijk die 20TB gekocht is om van een RAIDZ1 pool van 3x 8TB de upgrade naar 3x 14TB te kunnen doen. Immers is de kleinste disk bepalend en dat was de resterende 8TB.

En die 8TBs waren geshuckte WD Elements die nu weer ge-un-shucked zijn en voor backups gebruikt worden via USB dus.

[pimlie]

@Mars Warrior Technisch correct, maar dat is een ander risico en geldt voor alle type disks. Als je daar naar gaat kijken zou je bv ook naar temperatuur & trillingen kunnen kijken. Maar het verschil is dat de impact van die 3 factoren niet heel erg gaan verschillen door het gebruik van 2 vs 4 disks als je een fatsoenlijke case hebt.

Op het werk worden die grote disks altijd in partities verdeeld om lokaal falen op te vangen. Een 20TB disk wordt dan 4x5TB bijvoorbeeld. Daarmee kun je dus altijd doordraaien als 1 partitie uitvalt.

Sorry, die logica snap ik niet Een partitie valt niet uit, een disk valt uit. Een partitie kan beschadigd raken maar dan is dat of een software / filesystem probleem of je disk is zo rot dat er geen reserve sectoren meer beschikbaar zijn om bad sectors op te vangen. Het eerste geval beschermt je niet tegen hardware falen waar we het hier over hebben en in het laatste geval had je waarschijnlijk adhv SMART waarden kunnen zien dat de disk een half jaar geleden al vervangen had moeten worden.

[RobertMe]

pimlie schreef op dinsdag 8 april 2025 @ 11:24:
[...]


Sorry, die logica snap ik niet Een partitie valt niet uit, een disk valt uit. Een partitie kan beschadigd raken maar dan is dat of een software / filesystem probleem of je disk is zo rot dat er geen reserve sectoren meer beschikbaar zijn om bad sectors op te vangen. Het eerste geval beschermt je niet tegen hardware falen waar we het hier over hebben en in het laatste geval had je waarschijnlijk adhv SMART waarden kunnen zien dat de disk een half jaar geleden al vervangen had moeten worden.

Als de sector "jaren later" niet meer gelezen kan worden heb je toch niks meer aan die reserve sectoren? (Zonder "backup" (redundancy van de disk) die dat stukje data opnieuw kan schrijven). Want bij mijn weten heeft die reserve sector alleen nut als je de data schrijft en dan blijkt dat schrijven mislukt of eerder het lezen is mislukt (maar dan had je dus al een corruptie).

Maar wat het splitten dan toevoegt snap ik ook niet echt. In ieder geval een ZFS maakt geen probleem van bad sectors. Sure, je mist de data, maar dat is het dan ook. Maar als je hardware raid hebt loop je AFAIK het risico dat de disk er uit gegooid wordt, maar bij mijn weten dan ook echt disk? Dus het opdelen on partities heeft dan ook geen nut als die toch de gehele disk er uit gooit. (Als die alleen de partitie er uit gooit zou het beperkt nut kunnen hebben. Maar dan nog zou het ook niet mijn keuze zijn om een disk puur hiervoor in partities op te splitsen).

[pimlie]

RobertMe schreef op dinsdag 8 april 2025 @ 11:32:
Als de sector "jaren later" niet meer gelezen kan worden heb je toch niks meer aan die reserve sectoren?

Inderdaad, maar het gebruik van meerdere partities of niet veranderd daar ook niets aan.

Maar we zijn nu allemaal extra risico's/zaken erbij aan het halen die allemaal terecht zijn, maar niets veranderen aan het feit dat N disks met gelijke MTBF een N grotere kans op een diskfout geeft tov maar 1 van die disks.

[devilkin]

Dat is toch een vrij scheve manier om naar een storage setup te kijken.

Je hebt geen redundancy, dus als het kapot is heb je ook gewoon gedaan met zingen. En moet je gaan restoren van backup, met downtime.

Het is niet omdat je 2 schijven uit dezelfde batch hebt dat die het ook op hetzelfde moment gaan begeven (practisch ervaring). Zelfs met 2 schijven in een mirror ben je beter af dan 1 zonder.

[Nutral]

pimlie schreef op dinsdag 8 april 2025 @ 11:42:
[...]


Inderdaad, maar het gebruik van meerdere partities of niet veranderd daar ook niets aan.

Maar we zijn nu allemaal extra risico's/zaken erbij aan het halen die allemaal terecht zijn, maar niets veranderen aan het feit dat N disks met gelijke MTBF een N grotere kans op een diskfout geeft tov maar 1 van die disks.

Je hebt een grotere kans ja, maar als er 1 kapot is heb je tenminste je data nog.

Voor mij een grote reden om zfs te draaien met een hdd raidz1 en een ssd mirror is dat ik ook weet wanneer er problemen zijn. In eerste instantie had ik stroom problemen waarvan ik dacht dat ze opgelost waren, maar 3 maanden later kreeg ik ineens errors en kwamen daarbij ook zfs checksum errors. Maar de SMART was nog helemaal ok.

Dat was dus zonder zfs gewoon naar de backup gegaan. (en bepaalde dingen zoals images en films/series maak ik geen backups van). Sterker nog, ik zou het waarschijnlijk niet eens weten als een document corrupt was geworden totdat ik er een paar jaar later achter kom, met hopelijk nog een backup van voordat dit was gebeurd.

[pimlie]

@devilkin @Nutral Sorry maar ik denk dat jullie het niet juist hebben begrepen. Zie mijn N vs 1 disks kansberekening als een soort van gedachten experiment. De vergelijking die ik vervolgens (twee keer) maak is 4x disks in raid 10/6 vs 2x disk in raid 1. Beide pools hebben redundantie. Nergens adviseer ik dat je maar 1 disk zonder redundantie zou moeten draaien.

Maar feit blijft desondanks dat ook 2x disks een 2x grotere kans op een diskfout geeft dan 1 disk. Dat is alleen zoals hierboven besproken niet het enige risico dat je loopt. Er komt dus nog veel meer bij kijken bij een uiteindelijke beslissing. En wat na het optellen van alle afzonderlijke risico's de uiteindelijke beste beslissing is zal iedereen voor zichzelf moeten bepalen.

Wat ik overigens zelf in @SirMario geval waarschijnlijk zou doen is 3 stuks 16+ TB disks aanschaffen. Dan 2x disks in raid 1 als active pool met een dagelijkse/wekelijkse sync naar de derde disk als backup. Tenzij je dagelijks heel veel data verwerkt heb je technisch gezien dan ook min of meer dubbele redundantie (je verliest maximaal 1 dag aan data), met het voordeel dat de derde disks gegarandeerd in idle gezet kan worden na het maken van de backup. Dat zou dus ook zuiniger moeten zijn.

In grotere storage setup wordt het gebruik van dubbele redundantie overigens voornamelijk ingegeven door de langere resilver tijd. Een 6TB Red Plus disk heeft een resilver tijd van ~8 uur. Een 20TB MG10 disk van ~21 uur. Dat betekent bij gebruik van enkele redundantie je bij een grote pool met 20TB disks je dus 21 uur lang geen redundantie hebt (er vanuit gaande dat je een disk minimaal als cold spare had liggen, anders moet je bestellen + levertijd er ook bij optellen).

[RobertMe]

pimlie schreef op dinsdag 8 april 2025 @ 12:09:
In grotere storage setup wordt het gebruik van dubbele redundantie overigens voornamelijk ingegeven door de langere resilver tijd. Een 6TB Red Plus disk heeft een resilver tijd van ~8 uur. Een 20TB MG10 disk van ~21 uur. Dat betekent bij gebruik van enkele redundantie je bij een grote pool met 20TB disks je dus 21 uur lang geen redundantie hebt (er vanuit gaande dat je een disk minimaal als cold spare had liggen, anders moet je bestellen + levertijd er ook bij optellen).

Tenzij je RAID6 / RAIDZ2 gebruikt, of zelfs RAIDZ3. Dan heb je 2, of zelfs 3, disks aan redundantie. Dan heb je dus ook redundactie tijdens de uitval en (lange) resilver.
Of je gebruikt een mirror met 3, 4, 5, ... disks gemirrort. Kast wat, heb je wel de redundantie zo vaak als je wilt .

[mdbraber]

Ik heb al jaren een energiezuinige server (Fujitsu 3644B / 64GB ECC RAM / 4x5 TB HDD / 2x 2TB SATA SSD / 1x 1TB NVME SSD / extra i219 NIC / PicoPSU) die top werkt (10-15W idle)

Naast die server wil ik graag een local AI server maken voor het draaien van LLM (vnml privacy-focused RAG toepassing). Dat wordt nooit echt energiezuinig uiteraard met videokaarten, maar ik wil wel kijken of ik het zou energiezuinig *mogelijk* kan doen. Mijn idee (nu) is 2x een RTX 3900 kaart. Theoretisch zouden die kaarten naar een P12 idle state moeten kunnen, maar ik lees dat dat in de praktijk meestal max P8 is. De 'lage' getallen die ik tegenkom (ook veel berichten over bizar hoog idle gebruik) zijn 25-30W per kaart.

De meest energiezuinige optie overigens voor LLM lijkt een Mac Mini M1/M2 Ultra te zijn; echter qua performance wel een stuk minder dan Nvidia kaarten (wel weer unified memory). Dat is dus altijd nog een 'fallback' optie, maar ik wil eerst onderzoeken of een optie met Nvidia kaarten zou kunnen werken.

Zijn er mensen met ervaring met het running van een energie"zuinige" AI server met Nvidia RTX 3090 (of 4090) kaarten of tips?

[ Voor 16% gewijzigd door mdbraber op 08-04-2025 13:07 ]

[Nutral]

mdbraber schreef op dinsdag 8 april 2025 @ 12:59:
Ik heb al jaren een energiezuinige server (Fujitsu 3644B / 64GB ECC RAM / 4x5 TB HDD / 2x 2TB SATA SSD / 1x 1TB NVME SSD / extra i219 NIC / PicoPSU) die top werkt (10-15W idle)

Naast die server wil ik graag een local AI server maken voor het draaien van LLM (vnml privacy-focused RAG toepassing). Dat wordt nooit echt energiezuinig uiteraard met videokaarten, maar ik wil wel kijken of ik het zou energiezuinig *mogelijk* kan doen. Mijn idee (nu) is 2x een RTX 3900 kaart. Theoretisch zouden die kaarten naar een P12 idle state moeten kunnen, maar ik lees dat dat in de praktijk meestal max P8 is. De 'lage' getallen die ik tegenkom (ook veel berichten over bizar hoog idle gebruik) zijn 25-30W per kaart.

De meest energiezuinige optie overigens voor LLM lijkt een Mac Mini M1/M2 Ultra te zijn; echter qua performance wel een stuk minder dan Nvidia kaarten (wel weer unified memory). Dat is dus altijd nog een 'fallback' optie, maar ik wil eerst onderzoeken of een optie met Nvidia kaarten zou kunnen werken.

Zijn er mensen met ervaring met het running van een energie"zuinige" AI server met Nvidia RTX 3090 (of 4090) kaarten of tips?

Is het niet een idee om met Wake on Lan de LLM PC aan te zetten? Een standby modus zou daarbij het snelste zijn, al weet ik niet of dat werkt met de standaard wake on lan.

[Mars Warrior]

RobertMe schreef op dinsdag 8 april 2025 @ 12:44:
[...]

Tenzij je RAID6 / RAIDZ2 gebruikt, of zelfs RAIDZ3. Dan heb je 2, of zelfs 3, disks aan redundantie. Dan heb je dus ook redundactie tijdens de uitval en (lange) resilver.
Of je gebruikt een mirror met 3, 4, 5, ... disks gemirrort. Kast wat, heb je wel de redundantie zo vaak als je wilt .

Als je veel data hebt dan gebruik je vanzelfsprekend geen ZFS / RAID, maar erasure coding

Geen gezeur met resilveren - want niet device maar object based parity - en je kan eea gewoon op JBOD arrays gebruiken waar je één of meerdere erasure sets overheen gooit

Data en parity zijn gewoon configureerbaar en versioning is ook mogelijk vanzelfsprekend. Je kunt zelfs op dezelfde disk zowel data als parity configureren.

Het "misbruiken" van partitities om wat meer disken te hebben valt ook in dit deel. Geen idee waarom dat dan een goed idee is overigens, ik doe die berekeningen niet gelukkig. Is mijn vak niet

Maar wel leuk om te weten dat bij 400 fysieke disks er domweg 175 mogen falen, zonder dat er ook maar één bitje verloren gaat of dat je een backup moet terugrollen.

En NEE, zuinig is het niet

[Ernie]

Ik heb op dit moment twee zuinige servers, 2 x HP T620, een dual-core en een quad-core model. Maar ben aan het kijken naar een derde server.

Een optie is om een derde HP T620 te kopen. Maar iets meer power zou misschien wel fijn zijn voor de primaire server. Ik ben een beetje de weg kwijt in alle 2e hands opties. Wat vinden jullie van een HP ProDesk 400 G4 SFF met i5-7500.

Ik kan weinig informatie vinden mbt het verbruik en over de interne poorten (sata/M2 etc.). Heeft iemand hier ervaringen? Uiteraard kosten dit ding meer dan een HP T620 maar als het stroomverbruik vergelijkbaar kan worden vind ik dat ok.

[pimlie]

@Mars Warrior Ik heb niet veel ervaring met distributed file systems (dfs) maar de claim dat 175 willekeurige disks zomaar mogen uitvallen zonder dataverlies vind ik moeilijk te geloven. Want dat kan eigenlijk alleen als je genoeg chunks/partity op de overige disks hebt en volgens mij kan je dat juist met een dfs niet garanderen omdat een dfs data wegschrijft waar er capaciteit beschikbaar is. Dat itt bv zfs dat altijd alle data op alle disks in een pool wegschrijft (en waardoor je dus per raidz level / block size een optimaal aantal disks hebt).

Wat wel zou kunnen is dat er in totaal 175 disks uit kunnen vallen zolang er genoeg tijd tussen disk uitval zit om genoeg data van elke uitvallende disk te resilveren zodat er weer minimaal 1 parity beschikbaar is voor elk object? En om weer een vergelijking te maken met zfs, zfs zal altijd alle data in de gehele pool moeten resilveren terwijl een dfs volgens mij weet welke data er op een disk stond en alleen die data hoeft te resilveren.

Misschien is dat wat je bedoelde? Of begrijp ik eea verkeerd?

[pimlie]

@Ernie Wat is je budget? Een Dell Optiplex Micro 3000 met 12500T processor kan onder de 5W idle komen. Vermoedelijk lukt dat met een vergelijkbare HP Pro Mini 400 G9 dus ook wel.

[latka]

devilkin schreef op dinsdag 8 april 2025 @ 09:30:
[...]
Zoals ik al zei hogerop: verschil in throughput is gebenchmarked, was behoorlijk merkbaar. Dus dat ga ik nog even in beraad houden.
[...]

Ik heb een supermicro versie van die C236 chipset zonder dat euvel (heb mijn lsi2008 eruit gehaald om die reden). 2e overweging was: mijn machine hangt met 1Gbit aan het netwerk, leuk dat IO hoger kan zijn, maar dat merk je niet als je via het netwerk komt. Anyway, weten is meten en ik ken je use-case niet.

Nee, voor SLOG, om sync writes af te vangen. Vanuit VM's is dat vrij pijnlijk anders. Plus staat daar ook m'n rootpool op. (ja, ik weet het, is afgeraden van SLOG te mengen met iets anders maar die root pool doet niks qua iops tenzij tijdens het booten)
[...]

Wat voor een VMs doen sync writes? Database servers, sure. Maar zover mij bekend is het voornamelijk nfs/iscsi wat sync writes geeft. Ik heb om die reden geen slog op mijn pool zitten. Maar ook hier geld: meten is weten en het internet heeft zeker op zfs dossiers niet altijd de waarheid in pacht.

[Ernie]

pimlie schreef op dinsdag 8 april 2025 @ 16:59:
@Ernie Wat is je budget? Een Dell Optiplex Micro 3000 met 12500T processor kan onder de 5W idle komen. Vermoedelijk lukt dat met een vergelijkbare HP Pro Mini 400 G9 dus ook wel.

Prijs-kwaliteit is het belangrijkste, max 100e?
Een HP T620 heb je voor 30-35 euro. Een HP prodesk G4 SFF met i5 7500 staat nu in de V&A voor 50 en staan ook regelmatig op marktplaats.

Ik ben echt prima tevreden met mijn huidige HP T620 (8-9W incl. Een zigbee dongle) maar voor een paar tientjes meer wat extra rekenkracht zonder extra idle verbruik is wel fijn natuurlijk.

Ik zit namelijk te denken om een T620 om te zetten naar een backup server die 1x per dag automatisch aangaat om een backup te ontvangen en daarna weer uit te gaan.

[pimlie]

@Ernie Tja, dat is een lastige dan. Waarom heb je uberhaupt 3 van dit soort servertjes nodig? Voor kubernetes? Of kan je ook gewoon alles migreren naar 1 server?

Er staat ook een G5 mini met 9100T op marktplaats voor 110. Is dat het waard tov een i5 7500 voor 50 euro? Geen idee, hangt er vanaf wat je er allemaal mee gaat doen. Qua verbruik zal het vermoedelijk allemaal rond de 10W idle schommelen, maar heb zelf geen ervaring met deze oudere generaties

[Mars Warrior]

pimlie schreef op dinsdag 8 april 2025 @ 18:34:
@Ernie Tja, dat is een lastige dan. Waarom heb je uberhaupt 3 van dit soort servertjes nodig? Voor kubernetes? Of kan je ook gewoon alles migreren naar 1 server?

Er staat ook een G5 mini met 9100T op marktplaats voor 110. Is dat het waard tov een i5 7500 voor 50 euro? Geen idee, hangt er vanaf wat je er allemaal mee gaat doen. Qua verbruik zal het vermoedelijk allemaal rond de 10W idle schommelen, maar heb zelf geen ervaring met deze oudere generaties

Tsja. Ik had ook eerder zo’n aantal lekkere goedkope servertjes (Fujitsu bijv) die idle wel de 3W of minder haalden, maar onder belasting niet bepaald efficiënt waren.

Mijn huidige 13900K draait wat dat aangaat rondjes om dat soort systemen bij een gemiddelde belasting. Zo’n Fujitsu bakje verbruikte met 10 containers gemiddeld meer dan mijn 13900K met 40 containers namelijk.

Alleen qua aanschafprijs is het natuurlijk een heel ander verhaal

Aan de andere kant - gezien de levensduur van 10 jaar - bespaar ik rond de 500kWh per jaar. Ook niet onaanzienlijk dus. Dat is over 10 jaar gerekend ook ruim meer dan de aanschafwaarde van de server.

Keuzes…

[Ernie]

pimlie schreef op dinsdag 8 april 2025 @ 18:34:
@Ernie Tja, dat is een lastige dan. Waarom heb je uberhaupt 3 van dit soort servertjes nodig? Voor kubernetes? Of kan je ook gewoon alles migreren naar 1 server?

Er staat ook een G5 mini met 9100T op marktplaats voor 110. Is dat het waard tov een i5 7500 voor 50 euro? Geen idee, hangt er vanaf wat je er allemaal mee gaat doen. Qua verbruik zal het vermoedelijk allemaal rond de 10W idle schommelen, maar heb zelf geen ervaring met deze oudere generaties

Dankje voor het meedenken! Ik zal ook eens kijken naar een G5 mini, er zijn zoveel opties

Combineren lukt niet echt. Momenteel heb ik 1 server als offsite backup en 1 server in huis, de derde server zou een lokale backup server worden die 1x per dag aanspringt voor een half uurtje oid. Ik gebruik proxmox backup server binnen proxmox VE en dat voelt niet goed, als de hypervisor stuk gaat wordt het veel gedoe omdat de backups daar ook onder hangen.

Mars Warrior schreef op dinsdag 8 april 2025 @ 18:50:
[...]

Tsja. Ik had ook eerder zo’n aantal lekkere goedkope servertjes (Fujitsu bijv) die idle wel de 3W of minder haalden, maar onder belasting niet bepaald efficiënt waren.

Mijn huidige 13900K draait wat dat aangaat rondjes om dat soort systemen bij een gemiddelde belasting. Zo’n Fujitsu bakje verbruikte met 10 containers gemiddeld meer dan mijn 13900K met 40 containers namelijk.

Alleen qua aanschafprijs is het natuurlijk een heel ander verhaal

Aan de andere kant - gezien de levensduur van 10 jaar - bespaar ik rond de 500kWh per jaar. Ook niet onaanzienlijk dus. Dat is over 10 jaar gerekend ook ruim meer dan de aanschafwaarde van de server.

Keuzes…

Haha, herkenbaar! Ben 2 maand geleden begonnen met proxmox en het is al gegroeid naar 1 VM voor HA, 9 LXC containers en 3 docker containers! Het zijn allemaal hele lichte dingen (HA, pihole, etc). Ik zit nu te kijken naar Immich en een Jellyfin server om mijn eigen sport videos op een toffe manier te bewaren. Vandaar het idee voor iets meer "umpf".

Mijn algeheel verbruik is juist met ~250 kWh per jaar afgenomen sinds ik dit heb. Mijn hele thuiskantoor zit nu achter een bewegingsmelder+smart plug. Daar zat 35W sluipverbruik

Even gekeken een 13900K wordt wat te heftig qua budget. Maar rondjes rennen geloof ik wel ja.

[ Voor 41% gewijzigd door Ernie op 08-04-2025 19:04 ]

[andru123]

RobertMe schreef op dinsdag 8 april 2025 @ 11:01:
[...]

Is de kans niet oneindig keer aannemelijker? Want met 1 disk ga je de redundantie nooit nodig hebben, want die bestaat helemaal niet.

Je hebt backups, toch? Hoe lang ga je de disk gebruiken? 20 jaar? 30?
Kans dat 1x disk binnen 20 jaar kapot is niet 100%, maar (veel) minder.

Kans dat ik 60 jaar leeftijd bereik is ook niet 100%. Maar ik ga niet elke dag voorbereidingen maken alsof het mijn lastste dag is. Ik ga af en toe mijn levensverzekering checken, of zorgen dat mijn vrouw/kind toegang tot de rekening heeft, that’s it. Elke dag voorbereiden voor het eergste, is te belastend. Slim, maar, ja, nee.

[Mars Warrior]

Ernie schreef op dinsdag 8 april 2025 @ 18:50:
[...]
Haha, herkenbaar! Ben 2 maand geleden begonnen met proxmox en het is al gegroeid naar 1 VM voor HA, 9 LXC containers en 3 docker containers! Het zijn allemaal hele lichte dingen (HA, pihole, etc). Ik zit nu te kijken naar Immich en een Jellyfin server om mijn eigen sport videos op een toffe manier te bewaren. Vandaar het idee voor iets meer "umpf".

Dat doe je goed dan. Ik draai ook de Immich containers. Een prachtig stukje software.

Mijn algeheel verbruik is juist met ~250 kWh per jaar afgenomen sinds ik dit heb. Mijn hele thuiskantoor zit nu achter een bewegingsmelder+smart plug. Daar zat 35W sluipverbruik

Dat is nogal wat, 35W sluipverbruik. Dat soort stappen heb ik ook al gemaakt, want die zijn vaak makkelijk te doen tegen relatief lage kosten.

Even gekeken een 13900K wordt wat te heftig qua budget. Maar rondjes rennen geloof ik wel ja.

Ik heb de cpu en ram 2dehands gekocht. Wel inclusief garantie/aankoopbewijs. Dat scheelt enorm in de kosten, maar dan moet je soms wel boffen op vraag&aanbod hier.

Een 13900K is mij nieuw ook ver boven budget
Er zat een 2dehands 12700K cpu in, maar door zwaardere belasting toch de 13900K genomen. Die is @65W multi-core sneller en zuiniger dan een 12900K@250W, laat staan de 12700K@180W.

[SirMario]

Bedankt weer voor de reacties. Ik heb de build aangepast en besloten voor RaidZ1 te gaan. Cruciale data wordt toch zo nu en dan naar een ander systeem gezet. Ook ga ik voor DDR4 en iets minder geheugen omdat het systeem toch al een overkill is ten opzichte van de Synology die we momenteel gebruiken.

Ziet iemand nog verbeterpunten voor het draaien van TrueNAS Scale?

#	Categorie	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 211,99	€ 211,99
1	Moederborden	Gigabyte H610I DDR4	€ 116,83	€ 116,83
4	Interne harde schijven	WD Red Plus (256MB cache, 5.640rpm), 8TB	€ 193,09	€ 772,36
1	Behuizingen	Inter-Tech IPC SC-4100	€ 87,23	€ 87,23
1	Netwerkadapters	Intel Ethernet Server Adapter I210-T1	€ 47,-	€ 47,-
1	Geheugen intern	Corsair Vengeance LPX CMK32GX4M2E3200C16	€ 58,25	€ 58,25
1	Voedingen	Silverstone FX500-G	€ 136,22	€ 136,22
1	SSD's	Samsung 990 Pro (zonder heatsink) 1TB	€ 102,90	€ 102,90
Bekijk collectie Importeer producten			Totaal	€ 1.532,78

[andru123]

@SirMario een Sfx voeding is zeer waarschijnlijk niet echt efficient. Je gaat al je besparingingen van andere componenten verliezen. Het kan wel verbazend efficient zijn, maar met maar 2 jaar garantie verwacht ik dat niet.
Een node 304 kast is dan ook niet veel groter. Maar dat is aan jou te bepalen, success. Meld hier graag wat zijn het werkelijke verbruik uiteindelijk.

[SirMario]

Welke voeding zou jij adviseren? Er zijn niet heel veel flexATX voedingen beschikbaar categorie: Voedingen

[Ernie]

Mars Warrior schreef op dinsdag 8 april 2025 @ 20:18:
[...]

Dat doe je goed dan. Ik draai ook de Immich containers. Een prachtig stukje software.

[...]

Dat is nogal wat, 35W sluipverbruik. Dat soort stappen heb ik ook al gemaakt, want die zijn vaak makkelijk te doen tegen relatief lage kosten.

[...]

Ik heb de cpu en ram 2dehands gekocht. Wel inclusief garantie/aankoopbewijs. Dat scheelt enorm in de kosten, maar dan moet je soms wel boffen op vraag&aanbod hier.

Een 13900K is mij nieuw ook ver boven budget
Er zat een 2dehands 12700K cpu in, maar door zwaardere belasting toch de 13900K genomen. Die is @65W multi-core sneller en zuiniger dan een 12900K@250W, laat staan de 12700K@180W.

Exact, en die stappen geven ook superveel voldoening! Elke keer dat ik mijn kantoor binnenkom hoor je "klik", en gaat de boel aan, echt geweldig . 20 euro voor IKEA Vallhorn + Tasmota power plug en wat HA code. Er staan 3 schermen, audio versterker, netwerkswitch, laptopdock en een desktop en nog wat random USB spul. Nu is enkel mijn "server ruimte" over met 32W. Daarvan komt 9W van mijn server en de rest moet mijn odido modem+glasvezelkastje zijn. Die kan ik niet echt uitzetten...

Ik ben heel benieuwd naar Immich, ik wil eerst de backup structuur goed voor elkaar hebben voor ik dat aanzet.

yes! 2e hands hardware is top voor homelabs! Is erg leuk als het lukt om een mooi zuinig systeempje te maken uit tweedehands hardware.

Ik zie trouwens dat de HP Prodesk 400 G4 SFF (small form factor) volgens een oudere lijst in dit topic 13W verbruikt. Dat vind ik teveel dus ik zoek rustig verder.

[ Voor 5% gewijzigd door Ernie op 08-04-2025 22:34 ]

[RobertMe]

Ernie schreef op dinsdag 8 april 2025 @ 22:07:
Nu is enkel mijn "server ruimte" over met 32W. Daarvan komt 9W van mijn server en de rest moet mijn odido modem+glasvezelkastje zijn. Die kan ik niet echt uitzetten...

32W valt nog best mee. Bij mij doet het Ziggo modem (Ubee UBC1318ZG) + zelfbouw router (TopTon, met N5105) + UniFi Switch 8-150W met daarop via PoE een UniFi AP AC LR, UniFi Flex Mini, Tado bridge via PoE splitter al 34, 35W. En dan heb ik los daarvan nog een no-name N5105 als servertje op een UPS die in totaal iets van 8W trekt (incl. 2 sticks, voor Zigbee & ZWave). En dan op zolder nog een UniFi Switch 16-150W met een UniFi AP AC Lite die 22W trekt. Dat is dus ~66W in totaal aan standby verbruik alleen al van netwerk spul + servertje. En zet ik de "grote bak" aan komt daar nog ~25W bij (Fujitsu bord met i3-9100 + 3x 3,5" HDD).

[mrmrmr]

@SirMario Ik zou een tower behuizing kiezen. Met 120mm of grotere ventilatoren als je echt 4 disks wil koelen.

Veel ATX/SFX voeding zijn onzuinig. Die hebben bijvoorbeeld bij 40 W een verlies van 10W door inefficiëntie. Het aantal zuinige ATX voedingen is gering, er is nog een over die een beetje door de beugel kan als je het nodig hebt.

Echter, je kan beter een grote 18-24TB disk aanschaffen en disks die je misschien al hebt herbestemmen voor bijvoorbeeld backup via USB3 (cold backup). Je hebt sowieso backup nodig, RAID is inherent onzuinig omdat er meer disks draaien dan nodig. Het is ook kwetsbaarder en daardoor niet een betrouwbare oplossing.

Met 1 of 2 3.5" disks kun je ook een zuinige PicoPSU-160XT gebruiken met 120W voeding.

Als je DDR4 geheugen kiest, wees dan selectief op 1,2V, niet te oud en JEDEC standaard DDR4-3200. Bijvoorbeeld uitvoering: Crucial CT2K16G4DFRA32A

[Mich]

Ernie schreef op dinsdag 8 april 2025 @ 22:07:
[...]


Exact, en die stappen geven ook superveel voldoening! Elke keer dat ik mijn kantoor binnenkom hoor je "klik", en gaat de boel aan, echt geweldig . 20 euro voor IKEA Vallhorn + Tasmota power plug en wat HA code. Er staan 3 schermen, audio versterker, netwerkswitch, laptopdock en een desktop en nog wat random USB spul. Nu is enkel mijn "server ruimte" over met 32W. Daarvan komt 9W van mijn server en de rest moet mijn odido modem+glasvezelkastje zijn. Die kan ik niet echt uitzetten...

Ik ben heel benieuwd naar Immich, ik wil eerst de backup structuur goed voor elkaar hebben voor ik dat aanzet.

yes! 2e hands hardware is top voor homelabs! Is erg leuk als het lukt om een mooi zuinig systeempje te maken uit tweedehands hardware.

Ik zie trouwens dat de HP Prodesk 400 G4 SFF (small form factor) volgens een oudere lijst in dit topic 13W verbruikt. Dat vind ik teveel dus ik zoek rustig verder.

Als je dan toch op marktplaats gaat zoeken:
https://gathering.tweakers.net/forum/view_message/78316666

[pimlie]

@SirMario 4 disks in raidz1? Je bedoelt dat je toch enkele redundantie gaat gebruiken? Tenzij je die Red Plus schijven al hebt liggen, zou het logischer zijn om 2x 20TB MG10 in een mirror te draaien.

4 disks is overigens ook niet een optimaal aantal disks voor een raidz1. Dit ivm zfs recordsize vs de sector size van je harde schijf. Heel in het kort, standaard heeft zfs een 128kb block size. Als je 4 disks hebt met een parity van 1, dan blijven er dus 3 disks over voor data. 128kb / 3 resulteert in een oneven number terwijl je harde schijf data alloceert in even sector sizes (meestal 4K tegenwoordig). Dat betekent dat zfs dus relatief meer sectors moet gebruiken om die 128/3 data op disk weg te schrijven dan strikt nodig, wat dus zorgt voor capaciteits verlies want een fysieke sector op je harde schijf kan door zfs niet voor twee verschillende 'records' gebruikt worden. Zie hier voor meer uitleg: https://www.perforce.com/blog/pdx/zfs-raidz maar ook Het grote ZFS topic (onder Ik heb gehoord dat je ZFS moet optimaliseren voor 4K Advanced Format hardeschijven?)

[devilkin]

latka schreef op dinsdag 8 april 2025 @ 17:36:
Wat voor een VMs doen sync writes? Database servers, sure. Maar zover mij bekend is het voornamelijk nfs/iscsi wat sync writes geeft. Ik heb om die reden geen slog op mijn pool zitten. Maar ook hier geld: meten is weten en het internet heeft zeker op zfs dossiers niet altijd de waarheid in pacht.

Ok, ik had mss moeten vermelden dat het over NFS en iSCSI writes gaat. Redelijk wat, en ik heb echt geen zin in data loss door op een slecht moment een power-cut te hebben. Kans is relatief klein, I know, maar voor sommige zaken is vermijden gewoon de betere oplossing.

[SirMario]

Bedankt voor de tips en toelichting. Ik heb de build weer behoorlijk aangepast. Nu met 5 hard disks zodat ik RaidZ2 kan instellen en dubbele redundantie heb. In dit geval zijn er dan ook 3 disks voor data en kunnen er 2 uitvallen voordat ik data zou verliezen. Ook heb ik een andere type kast toegevoegd en een M.2. naar Sata connector voor het toevoegen van de 5e schijf. Zie mijn nieuwe build:

#	Categorie	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 211,99	€ 211,99
1	Moederborden	Gigabyte B550I AORUS PRO AX	€ 158,99	€ 158,99
5	Interne harde schijven	WD Red Plus, 6TB (256MB cache)	€ 156,33	€ 781,65
1	USB/Opslag-controllers	Silverstone ECS07	€ 59,76	€ 59,76
1	Behuizingen	Jonsbo N2	€ 130,08	€ 130,08
1	Netwerkadapters	Intel Ethernet Server Adapter I210-T1	€ 47,-	€ 47,-
1	Processorkoeling	Noctua NH-L9i-17xx	€ 44,90	€ 44,90
1	Ventilators	Noctua NF-A8 PWM Bruin, 80mm	€ 18,15	€ 18,15
1	Geheugen intern	Crucial CT2K16G4DFRA32A	€ 54,-	€ 54,-
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 89,99	€ 89,99
1	SSD's	Samsung 990 Pro (zonder heatsink) 1TB	€ 102,90	€ 102,90
Bekijk collectie Importeer producten			Totaal	€ 1.699,41

[pimlie]

@SirMario Sorry, maar 5 disks met raidz2 is ook niet optimaal. Zie de links in mijn vorige post, hier een quote uit het grote zfs topic:

Optimale configuraties voor 4K sector Advanced Format hardeschijven:
RAID-Z1: 3, 5 en 9 disks
RAID-Z2: 4, 6 en 10 disks
RAID-Z3: 5, 7 en 11 disks

[RobertMe]

pimlie schreef op woensdag 9 april 2025 @ 14:11:
@SirMario Sorry, maar 5 disks met raidz2 is ook niet optimaal. Zie de links in mijn vorige post, hier een quote uit het grote zfs topic:


[...]

RAIDZ2 met 4 disks? Is een striped mirror dan niet handiger? Net zoveel effectieve ruimte maar wel betere performance. Maar moet je bij uitval van twee disks wel hopen dat de tweede in de andere mirror is, anders is nog de stripe stuk.

[SirMario]

Nu 4 schijven in totaal voor RaidZ2 configuratie. Effectieve opslag: 16TB en 16TB voor parity. Ander moederbord geselecteerd want had een AM4 socket met een intel cpu gedaan! Ik denk dat deze build aan mijn wensen voldoet. Ik heb ook een extra M.2 ssd toegevoegd voor cache en eentje voor het installeren van de OS en het draaien van VMs.

#	Categorie	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 211,99	€ 211,99
1	Moederborden	Gigabyte B760I AORUS PRO DDR4	€ 186,87	€ 186,87
4	Interne harde schijven	WD Red Plus (256MB cache, 5.640rpm), 8TB	€ 193,09	€ 772,36
1	Behuizingen	Jonsbo N2	€ 130,08	€ 130,08
1	Netwerkadapters	Intel Ethernet Server Adapter I210-T1	€ 47,-	€ 47,-
1	Processorkoeling	Noctua NH-L9x65	€ 54,90	€ 54,90
1	Ventilators	Noctua NF-A12x15-PWM, 120mm	€ 21,99	€ 21,99
1	Geheugen intern	Crucial Pro CP2K32G4DFRA32A	€ 105,71	€ 105,71
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 89,99	€ 89,99
2	SSD's	Samsung 990 Pro (zonder heatsink) 1TB	€ 102,90	€ 205,80
Bekijk collectie Importeer producten			Totaal	€ 1.826,69

[Sypher]

Weet iemand hoe je Secure Boot aanzet op een Kontron K3842-B1?

Ik ben in het BIOS naar Security => Secure Boot gegaan maar daar zie ik daar alleen maar greyed-out opties (System Mode: User, Secure Boot Disabled, Secure Boot Mode Standard).

De BIOS manual zegt er verder ook niets over. Werkt dit alleen als je een Supervisor Password hebt ingesteld oid?

Edit:

Zo te zien krijg je die optie zodra je er een USB stick (in mijn geval met Ubuntu 24.04) in stopt en het BIOS in gaat.

[ Voor 16% gewijzigd door Sypher op 10-04-2025 11:08 . Reden: Gevonden! ]

[andru123]

@SirMario ATX voeding past waarschijnlijk niet in dat case, alleen SFX past. Het is niet duidelijk - mischien past het toch net. Jonsbo zegt “<150mm”. Wat dat betekent geen idee. Maar let op. Zoek in de topic voor mensen die Jonsbo hebben.

[ Voor 59% gewijzigd door andru123 op 09-04-2025 18:13 ]

[dcm360]

mrmrmr schreef op dinsdag 8 april 2025 @ 22:34:
Veel ATX/SFX voeding zijn onzuinig. Die hebben bijvoorbeeld bij 40 W een verlies van 10W door inefficiëntie. Het aantal zuinige ATX voedingen is gering, er is nog een over die een beetje door de beugel kan als je het nodig hebt.

Er zijn er wel enkele, naast de (niet meer verkrijgbare) Corsair RM550x doen de Seasonic Prime Titanium voedingen (en dan vooral de 650 en 750W-modellen) het best goed. Ook niet heel erg recent meer en ook niet altijd even goed verkrijgbaar (het ook iets beter presterende 750W-model is nu beter te krijgen dan toen ik een voeding nodig had).
Als ik trouwens de database van Cybenetics bekijk, zou de Cooler Master MWE Gold V3 (zodra die beschikbaar raakt) de nieuwe aanrader moeten worden (wat ATX betreft).

[pimlie]

@SirMario Waarom 990 Pro's voor boot & vm's? Je kan voor hetzelfde geld ook 2TB nvme's kopen met iets minder performance maar daar ga je in de praktijk niets van merken. En omdat je toch al zoveel geld gaat uitgeven, als je echt veilig wilt zijn kies dan ook voor nvme's met stroomverliesbescherming.

Daarnaast heb je eigenlijk geen l2arc cache nodig in een homelab, maar als je het toch wilt zou ik 2x2TB kopen en dan elke disk partioneren als 1.4TB/0.5TB. De 1.4TB zet je in een software raid 1 met mdadm, dan zijn ook je vm's redundant en de 2x 0.5TB partities voeg je elk als l2arc toe voor 1TB totaal. Eventueel nog een 3e partitie van 10-50GB voor zil slog, deze zou je het beste wel als een mirror kunnen toevoegen.

[SirMario]

Het moederbord heeft maar 4 Sata poorten en 2 M.2. aansluitingen. Vandaar 2x een M.2. SSD. Welke andere SSD had jij in gedachten?

pimlie schreef op woensdag 9 april 2025 @ 19:09:
@SirMario Waarom 990 Pro's voor boot & vm's? Je kan voor hetzelfde geld ook 2TB nvme's kopen met iets minder performance maar daar ga je in de praktijk niets van merken. En omdat je toch al zoveel geld gaat uitgeven, als je echt veilig wilt zijn kies dan ook voor nvme's met stroomverliesbescherming.

Daarnaast heb je eigenlijk geen l2arc cache nodig in een homelab, maar als je het toch wilt zou ik 2x2TB kopen en dan elke disk partioneren als 1.4TB/0.5TB. De 1.4TB zet je in een software raid 1 met mdadm, dan zijn ook je vm's redundant en de 2x 0.5TB partities voeg je elk als l2arc toe voor 1TB totaal. Eventueel nog een 3e partitie van 10-50GB voor zil slog, deze zou je het beste wel als een mirror kunnen toevoegen.

[pimlie]

@SirMario Geen idee, zit er nu niet in. Het liefste een nvme met eigen dram, power caps en TLC of beter. Maar heb zelf 970 Evo's zonder power caps. Als je naar de Samsung familie kijkt, dan zijn Evo's vaak ook zuiniger dan Evo Plus en die zijn weer zuiniger dan Pro's. Daarnaast heb je dus veel meer aan extra opslag capaciteit dan performance in een servertje, verschil tussen 2500MB/s of 7500MB/s ga je niet merken tenzij je specifieke services draait. Maar dan had ik verwacht dat je eea al veel meer zelf had uitgezocht

Afhankelijk van het moederbord kan 2x M2 trouwens ook betekenen dat een van de sloten de hoogst haalbare C-state beinvloed. Als je een zuinige server wilt hebben zou je de PCIe sloten die direct met de cpu verbonden zijn eigenlijk niet moeten gebruiken (dus alleen de PCIe sloten die via de chipset lopen). Waarschijnlijk is bij 2x M2 op het mobo er 1 via de cpu en 1 via de chipset, dan zou je dus mss beter een extra nvme<>pcie insteekkaartje erbij kunnen doen als je een zo zuinig mogelijk systeem wilt. Alhoewel het misschien ook niet direct aannemelijk is dat je die ~15e voor dat kaartje gaat terugverdienen door lager verbruik

[bjp]

ik gebruik het M.2 slot direct op de CPU, en haal C10, op een B760M moederbord.

[mrmrmr]

@dcm360

Heb je een link naar specifieke modellen die je bedoelt? Je noemt serienamen, versies/bouwjaren en individuele voedingen en zijn onderling qua efficiëntie vaak tamelijk verschillend. Testresultaten zijn welkom.

Het zal zeldzaam zijn dat iemand gaat kijken naar ATX voedingen van 200 euro en meer voor een zuinige thuisserver.

Seasonic Prime Platinum is niet verkrijgbaar volgens Pricewatch en als ik het me goed herinner zijn de modellen te duur, waren niet verkrijgbaar en/of niet indrukwekkend qua efficiëntie bij zeer lage belasting.

Een groot aantal voedingen komt niet of kort op de markt. Maar een fractie van voedingen op 80plus lijsten is daadwerkelijk verkrijgbaar geweest voor consumenten. 80plus platinum zegt vrijwel niets over het verbruik bij echt laag verbruik (10W) en de 2% test is zelden een 10W test (voedingen zijn doorgaans 500W+). Ook zijn de zuinigste voedingen bedoeld voor specifieke moederborden die een DC-DC voeding on board hebben. Dat is een beetje vals spelen.

[dcm360]

@mrmrmr De Seasonic Prime Titanium zat ik er inderdaad een reeks naast, daarvan zijn alleen de nieuwere (zonder testdata) af en toe verkrijgbaar. De Cooler Master MWE Gold V3 heeft ook meerdere opties (fijn...), maar daar zat ik wel bij de juiste, met deze testgegevens voor het 850W-model (let wel op dat de pagina standaard 115V laat zien).

[ Voor 5% gewijzigd door dcm360 op 09-04-2025 20:35 ]

[mrmrmr]

Je bedoelt dus Cooler Master MWE Gold V3 850W, die bij 17W belasting een efficiëntie van 77.935% heeft bij 115V/60Hz volgens Cybernetics, bij een bepaalde lastverdeling. Dit is zo'n voeding die bij 230V minder efficiënt is dan bij 115V.



Er is geen uitgeschreven meting bij 5 of 10W en 12V van 230V. Er kan theoretisch een dip zijn bij een wat hogere belasting. De 230V grafiek is te grof, maar het lijkt erop dat bij 12V en <12W de efficientie minder dan 60% is. Ofwel een overhead van 4,8W+. De grafiek is slecht bruikbaar omdat de 0W lijn niet op de correcte plaats staat (meer naar links). De overhead kan daardoor nog hoger uitvallen. Ik ben niet overtuigd op basis van de vage grafiek.

Gezien de prijzen van eerdere MWE modellen verwacht ik dat prijs geen groot probleem is. Beschikbaarheid misschien wel, gezien ervaringen uit het verleden met dit merk.

[dcm360]

Ik zie ook al wel weer wat me misleid heeft... Deze tabel blijft in de 2%-kolom hardnekkig de waarde van 115V geven, ook al zet ik het filter op 230V.

[HowsMyApple]

Sethro schreef op woensdag 25 december 2024 @ 23:59:
Gokje gewaagd en een HP G5 Prodesk besteld met een I5, 16GB geheugen en NVME schijf erin. Doet 4,8W met verbonden ethernet, Proxmox en HA geïnstalleerd met aantal addins. Mooie stap komende van een 25w server.

Je bent de meest recente poster met dezelfde specs als waar ik mee werk, dus ik @ jou even als je het niet erg vindt

Ik heb een verse proxmox install en powertop auto-tune gedraaid maar ik kom tot nu toe niet onder de 9,5W idle. Ik weet vrij zeker dat het aan de BIOS instellingen ligt, want ik heb daar iets moeten prutsen omdat ie headless om de haverklap in 'slaap' ging.

Heb je toevallig je BIOS instellingen gedocumenteerd? Zou ze graag eens willen proberen.

[gitaarwerk]

ik zit een tijdje mee te lezen, en ik ben op zoek naar mijn 5+ jaar oude synology en ubiquiti unifi stack te vervagngen (gigabit switch met PoE, unifi nano, USG gateway pro 4 en unifi controller). De boel neemt nogal wat wattjes. (PoE natuurlijk ook, maar dat is wel fijn).

Nu heb ik eerder ooit een esxi server gehad met alle services gewoon in VMs, maar dat vreet ook iets (Toen met een Dell R20X, Xeon E3-1230V2).

Nu snap ik het sentiment om niet alles in een rack te willen doen, maar voor mij de beste oplossing om alles compact te houden.

Qua meeste componenten hier, kan ik best een keuze maken, maar voor behuizing en storage is het nog wel een dingetje en ben nog niet uit over de gehele set-up. Ik wil eigenlijk van unifi af ivm de ondersteuning waar ik niet zo heel fan van ben. De controller werkt wel fijn, maar is een extra ding, en de nano's hebben veel frame dropouts. Ik kan niet automatisch power cyclen, dus geheugen loopt snel vol. Initieel wel te spreken erover, maar basis performance is niet fijn (kan ook aan de kabels liggen, moet ik nog nalopen).

Ik wil er niet een heel netwerkverhaal van maken, want het gaat over zuinige servers. Mijn kijk nu is, ik wil graag een server met minimaal 4 drives, en een tweetal SSDs. Een voor read/write cache (apart vind ik onnodig voor thuis), en wat drives voor storage. 3,5", maar wellicht ook 2,5". Zelf zou ik het fijn vinden als de server passief gekoeld kan worden, en wellicht middels een SAS kaart een JBOD enclosure.

Rack is niet heel diep, dus een mooie tweedehands SAS/JBOD expander is al snel te groot, helaas. Door de hoogte van die dingen, is er meer ruimte voor grotere fans, en kan het met een paar low speed fans wel gedaan worden. De kast komt in de kelder te hangen wat redelijk geventileerd gaat worden en stabiel qua temperatuur. Alle warmte wordt overigens gerecycled

Maar nu de vraag (sorry voor het epistel). Wat is handig qua keuze om te doen, moet ik dit wel doen? of kan ik beter een NAS systeempje pakken (rack), die simpel houden en de rest met wat PIs (zero/pi3) voor zuinigheid? Het geheel doet niet zoveel, maar ik wil ook niet dat alle schijven continue draaien zoals ze nu doen, omdat een paar diensten af en toe wat schrijven (vandaar een extra SSD). (Ok, en beetje voor de knutselerij is het leuk wat onnodig grote set-up te maken en automatiseren, maar afijn )

Ik wil uiteindelijk onder de 1K blijven, excl schijven HDDs, wel incl SDDs. Maar firmware flashen van unifi dingen, of iets hergebruiken en tunen is ook fijn.

Misschien teveel offtopic voor mijn vragen.

Voor referentie, wat draai ik/wil ik draaien:
- pfsense
- freenas/alternatief (denk dat het ZFS zal worden)
- downloaders
- home assistant
- intern webservertje
- mailserver/printserver (nu nog niet)
- plex
- unifi controller (nu op een dedicated hardware unit)

[mrmrmr]

@gitaarwerk Veel mensen hebben een visie over hoe een server eruit moet zien. Maar een server thuis heeft lang niet zoveel clients als op het werk en de uitkomst van risico- en schadeberekeningen is helemaal anders. Redundantie bijvoorbeeld kan veel meer verbruik en complexiteit opleveren dan dat het waard is, terwijl er betere oplossingen bestaan, bijvoorbeeld backup. Eigenlijk moet je terug naar "first principles" en bedenken wat je nu rationeel nodig hebt, zonder vooroordelen. Dat is niet zoveel als je zou denken, dat komt vooral doordat het belang van hardware wordt overschat en configuratie wordt onderschat.

Wat verbruikt er veel:
- SAS/RAID controllers: 8-20W
- 3.5" hard disks: 4-8W per stuk
- BSD besturingssysteem: 4W+
- 19" datacenter materiaal, bv. 10-40W voor bijvoorbeeld een managed switch
- serverprocessoren
- serverborden
- redundantie zoals RAID, voedingen, overmaat aan koeling

Wat verbruikt er weinig:
- gewone SATA/M.2 SSD
- zuinig desktop moederbord met Intel desktop processor
- uitschakelen turbo, beperken TDP, selectief gebruik E cores
- Linux
- OS/driver optimalisaties
- vermijden onnodig gebruik processortijd (bijvoorbeeld monitoring met te hoge frequentie)
- 2.5" of grote 3.5" hard disks als SSD onvoldoende is
- cold storage (bijvoorbeeld USB storage devices die alleen aan gaan als het nodig is voor backup)

---

Vertikaal kan overigens ook in een 19" rack. ISP Cistron deed dat 25 jaar geleden.

[gitaarwerk]

@mrmrmr Dat is eigenlijk... best een heel verhelderende lijst. Als je jaren in enterprise stuff zit, is het eigenlijk beetje default state of mind, maar je hebt ook helemaal gelijk. Je hebt heel weinig nodig. 19" is wel heel netjes. Maar een 4U 19" rack is ook gewoon een volledige computer. Cold storage is inderdaad een ding. Dat valt vast te automatiseren (al heb ik er nooit naar gekeken. Maar is wel een optie wellicht).

Zeer goeie punten. Nu nog trachten zonder vooroordelen te kijken wat ik echt nodig heb (of wil). Eigenlijk is het belangrijkste; betrouwbare opslag van projecten welke ik niet op git heb staan, scheiden van IoT apparaten van normale netwerk, wat series/films opslaan, blokkeren van meuk voor mijn spul, en vriendin alles open houden (anders gaat ze miepen). Downloaders zijn handig, kan op sich heel klein gehouden worden.

Switch kost idd wat, maar is, afhankelijk van aantal punten acceptabel, gezien ze ook de stroom voor de access points regelen, en wat kleine netwerk dingetjes prima doen.

Raid controllers had ik niet zo hoog verwacht.

Thanks, ik ga terug naar de tekentafel

[decramy]

hoe verhouden laptops zich tot zuinige desktop hardware?

Nu heb ik een oude afgeschreven laptop in de meterkast draaien, linux erop, kvm, hassos vm en nog wat losse docker-containers.
Laatst wilde ik Music Assistant installeren, maar mplayer melde me dat mijn CPU te oud was. Tijd voor iets nieuws.

Als ik bijvoorbeeld een Framework moederbordje pak en in zo'n coolmaster-behuizing plaats... Hoe zuinig is dat t.o.v. een desktop?

[Mars Warrior]

gitaarwerk schreef op donderdag 10 april 2025 @ 11:48:
@mrmrmr Dat is eigenlijk... best een heel verhelderende lijst. Als je jaren in enterprise stuff zit, is het eigenlijk beetje default state of mind, maar je hebt ook helemaal gelijk. Je hebt heel weinig nodig. 19" is wel heel netjes. Maar een 4U 19" rack is ook gewoon een volledige computer. Cold storage is inderdaad een ding. Dat valt vast te automatiseren (al heb ik er nooit naar gekeken. Maar is wel een optie wellicht).

De kunst is om eerst helemaal terug te gaan naar een basis, en dan te kijken wat dat je oplevert. Als je inderdaad enterprise spul gewend bent, dan kijk je daar niet naar omdat leveranciers iha standaard configuraties leveren...

Zeer goeie punten. Nu nog trachten zonder vooroordelen te kijken wat ik echt nodig heb (of wil). Eigenlijk is het belangrijkste; betrouwbare opslag van projecten welke ik niet op git heb staan, scheiden van IoT apparaten van normale netwerk, wat series/films opslaan, blokkeren van meuk voor mijn spul, en vriendin alles open houden (anders gaat ze miepen). Downloaders zijn handig, kan op sich heel klein gehouden worden.

Als ik zie wat je wil dan is dat iets wat niet uniek is in dit topic, alleen de één hecht daar veel waarde aan (VLANs, scheiden IoT) en de andere boeit het niet (zoals ik).

Betrouwbare opslag kan met ZFS of MergerFS/SnapRaid. Hangt beetje af van hoe statisch je data is. Al mijn foto's en films zie ik als statisch. Foto's worden extern (Crashplan Pro) gebackupped, en SnapRaid met dagelijkse scrub controleert/valideert de data op bitrot enzo.

Als je AdGuard zou gebruiken als filter, dan kun je die per apparaat instellen, aangenomen dat AdGuard als centrale DNS fungeert. Dus je vriendin kan dan bij andere sites komen dan jij

Downloaden en Home Assistant zijn allemaal erg standaard dingen die je als Docker container kan draaien. HA kan dagelijks zijn eigen backups maken en naar een extern medium pompen.

Bijna al mijn IoT spul is op Zigbee gebaseerd, dus scheiding IoT netwerk is bij mij complete onzin. Camera's zitten op een apart WiFi netwerk, die geen externe toegang kent, dus dat blijft ten alle tijde lokaal.

Ik heb verder dus geen firewall oid draaien en alle switches zijn unmanaged en pakken 1,5W per stuk. Een hele rits van die dingen verbruikt dus minder dan vaak een enkele managed switch.

Veel web-GUI's zijn bij mij extern toegankelijk, en voor de dingen die dat niet zijn gebruik ik WireGuard, zodat ik alsnog overal (veilig) bij kan komen.

Het kan dus best simpel qua opzet

[Mars Warrior]

decramy schreef op donderdag 10 april 2025 @ 12:14:
hoe verhouden laptops zich tot zuinige desktop hardware?

Nu heb ik een oude afgeschreven laptop in de meterkast draaien, linux erop, kvm, hassos vm en nog wat losse docker-containers.
Laatst wilde ik Music Assistant installeren, maar mplayer melde me dat mijn CPU te oud was. Tijd voor iets nieuws.

Als ik bijvoorbeeld een Framework moederbordje pak en in zo'n coolmaster-behuizing plaats... Hoe zuinig is dat t.o.v. een desktop?

Een zuinige desktop kan tot 3W idle, of zelfs minder zoals je hier ziet als je ff zoekt. Het gemiddelde verbruik hangt vervolgens af van de belasting en nieuwheid / efficientie van de CPU. Nieuwere CPU's zijn vele malen efficienter dan oudere CPU's.

[gitaarwerk]

@Mars Warrior Thanks, reeds ook goede punten. IoT zigbee is idd niet zo boeiend, maar IoT wifi, met wat dubeieuze herkomst... wat anders ;-) Ik geloof dat ik nog wel een waslijst heb die ik hier niet genoemd heb, maar dat is inderdaad allemaal netjes te doen met vlans, of wellicht scheiden met aparte kleinere switches. Een met PoE voor APs, de rest standaard.

Je opzet is inderdaad wat makkelijker, al is wat ik wil ook weer niet heel lastig. Vooral even kwestie van lijntjes tekenen en terug naar de basis. Docker is inderdaad voor een hoop dingen the way to go. Plex met converteren kan wat veel CPU nemen soms, maar dat is ook relatief weinig. Dan is verder de berekening of de winst in watts de koop van een andere set-up verantwoord, en wat acceptabel is voor de spielerij

Ik kan wat met jullie reacties, dank

[Mars Warrior]

gitaarwerk schreef op donderdag 10 april 2025 @ 12:58:
@Mars Warrior Thanks, reeds ook goede punten. IoT zigbee is idd niet zo boeiend, maar IoT wifi, met wat dubeieuze herkomst... wat anders ;-) Ik geloof dat ik nog wel een waslijst heb die ik hier niet genoemd heb, maar dat is inderdaad allemaal netjes te doen met vlans, of wellicht scheiden met aparte kleinere switches. Een met PoE voor APs, de rest standaard.

Tjs, die phone-home Chineze spullekes zitten hier allemaal op een gastnetwerk zonder internet toegang. Vinden ze niet leuk

Je opzet is inderdaad wat makkelijker, al is wat ik wil ook weer niet heel lastig. Vooral even kwestie van lijntjes tekenen en terug naar de basis. Docker is inderdaad voor een hoop dingen the way to go. Plex met converteren kan wat veel CPU nemen soms, maar dat is ook relatief weinig. Dan is verder de berekening of de winst in watts de koop van een andere set-up verantwoord, en wat acceptabel is voor de spielerij

Ik kan wat met jullie reacties, dank

Uiteindelijk komt het altijd neer op wat je wilt/kunt/kennis van hebt en de centjes. Dat is niet aan dit forum om te beslissen

In mijn geval was de oude server ruim 10 jaar oud, dus dan kun je een behoorlijke "reset" doen qua hardware en software opzet. Ik had dus geen last van het zal-ik-oude-spullen-nog-gebruiken vraagstuk.

Vanuit werk (en hobby) werkte ik al vanaf 2017 met Docker, dus dat was ook geen issue: alles komt in docker, zelfs als zo'n container oorspronkelijk een VM was met 100 draaiende processen.

Ben benieuwd waar je uiteindelijk op uitkomt qua hardware, en wat het verbruik daarmee is!

[pimlie]

Mars Warrior schreef op donderdag 10 april 2025 @ 12:15:
Ik heb verder dus geen firewall oid draaien
...
Veel web-GUI's zijn bij mij extern toegankelijk, en voor de dingen die dat niet zijn gebruik ik WireGuard, zodat ik alsnog overal (veilig) bij kan komen.

Misschien begrijp ik je verkeerd maar waarom dan niet alle web-GUI's achter WireGuard zetten? Het grootste risico van het openstellen van een applicatie zit hem niet in de netwerk port of het lekken van een usernaam/wachtwoord, maar in software bugs die misbruikt kunnen worden...

[Mars Warrior]

pimlie schreef op donderdag 10 april 2025 @ 13:19:
[...]


Misschien begrijp ik je verkeerd maar waarom dan niet alle web-GUI's achter WireGuard zetten? Het grootste risico van het openstellen van een applicatie zit hem niet in de netwerk port of het lekken van een usernaam/wachtwoord, maar in software bugs die misbruikt kunnen worden...

Omdat het publieke websites zijn waar het niet handig is als dat enkel via een VPN werkt!

• De management/admin GUI's staan dus niet publiek, maar enkel lokaal via Caddy/AdGuard. AdGuard is dan de DNS van het lokale domein die Caddy afhandelt.
• Op een aantal WebGUI's draait een WAF (Web Application Firewall) die in ieder geval bekende en nog niet gefixte exploits blokkeerd
• Voor een deel wordt - om die software bug risico's te mitigeren - gebruik gemaakt van een pad op het domein om de kans dat iemand of een bot lukraak op een GUI komt te beperken. Paden worden dan gegenereerd, je weet wel van die 64 karakter lange cijfer/letter combinaties. Ongewenste gasten krijgen dus een 404 voor hun kiezen
• Verder worden - indien meegegeven in de client gegevens - IP adressen die zich kenbaar maken afkomstig van een exitnode automatisch geblokkeerd.
• Ik gebruik (nog) geen Cloudflare: dat zou ook al schelen. Uitgaand helpen AdGuard en Quad8 voor het blokkeren van bekende ongewenste sites. Quad8 is daar een stuk beter in dan AdGuard overigens.

Naast privé gebruik ik mijn server ook om zonder overhead werkgerelateerde zaken te implementeren/testen. Er komen dus ook vanuit Azure EventGrid events binnen waarop containers actie ondernemen om data binnen te harken en te verwerken.

Er wordt dus wel eea gemitigeerd qua risico's, maar ik kan inderdaad onmogelijk alles voor zijn. Dus vervelende bugs in de software blijven een risico: daar helpen moeilijke usernaam/wachtwoord combi's, IP blokkades en 2FA niet altijd tegen.

Ook tweezijdige certificaten voorkomen niet dat ongewenste personen/bots via software bugs binnenkomen weet ik uit ervaring van het werk.

Op mijn thuisserver heb ik in 15 jaar nog nooit iets gehad vziw. Huidige server is van 2023 en helemaal "schoon" opgezet en heeft daarmee niet heimelijk iets meegenomen van de vorige server.

Het leven is één groot risico

[pimlie]

@Mars Warrior Ah ok. Als je Web-GUI zegt dan is dat voor mij niet meteen hetzelfde als een publieke website, vandaar

[Mars Warrior]

pimlie schreef op donderdag 10 april 2025 @ 17:34:
@Mars Warrior Ah ok. Als je Web-GUI zegt dan is dat voor mij niet meteen hetzelfde als een publieke website, vandaar

Ah, ja. Web-GUI is vaak de admin GUI ja. Ik snap nu de verwarring

[RedRayMann]

Even een dubbel check.
Jullie hebben waarschijnlijk meegekregen dat ik lekker aan het stoeien was met verbruik. Dat mijn software kennis e.d. niet altijd gelijk is als anderen hier in het topic of op Tweakers.
Ondanks de drukte heb ik in gaatjes mij zitten oriënteren op Docker en heb nu een LXC met Docker, Portainer en daarin een Unifi stack, AdGuard Home en Actual Budget. (voor nu en niet actieve test LXC)

Aan jullie enkele vragen;
1) Is het verstandig/ handig/ zuiniger als ik overstap van deze LXC containers naar een LXC met Docker en deze zelfde apps?

2) Wat raden jullie aan mbt Docker LXC's? Of liever Docker in een VM?
Is het één LXC met alles? Of liever meerdere LXC's met gefragmenteerde apps, zoals één met netwerk en internet spul. Eén met kleine lokale dingen zonder opslag. Eén met media, video en foto opslag (Immgr en Jellyfin bijvoorbeeld)

En derde vraag.
Ik denk dus af te stappen van een Truenas VM
Wat is dan een goed "Nas" alternatief? Zit nu te kijken naar een Open Media Vault LXC. Maar lees dat je beter een VM kan gebruiken met PCI Passthrough.
Of toch naar één van de cloud software pakketten (OwnCloud, NextCloud e.d.)
Mijn doel hierin is netwerk shares, document opslag, Paperless, Collabora

--edit--

Zojuist Immich via Portainer proberen te installeren.
En heb verder gezocht en nagedacht om zelf antwoorden op mijn vragen te vinden.

Mijn ideeën
1) Ja het is zuiniger om van LXC naar Docker te gaan, is lichter en mogelijk zuiniger. Gebaseerd op het volgen van dit topic en wat rond zoeken op internet. Maar als ik ongelijk heb, correct me

2) Kijken naar deze post is LXC zuiniger dan een VM. Ofwel hou Docker in een LXC. Maar in de handleiding van Immich staat het volgende;

Immich runs well in a virtualized environment when running in a full virtual machine. The use of Docker in LXC containers is not recommended, but may be possible for advanced users. If you have issues, we recommend that you switch to a supported VM deployment.

Bron; https://immich.app/docs/install/requirements/
Ik denk het te houden op LXC
Daarbij denk ik dat meerdere LXC's beter zijn? Om apps te scheiden? Maar heb dit op niets gebaseerd

3) Ik zie bij de Proxmox helperscripts een OpenMediaVault LXC
Deze ga ik eens installeren en mee spelen. Hierin ben ik weer in twijfel of en LXC beter is (zuiniger?) of een VM (PCI Passthrough)


Ik heb nu wel het idee gekregen na het installeren van Immich dat ik eerst OMV moet inregelen met shares op de SSD ipv dat ik nu de standaard folders van Immich op de kleine NVME disk laat. Want dank komt straks alle data op de NVME ipv de SSD.

Ik leer veel van jullie! Dank!!!

[ Voor 36% gewijzigd door RedRayMann op 10-04-2025 22:06 ]

[GoBieN-Be]

Ik ben ook geen expert, maar volgens mij is het verschil tussen docker en LXC zeer klein. Beide (Docker & LXC) zijn wel zuiniger dan een VM.
Dat komt omdat een VM een volledig virtueel OS draait met de volledige kernel en alle system & userland services.Dit zorgt voor meer overhead logischerwijs.
LXC en Docker gebruiken de kernel en een groot deel van de system services van het host OS.

LXC en Docker zijn soms wel moeilijker op te zetten dan VM's.

[RedRayMann]

GoBieN-Be schreef op vrijdag 11 april 2025 @ 21:39:
Ik ben ook geen expert, maar volgens mij is het verschil tussen docker en LXC zeer klein. Beide (Docker & LXC) zijn wel zuiniger dan een VM.
Dat komt omdat een VM een volledig virtueel OS draait met de volledige kernel en alle system & userland services.Dit zorgt voor meer overhead logischerwijs.
LXC en Docker gebruiken de kernel en een groot deel van de system services van het host OS.

LXC en Docker zijn soms wel moeilijker op te zetten dan VM's.

Tnx voor je gedachten.
Als mensen toevoegingen hebben, hoor en lees ik het graag.

Ook voor toekomstige server bouwers. Dan kunnen we altijd terug refereren, bronnen opnemen in de startpost of mythes de wereld uit bannen :-P

Als ik nu kijk naar mijn LXC's gebruiken ze 0% cpu
Alleen Unifi 0,7% en Adguard 6,3%
Home Assistant VM 1,4%
En Proxmox zelf 4,8%

En dan wel rekening houdend met een N97 cpu en niet elke LXC heeft 4 core toegewezen gekregen.

[mrmrmr]

Aan jullie enkele vragen;
1) Is het verstandig/ handig/ zuiniger als ik overstap van deze LXC containers naar een LXC met Docker en deze zelfde apps?

Het gaat met name om de overhead van een bepaalde applicatie. Beide gebruiken tegenwoordig de Linux API's neem ik aan. Stapelen van scheidingsmechanismen lijkt me niet zo efficiënt.

Er is nog een methode behalve containers, dat zit in native Linux: systemd (process 0). Daarmee kun je een systeem beveiligen terwijl je toch in het besturingssysteem blijft. Dat is in principe het meest lichtgewicht. Het container concept bouwt daarop voort, met variërende hoeveelheid overhead. In de praktijk zijn weinig mensen die systemd voor functiescheiding gebruiken. Van oudsher is er ook nog chroot/jail.

2) Wat raden jullie aan mbt Docker LXC's? Of liever Docker in een VM?

VM's zoveel mogelijk vermijden zoals @GoBieN-Be al aangaf. Dat geeft een tamelijk grote overhead omdat het een systeem in een systeem is. Het werk wordt zo ongeveer 2x gedaan.

Ik denk dus af te stappen van een Truenas VM
Wat is dan een goed "Nas" alternatief? Zit nu te kijken naar een Open Media Vault LXC. Maar lees dat je beter een VM kan gebruiken met PCI Passthrough.
Of toch naar één van de cloud software pakketten (OwnCloud, NextCloud e.d.)
Mijn doel hierin is netwerk shares, document opslag, Paperless, Collabora

Shares e.d. kan ook rechtstreeks op het Linux besturingssysteem, andere methoden zijn scp/sftp. Kijk ook eens naar Filesender (met end-to-end encryptie) voor het delen van bestanden. Daar is ook een Docker versie van die makkelijker is qua installatie. Owncloud en Nextcloud zijn duidelijk de commerciële tour op gegaan, maar misschien zit er iets in dat je nodig hebt zoals bepaalde aansluitingen op cloudsystemen.

PCI passthrough is meer een fix dan een feature. Op hypervisors is het soms noodzakelijk om een VM een onderdeel in low power mode te laten zetten als de hypervisor dat zelf niet kan. Ik zie er geen reden toe onder Linux, want die is zelf prima in staat aan power management op besturingssysteemniveau te doen.

[jvwou123]

Goedemorgen allemaal,

Gisteravond heb ik mijn DeskMini A300 geupdate. Van Proxmox 8.3 naar Proxmox 8.4. Na zo'n update moet je even herstarten, dus ik heb hem herstart. Na het herstarten kwam de ping niet meer terug, dus ik naar de meterkast, en de DeskMini geeft geen reactie meer.

Op USB zat onder andere een ESP aangesloten, en die krijg netjes stroom, die gaat aan, en doet het ook gewoon, dus ik verwacht dat de adaptor het gewoon nog doet.
Als ik de stroom er in doe gaat de powerled heeeeel even (fractie van een seconde) aan, en dan weer uit. Drukken op de powerknop doet niets.

Naast de vraag: enig idee wat dit kan zijn, is de vervolg vraag, deze deskmini is al een paar jaar oud, dus ik weet niet hoeveel ik daarnog in kwijt wil. Dus wat is een snel leverbare, en zuinige server, voor weinig?

Wat doet de surfer:
- Home Assistant
- docker server met wat spielerei
- windows voor dingen testen
- spelen met k8s (die staat alleen aan als ik hem gebruikt)

[ Voor 9% gewijzigd door jvwou123 op 12-04-2025 09:04 ]

[pimlie]

@RedRayMann LXC's zijn eigenlijk bedoeld voor systemen (als in lichtgewicht VM's), terwijl Docker bedoeld is voor applicaties.

In de praktijk werken ze vaak redelijk het zelfde, daarmee bedoel ik voornamelijk dat veel Docker containers ook een init/supervisor draaien en daarmee ook een soort van os faciliteren van meerdere processen met een shell. Vaak ondersteuenen ze bv ook meerdere gebruikers, een package manager etc. Er bestaan echter ook echte application-only containers, bv op basis van distroless en dan heb je dus geen init, geen shell etc echt alleen je applicatie. Dat heeft voordelen als je maximale performance wilt hebben, maar ook nadelen met name wat betreft network debugging etc. M.i. heb je op homelab schaal niet veel aan een echte distroless container, je hebt er veel meer aan om een shell in je docker container hebben om af en toe iets te debuggen.

Dat betekent dat in de praktijk het verschil tussen een LXC container en een docker container vaak klein is. Desalniettemin zou ik altijd voor docker gaan, voornamelijk omdat het ecosysteem naar mijn idee veel groter is, er veel behulpzame management tools zijn (bv docker compose) maar ook mogelijkheden biedt om later containers over meerdere hosts te spreiden (kubernetes/swarm).

Docker vs systemd is ook een makkelijke, tenzij je zelf veel tijd kwijt wilt zijn aan het opzetten van services wil je gebruik maken van de kant-en-klare oplossingen die de developers van een applicatie zelf aanbieden. Daar developers over het algemeen docker containers aanleveren, is dat dus de betere keuze. In andere woorden, het voordeel van Docker is het grote ecosysteem.

De vraag over docker in een LXC draaien is ook een makkelijk, niet doen. Alle virtualisatie wil je zo liefst zo dicht mogelijk bij de daadwerkelijke hardware draaien. Kan me alleen voorstellen dat Docker in een LXC handig zou zijn als je met een multi-tenant systeem te maken hebt, maar dat heb je neem ik aan niet.

Begrijp ik goed dat je nu Proxmox als OS draait? Zo ja dan biedt Proxmox in zo'n setup geen meerwaarde naar mijn idee. Het is alleen maar weer een extra laag die je moet managen en performance kost. Ik zou gewoon Truenas of OMV direct als OS draaien.
Je zou b.v. ook Proxmox kunnen draaien met een Ubuntu VM, daarin een LXC met Docker en daarin de Docker containers. Heb je in totaal 4 lagen die je moet managen. Terwijl je ook gewoon direct OMV met Docker kan draaien, heb je maar 2 lagen om te managen. Wat denk jij dat het makkelijkst is om te onderhouden en de minste stroom verbruikt?

[Mars Warrior]

pimlie schreef op zaterdag 12 april 2025 @ 13:25:
@RedRayMann
Docker vs systemd is ook een makkelijke, tenzij je zelf veel tijd kwijt wilt zijn aan het opzetten van services wil je gebruik maken van de kant-en-klare oplossingen die de developers van een applicatie zelf aanbieden. Daar developers over het algemeen docker containers aanleveren, is dat dus de betere keuze. In andere woorden, het voordeel van Docker is het grote ecosysteem.

De meeste containers hebben supervisord ingebakken om de processen te beheren. Zo voorkom je allerhande systemd/init gezeik en weet je toch zeker dat alles netjes start en herstart indien nodig.

In enkele gevallen wil men ook wel een python versie van systemd gebruiken: volledig compatibel functioneel, maar wederom niet het gezeur dat je systemd van je hostos moet kunnen gebruiken.

In den beginne vonden sommige puristen dat elke docker container maar één applicatie mocht draaien, maar die tijd ligt gelukkig ver achter ons.

Docker, makkelijker kunnen we het niet maken, wel leuker

Edit:
Mocht je toch een web-gui willen voor beheer, dan zou je naar https://cockpit-project.org/ kunnen kijken.
De systeem plugins maken al een hoop mogelijk, maar 3rd party plugins geven ook toegang tot Samba en NFS shares, inclusief instellingen voor Windows en MacOS.

[ Voor 11% gewijzigd door Mars Warrior op 12-04-2025 14:20 ]

[blackmage2v]

RedRayMann schreef op vrijdag 11 april 2025 @ 23:00:
[...]

Tnx voor je gedachten.
Als mensen toevoegingen hebben, hoor en lees ik het graag.

Ook voor toekomstige server bouwers. Dan kunnen we altijd terug refereren, bronnen opnemen in de startpost of mythes de wereld uit bannen :-P

Als ik nu kijk naar mijn LXC's gebruiken ze 0% cpu
Alleen Unifi 0,7% en Adguard 6,3%
Home Assistant VM 1,4%
En Proxmox zelf 4,8%

En dan wel rekening houdend met een N97 cpu en niet elke LXC heeft 4 core toegewezen gekregen.

Voor mijzelf heb ik laatst ook een moment gehad, waarin ik ben gaan kijken wat handig is voor mijn situatie. Naast jouw berichten hier op het forum en wat ik on-the-line voorbij zag komen, leek het mij wel interessant van om van Debian over te stappen naar Proxmox. Ik heb veel gelezen, waarna ik uiteindelijk de conclusie heb getrokken dat Proxmox voor mijn situatie niet heel veel gaat opleveren.

Het had vooral te maken met de manier hoe je Docker kunt/moet draaien. Bij Proxmox, is dat je Docker niet op de host installeert, maar in een LXC of als best-practise in een VM. Installeren op de host zelf, wordt afgeraden in de documentatie. Je gaat dus een extra laag creëren, wat naar mijn mening inefficiënt is. Mogelijk dat het verbruik minimaal verschilt, maar door de extra laag wordt het toch complexer en mogelijk foutgevoeliger.

Voor in de toekomst is het mogelijk dat ik 1 à 2 vm's ga draaien, als die al nodig zijn. In dit geval is het ook mogelijk om kvm te installeren en zo de vm's te draaien. Ik heb begrepen dat Proxmox op kvm gebaseerd is en mijn aanname is dat het verschil ook minimaal zal zijn, als je kijkt naar verbruik.

Voor mij heeft het geen toegevoegde waarde om Proxmox te installeren, omdat ik teveel aanpassingen moet maken en Proxmox probeer te buigen naar hoe ik het wil. In tegenstelling tot Proxmox gebruiken zoals bedoeld en dat dit een oplossing biedt voor mijn gewenste situatie.

Terwijl ik dit aan het typen heeft @pimlie een reactie gepost en hier ben ik het helemaal mee eens

Kijk naar wat je wilt en wat hier de meest efficiënte oplossing voor is. Dit om binnen de kaders van dit topic te blijven.

[RedRayMann]

Nogmaals dank voor alle info.

Technisch gezien kan het optimaler, zuiverder of zuiniger.
Bij mij moet er een balans van gemakt en zuinigheid zijn.

Proxmox als basis vind ik nu ideaal omdat ik een lxc of vm kan opstarten om te experimenteren en te leren.

Ik denk voor nu de bestaande LXC's te houden. Ik kan tzt wel mijn Docker lxc met de zelfde programma's in productie nemen en de lxc's uitzetten. Als een AB test.

Zal de resultaten hier delen.

Voor mij is nu wel duidelijk dat Proxmox - LXC - Docker met Portainer niet ideaal is, maar wel aansluit aan mijn kennis en kunde. Dat dit dus voor nu my way to go is.

Minimaal gebruik maken van VM's

Ik ga verder met OMV in een LXC om mee te spelen en te leren, Immich in Docker.

Voor nu heb ik weer een pad tussen de bomen in het bos gevonden!

[ImmortalSoul]

Ik wil een nieuwe zuinige server gaan bouwen, in plaats van mijn huidige 6 jaar oude laptop. In principe gaat deze 24x7 draaien voor HomeAssistant, Plex (met maximaal een 4k stream) en een torrent client. Misschien dat ik in de toekomst nog wat met Docker wil knutselen, maar ik verwacht geen zware applicaties. Daarvoor heb ik een aparte ESXi bak.

Verdere belangrijke informatie:
- Ik maak gebruik van een Sonoff USB Zigbee stick + een USB naar p1 voor het uitlezen van een stroommeter.
- Ik heb een lifetime Plex pass, dus een platform wat hardware transcoding ondersteund zou fijn zijn.
- Ik heb een voorkeur voor zelfbouw en/of tweedehands kopen

Ik denk dat een simpel systeem voldoet, met een Intel N100 of i3-13100, 8GB ram, moederbord en een SSD.
Alleen denk ik dat dit al snel richting de 300 euro loopt, terwijl ik met een Beelink S12 pro (intel n100) voor 190 euro al klaar ben. Tegelijkertijd heb ik gevoelsmatig een afkeer aan zo'n chinese pc van Amazon, en zou ik dan liever gaan voor een tweedehandse Thin Client ... al is het bijna onmogelijk om een beschikbare Thin Client te vinden waar ik van te voren het stroomverbruik van weet.

Ik zie door de bomen het bos niet meer, kan iemand mij wat tips geven om op het juiste pad te komen?

[GioStyle]

ImmortalSoul schreef op zondag 13 april 2025 @ 16:59:

Ik zie door de bomen het bos niet meer, kan iemand mij wat tips geven om op het juiste pad te komen?

Ik zie op Marktplaats een HP Elitedesk 800 Mini G5 staan voor onder de €100, wel even goed navraag doen. Heeft een Intel i3 9300 aan boord, en ik weet dat deze mini pc idle onder Debian onder de 3W kan komen.

[HowsMyApple]

GioStyle schreef op zondag 13 april 2025 @ 17:49:
[...]

Heeft een Intel i3 9300 aan boord, en ik weet dat deze mini pc idle onder Debian onder de 3W kan komen.

Had ik na vele avonden tevergeefs proberen het verbruik van m'n prodesk G5 mini onder de 5W te krijgen er vrede mee gesloten dat 'ie 8 a 9W verbruikt. En dan kom jij weer met zo'n statement. Nouja daar gaan we weer dan


(Enige manier waarop de C-state lager dan c3 kan krijgen is door in de BIOS de PCIE Power Management aan te vinken, maar dan crashed/reboot de pc elke minuut wanneer er geen monitor aanhangt..)

[GioStyle]

HowsMyApple schreef op zondag 13 april 2025 @ 21:15:
[...]


Had ik na vele avonden tevergeefs proberen het verbruik van m'n prodesk G5 mini onder de 5W te krijgen er vrede mee gesloten dat 'ie 8 a 9W verbruikt. En dan kom jij weer met zo'n statement. Nouja daar gaan we weer dan


(Enige manier waarop de C-state lager dan c3 kan krijgen is door in de BIOS de PCIE Power Management aan te vinken, maar dan crashed/reboot de pc elke minuut wanneer er geen monitor aanhangt..)

Dat is wel vreemd, daar had ik geen last van. Ik heb er twee in mijn bezit gehad en beiden deden idle <3W.

Maar, idle is bij mij Debian install plus powertop --auto-tune met utp kabel op 1Gbit aangesloten. Dat betekent dus geen usb sticks of andere randapparatuur. Mijn server (Odroid H3) heeft een idle verbruik van ~1,7-1,9W, maar met alles erop en eraan schommelt het verbruik tussen de 2 en 3W. Mijn tweede server (ook een Odroid H3) doet echt <2W, omdat ie alleen aan de bak hoeft als de eerste server er geen zin meer in heeft. De tweede server was eerst mijn backupserver die in slaapstand ging. Echter is het verbruik in slaapstand ~0,2-0,8W, dus voor een wattje meer heb ik maar besloten om hem actief in te zetten als tweede (backup)server.

Ik heb op beide servers AdGuard Home draaien in combinatie met Keepalived. Zodra mijn eerste server moet rebooten of geen zin meer in heeft, dan neemt de tweede server het over. Zo kan ik gewoon overdag rebooten zonder dat het internet niet werkt.

[Church of Noise]

HowsMyApple schreef op zondag 13 april 2025 @ 21:15:
[...]


Had ik na vele avonden tevergeefs proberen het verbruik van m'n prodesk G5 mini onder de 5W te krijgen er vrede mee gesloten dat 'ie 8 a 9W verbruikt. En dan kom jij weer met zo'n statement. Nouja daar gaan we weer dan


(Enige manier waarop de C-state lager dan c3 kan krijgen is door in de BIOS de PCIE Power Management aan te vinken, maar dan crashed/reboot de pc elke minuut wanneer er geen monitor aanhangt..)

Heb dat ook ooit voorgehad. Oplossing was een dummy hdmi plug
Heb die mss zelfs nog ergens liggen...

[txp]

Church of Noise schreef op maandag 14 april 2025 @ 06:15:
[...]

Heb dat ook ooit voorgehad. Oplossing was een dummy hdmi plug
Heb die mss zelfs nog ergens liggen...

Ook gehad. Dummy plug is niet nodig. Deze kernel parameter toevoegen kan ook:

code:

i915.enable_dc=0

iGPU gaat dan niet in sleep helaas. Dus ook niet in de hogere C-states. Maar het is me daarmee wel gelukt om dan 5W idle te halen met alleen een netwerkkabel aangesloten (Debian). Dit heb ik uit dit topic gehaald: https://forum.proxmox.com...ing-in-plex.132187/page-4

Zonder die parameter was het verbruik 3-4 W, maar dan krijg je inderdaad te maken met reboots.

Overigens staat in het topic waar ik naar link ook het uitschakelen van "PCI Express Power Management" in de BIOS als optie. Maar als je dat doet schakel je ASPM uit en gaat het verbruik omhoog naar 19-20W.

[Church of Noise]

Met de dummy plug zou je gpu wel nog in energiebesparende modus moeten geraken als je

code:

consoleblank=15

gebruikt, niet?

[txp]

Church of Noise schreef op maandag 14 april 2025 @ 10:52:
Met de dummy plug zou je gpu wel nog in energiebesparende modus moeten geraken als je

code:

consoleblank=15

gebruikt, niet?

Ja, die gebruik ik er ook bij. Dus iGPU gaat vast wel in een soort sleep. Maar de CPU gaat dan dus niet in de hogere C-states. Maar verschil is dus ongeveer 2 Watt. 2,8-3,0 W vs 4,8-5,0 W.

[gitaarwerk]

Mars Warrior schreef op donderdag 10 april 2025 @ 13:13:
[...]

Tjs, die phone-home Chineze spullekes zitten hier allemaal op een gastnetwerk zonder internet toegang. Vinden ze niet leuk

Dat is inderdaad de bedoeling, maar wil het dan net eventjes anders doen maar dat is inderdaad wel een beetje de strekking. Vooral de wifi dingen.

Uiteindelijk komt het altijd neer op wat je wilt/kunt/kennis van hebt en de centjes. Dat is niet aan dit forum om te beslissen

In mijn geval was de oude server ruim 10 jaar oud, dus dan kun je een behoorlijke "reset" doen qua hardware en software opzet. Ik had dus geen last van het zal-ik-oude-spullen-nog-gebruiken vraagstuk.

Vanuit werk (en hobby) werkte ik al vanaf 2017 met Docker, dus dat was ook geen issue: alles komt in docker, zelfs als zo'n container oorspronkelijk een VM was met 100 draaiende processen.

Ben benieuwd waar je uiteindelijk op uitkomt qua hardware, en wat het verbruik daarmee is!

Precies Ik heb altijd met VMs gewerkt, en Docker alleen op werk, maar is het vaak al ingesteld. Dus nu moet ik toch echt zelf aan de bak. Maar dat is ook wel leuk weer.

Er zijn best wat leuke opties, maar moet zelf ook bedenken wat kan schalen. Uiteindelijk moet ik, zoals jullie al eerder zeiden, eerlijk zijn wat nou echt nodig is. Uiteindelijk ga ik naar steeds minder IoT dingen, dan meer. En de sensoren die ik wil plaatsen, ga ik denk ik allemaal zelf programmeren en kastjes voor 3d-ontwerpen. Vind ik ook leuk. Maar uiteindelijk is het allemaal helemaal niet spannend. Alleen gewoon even goed uitdenken.

Ik ben zelf ook benieuwd waar ik op uit kom. Ik denk dat ik niet alle hardware onder 1 bak wil zetten, maar wellicht ondersteuenen door kleine PIs of iets soortgelijks. Ik had een mooie 19" kast gezien van 3U waar je een prima desktop set-up in kan zetten, met HDDs intern, en een 12cm koeler. Maar kan het nu mooi zeggen, maar zal eerst toch alles even op papier moeten zetten. Ik kom er op terug

[Church of Noise]

txp schreef op maandag 14 april 2025 @ 14:32:
[...]


Ja, die gebruik ik er ook bij. Dus iGPU gaat vast wel in een soort sleep. Maar de CPU gaat dan dus niet in de hogere C-states. Maar verschil is dus ongeveer 2 Watt. 2,8-3,0 W vs 4,8-5,0 W.

Makes sense.
hier is nog een grappig feitje: dit kwam voor bij een Intel nuc van de 8e generatie, maar bij een ander, gelijkaardig toestelletje dus niet. Beiden kale Debian... Versta het nog steeds niet.
punt is: niet altijd makkelijk te voorspellen, of gelinkt aan een bios setting die ik nooit heb gevonden (nochtans wel echt geprobeerd)

[brogel]

Ik heb momenteel een Qnap TS212-P met 2x 2tb schijven (in mirror) voor opslag en een RPI4 voor de standaard dingetjes (HA, Duplicati, Pihole, unifi, nginx,..)
Als ik online kijk verwacht ik dat deze 2 samen een 15w verbruiken. Zie edit voor wat metingen.

Ik ben aan het overwegen of ik dit kan/moet vervangen door een iets groter systeem. Mijn goal is dat ik daarop dan ook Immich kan draaien.

Systemen welke ik bekeken heb:
- Gmktec nucbox g3 pro (n150), kost slechts een 160euro, nadeel is dat hier geen losse schijven in kunnen.
- NUC8I5BEH, deze staat toevallig te koop op het werk voor 240 euro. Nadeel ook hier geen losse schijven.
- de tweakers 'best buy' home server op basis van ASRock N100DC-ITX. Voordeel 2 losse schijven mogelijk, nadeel weer heel wat duurder en verbruikt volgens de test ook 15w, dus daar win ik dan niet veel. Zijn er trucjes om dit nog wat lager te krijgen?

Het verbruik is voor mij niet echt de grootste eis (verwacht niet op 5w te eindigen), zou fijn zijn dat ik natuurlijk niet meer ga verbruiken dan de huidige opstelling RPI+NAS.

Heeft iemand andere suggesties, welke ook prijs technisch nog te rechtvaardigen zijn?

edit:
Heb ondertussen even kunnen meten, de RPI en NAS samen verbruiken idle een 13.5w.
Ik merk als ik mijn laptop start dat de NAS wakker wordt en het verbruik naar 22w gaat, dit blijft zo tot een halfuur nadat de laptop terug uit is.

[ Voor 23% gewijzigd door brogel op 16-04-2025 20:12 ]

[Mich]

Ik heb Proxmox ge-update naar kernel 6.14 Dit gaf geen achteruitgang in verbruik. In het beste geval een paar procent beter maar dat is moeilijk te zien op een home assistent grafiekje. (Kontron K3843-B systeem)

[mrmrmr]

@brogel Onder de knop gepinde posts rechtsboven kun je berichten vinden van mensen die een systeem hebben aangeschaft en gemeten.

Momenteel zijn Odroid systemen het zuinigst in idle, gevolgd door een meer capabel dekstop systeem van Kontron: K3843-B.

Het heeft weinig zin iets te kleins te kopen als je die moet volhangen met USB devices. Klein betekent tegenwoordig niet meer dat het zuinig is. USB devices die niet in low powerstand gaan zorgen voor een hoger verbruik. Veel beter is direct het juiste aantal SATA aansluitingen aan te schaffen. Je kan veel beter een grote schijf kopen dan meerdere kleintjes. Het draaiend houden van 3.5" hard disks kost veel energie (meer dan de rest van een zuinig systeem, per disk!). De keuze is op volgorde van zuinigheid: grote SSD, 2.5" 4 of 5 TB disks, grote 3.5" disk (18TB +). Kleine 3.5" die je nog hebt kun je toepassen voor backup, door die tijdelijk via USB aan te sluiten.

[ilm]

Iemand die ook fedora silverblue draait als server?

Komende van ubuntu lts was het verbruik 8 watt in idle na een powertop (voor beelink n100). Met silverblue kom ik niet verder dan 15 watt. Geen idee wat verder het verschil kan zijn.

Het is dat ik ook een scherm en luidspreker heb aangesloten, anders zou ik coreos eens proberen. Debian was initieel de bedoeling maar silverblue leek leuker. Had niet gedacht dat het verbruik zo anders kon zijn. Ik zie wss iets over het hoofd.

[mrmrmr]

@ilm Kijk eens:

• met top of er processen actief zijn. Er zit kennelijk een index programma in Fedora. Dat is net als onder Windows een energievreter.
• of de energiemeter nauwkeurig is, geen VA waarde maar netto Watts.
• of optimalisaties zijn toegepast (zie topic start), o.a. powertop --auto-tune en consoleblank/xset/UI
• wat lspci -vvv weergeeft.
• welke drivers voor netwerk worden gebruikt.

[Brilsmurfffje]

brogel schreef op woensdag 16 april 2025 @ 14:22:
Ik heb momenteel een Qnap TS212-P met 2x 2tb schijven (in mirror) voor opslag en een RPI4 voor de standaard dingetjes (HA, Duplicati, Pihole, unifi, nginx,..)
Als ik online kijk verwacht ik dat deze 2 samen een 15w verbruiken. Zie edit voor wat metingen.

Ik ben aan het overwegen of ik dit kan/moet vervangen door een iets groter systeem. Mijn goal is dat ik daarop dan ook Immich kan draaien.

Systemen welke ik bekeken heb:
- Gmktec nucbox g3 pro (n150), kost slechts een 160euro, nadeel is dat hier geen losse schijven in kunnen.
- NUC8I5BEH, deze staat toevallig te koop op het werk voor 240 euro. Nadeel ook hier geen losse schijven.
- de tweakers 'best buy' home server op basis van ASRock N100DC-ITX. Voordeel 2 losse schijven mogelijk, nadeel weer heel wat duurder en verbruikt volgens de test ook 15w, dus daar win ik dan niet veel. Zijn er trucjes om dit nog wat lager te krijgen?

Het verbruik is voor mij niet echt de grootste eis (verwacht niet op 5w te eindigen), zou fijn zijn dat ik natuurlijk niet meer ga verbruiken dan de huidige opstelling RPI+NAS.

Heeft iemand andere suggesties, welke ook prijs technisch nog te rechtvaardigen zijn?

edit:
Heb ondertussen even kunnen meten, de RPI en NAS samen verbruiken idle een 13.5w.
Ik merk als ik mijn laptop start dat de NAS wakker wordt en het verbruik naar 22w gaat, dit blijft zo tot een halfuur nadat de laptop terug uit is.

[Afbeelding]

De g9 van gmktec heeft 4x m2 ssd en een zuinige Intel processor. Ligt er een beetje aan wat je gaat draaien maar een systeem met 3 schijven is het meest ideale. 2 identieke drives voor storage en dan 1 drive voor het os als je een Truenas schroef oplossing wilt.

[mrmrmr]

Brilsmurfffje schreef op maandag 21 april 2025 @ 22:17:
[...]

De g9 van gmktec heeft 4x m2 ssd en een zuinige Intel processor.

12 tot 14W is gerapporteerd voor "Gmtek nucbox g3 plus", niet zuinig voor een N-serie processor. Zuinigheid ligt voornamelijk aan moederbord, BIOS, OS en configuratie/optimalisatie.

Er zijn wel zuinige Intel N-serie moederborden. Een Odroid H4 meting.

[RobertMe]

Brilsmurfffje schreef op maandag 21 april 2025 @ 22:17:
[...]

De g9 van gmktec heeft 4x m2 ssd en een zuinige Intel processor. Ligt er een beetje aan wat je gaat draaien maar een systeem met 3 schijven is het meest ideale. 2 identieke drives voor storage en dan 1 drive voor het os als je een Truenas schroef oplossing wilt.

Deze kwam laatst in mijn YouTube feed voorbij: YouTube: Is this the perfect Mini NAS? SSDs / volledige systeem wordt warm en crasht (als gevolg daarvan?). Lijkt mij dus niet een systeen dat je wilt hebben.

[GioStyle]

Ik heb vorige week de GMKTec G3 Plus gekocht, maar helaas nog niet binnen. Ik ben wel benieuwd.

[ilm]

mrmrmr schreef op maandag 21 april 2025 @ 22:09:
@ilm Kijk eens:

• met top of er processen actief zijn. Er zit kennelijk een index programma in Fedora. Dat is net als onder Windows een energievreter.
• of de energiemeter nauwkeurig is, geen VA waarde maar netto Watts.
• of optimalisaties zijn toegepast (zie topic start), o.a. powertop --auto-tune en consoleblank/xset/UI
• wat lspci -vvv weergeeft.
• welke drivers voor netwerk worden gebruikt.

Bedankt, ik zal alles nog eens overlopen. Powertop geeft 800 wakeups/s aan net zoals ubuntu. Mogelijks 10% minder in de hogere C states maar weet ik niet zeker.

Nu geswitched naar kde / kinoite en daar is het verbruik al minder met 11 watt in idle. Meter is van aqara dus wss niet bijster accuraat (zelfs met 20% error is het verschil nog steeds significant).

Powertop autotune kan ik niet gebruiken wegens brakke i225-v netwerk driver. Systeem loopt vast met power saving van de ethernet poorten.

[RobertMe]

ilm schreef op dinsdag 22 april 2025 @ 08:44:
Powertop autotune kan ik niet gebruiken wegens brakke i225-v netwerk driver. Systeem loopt vast met power saving van de ethernet poorten.

Ook dan kun je met de hand de overige tunables op "good" zetten. Alleen dan even die van de NIC overslaan.