Het grote zuinige server topic - deel 3

[Kazu]

Quad schreef op maandag 2 mei 2022 @ 20:11:
[...]
De goedkope 9th gen heeft volgens mij heen ondersteuning voor hyperthreading, wat weer een vereiste was voor mij ivm ESXi.
Maar in jouw geval was goedkoper/ ouder weer voordeliger geweest op langere termijn. 10W verschil is toch een besparing van zo'n 85kWh?/jaar.

Het blijft immers 't zuinige servertopic.

Haha, zeker, alleen wist ik van tevoren niet zeker op welk wattage ik uit zou komen met deze opstelling, vanwege het gebrek aan metingen door anderen op het internet, dus het was zeker een gok. Ik ga in het komende jaar ook nog wel kijken wat nu echt de grootverbruiker zou zijn, en het verder omlaag proberen te krijgen, dus dit krijgt nog wel een vervolg Hopelijk naarmate de B660 moederborden en 12e gen. CPU's meer en meer in setups komen is er ook meer materiaal te vinden over hoe je het verbruik omlaag kunt krijgen.

mrmrmr schreef op maandag 2 mei 2022 @ 21:33:
@Kazu Bedankt voor de metingen! Je kan proberen de WiFi kaart uit te nemen (zit meestal in een metalen behuizing) en uit te schakelen onder Linux. 18,3W zonder hard disks vind ik hoog, maar met welke voeding is dat? Een niet-zuinige ATX voeding kan >10W voor zichzelf eisen (overhead).

Goeie tip over de wifi kaart, ik zal eens kijken of dit bij mijn moederbord ook mogelijk is. De voeding is een picoPSU van 90 watt, dus daar zit de overhead hem niet in, als het goed is.

Maar, er zit nog wel wat rek in het systeem, heb ik het idee.

[D-Three]

Nutral schreef op dinsdag 3 mei 2022 @ 13:43:
De PC is vrij snel met 2 ssd's, 32gb geheugen en 6 i5 P cores. Gezien hij zoals een nuc word aangedreven door een 19,5W laptop adapter is hij ook redelijk zuinig.

Waarschijnlijk bedoel je 19,5V want anders kan die toch onmogelijk krachtig genoeg zijn?

De kast past niet helemaal lekker, ik zal er nog een gat in moeten maken voor de CPU koeler, die wel redelijk nodig is (max temp is 70 graden in cinebench multi)

Ah, geen probleem zolang de CPU niet gaat throttlen Maar de koeler zal wel redelijk veel uit steken dan? Volgens de pricewatch is de maximum hoogte 26 mm en de Noctua is 37mm. Ik zou de fan demonteren van de cooler, deze is 23 mm hoog. Dan een (rond) gat maken boven de cpu cooler en de fan op buitenkant schroeven met uiteraard nog een fanguard er op. Dat lijkt mij dan de netste afwerking? Tenzij je een heel mooi vierkant gat kan maken

[The Fatal]

Ik ben aan het oriënteren om mijn oudere nuc met een I3 4010 te vervangen voor een nieuwer model.
Deze heeft immers al wat jaren er op zitten. Huidige uptime is 410 dagen. Draait al lange tijd stabiel met ESXI en verschillende VM’s (databases, grafana, home assistant, test server, en paar andere kleine dingen, niet als file server). In principe is de nuc nog snel genoeg voor wat hij moet doen.
Gezien de leeftijd, gok dat ik hem in 2014 heb aangeschaft en gekeken naar dat nieuwere hardware energie zuiniger is, is dus mijn oriëntatie gestart.

Nu ben ik echt al jaren uit de materie en mijn gevoel zegt voor een zelfde soort setup gaan en kwam uit op:

#	Category	Product	Prijs	Subtotaal
1	Barebones	Intel NUC 11 Performance kit - NUC11PAHi3	€ 359,65	€ 359,65
1	Geheugen intern	Crucial CT16G4SFRA32A	€ 64,48	€ 64,48
1	Solid state drives	WD Blue SN570 1TB	€ 92,86	€ 92,86
			Totaal	€ 516,99

Is dit een weer een goede weg om in te slaan, of zijn er betere opties?

[Quad]

@The Fatal het kan zijn dat esxi de netwerkadapter niet ondersteund.

[The Fatal]

Quad schreef op dinsdag 3 mei 2022 @ 23:04:
@The Fatal het kan zijn dat esxi de netwerkadapter niet ondersteund.

Goeie!
Deze zou een Intel® Ethernet Controller i225-V chip moeten hebben. “Vroeger” werd Intel goed ondersteund door ESXI. Neem aan dat het nog steeds zo is. Ik draai immers nog V6.7 volgens mij.
Ben niet blind voor ESXI, als bijvoorbeeld Proxmox even goed werkt en zuinig is, voor mij ook prima.

[hjpool]

Beste mensen,

Ook ik wil mijn thuisservertje gaan vervangen voor een wat zuiniger model.
Op dit moment heb ik nog 2 machines draaien welke wekelijks 40 kWh opstoken.
Gelukkig wordt dit gecompenseerd door een aantal zonnepanelen, maar in deze tijd kan ik de stroom natuurlijk beter gebruiken.

Het grootste deel wordt gebruikt door mijn NAS, deze wil ik op den duur wel vervangen, maar ik weet nu nog niet zo goed waar ik met de storage naar toe moet.

Hiernaast draait een ESX machine op een E3-1200v2 (geloof ik) en deze heeft ook al wat uurtjes achter de kiezen. Op dit moment heeft deze machine 2 3.5" schijven, 1 2.5" schijf en een SSD. Hierop draait Plex, een Dockerserver met de "standaard" dingen en nog een mailserver.

Deze machine zou ik nu willen gaan vervangen.
Nu heb ik, op basis van, de hier gelezen informatie de volgende configuratie bedacht.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-9500 Boxed	€ 169,90	€ 169,90
1	Moederborden	ASRock H310CM-HDV/M.2	€ 61,46	€ 61,46
1	Behuizingen	Kolink Satellite	€ 43,40	€ 43,40
3	Externe harde schijven	Intenso Memory Case 2.5" USB 3.0 5TB Zwart	€ 91,-	€ 273,-
1	Geheugen intern	Corsair Vengeance LPX CMK32GX4M2D3600C18	€ 139,-	€ 139,-
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 74,30	€ 74,30
1	Solid state drives	WD Blue SN550 1TB (WDS100T2B0C)	€ 86,90	€ 86,90
Bekijk collectie Importeer producten			Totaal	€ 847,96

Ik ga er wel vanuit dat de Intenso Memory cases opengemaakt kunnen worden om deze schijven intern te gebruiken.

Is dit een passende configuratie?

[mrmrmr]

@hjpool 238W gemiddeld is een zeer hoog verbruik. Op dit moment is de kWh prijs € 0,45 (tarief marktleider Essent). Dat komt op € 945 per jaar en € 4.725 over een periode van 5 jaar.

Een server kan zo weinig als 4W verbruiken mits wordt voldaan aan de volgende ingredienten:
• zuinige hardware
• zuinige software
• zuinige inrichting/configuratie

De laatste 2 zijn ook van groot belang. Je zou bijvoorbeeld in plaats van Virtual Machines zoveel mogelijk kunnen draaien onder het primaire besturingssysteem, bijvoorbeeld Debian of Ubuntu. Bijvoorbeeld een mail server, web server, NAS-achtige services, etc.

Een probleem met processoren met turbo's en veel cores is dat het verbruik sterk kan oplopen. Je kunt dat voorkomen door de PL1 en PL2 te verlagen (check of dat kan in de BIOS handleiding van het moederbord) of door een 2 of 4 processor toe te passen, zoals een Pentium Gold of een i3-9100.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 161,39	€ 161,39
1	Moederborden	Fujitsu D3643-H	€ 101,42	€ 101,42
1	Interne harde schijven	Toshiba MG09 (SATA, Standard, 512e), 18TB	€ 289,-	€ 289,-
1	Geheugen intern	Crucial CT16G4DFRA266	€ 61,07	€ 61,07
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 74,30	€ 74,30
1	Solid state drives	WD Blue SN550 1TB (WDS100T2B0C)	€ 86,90	€ 86,90
Bekijk collectie Importeer producten			Totaal	€ 774,08

In het bovenstaande voorbeeld is geen behuizing opgenomen. De beste behuizing is vertikaal met een opening bovenaan zodat warmte lucht daar weg kan. Koele lucht moet onderaan de kast in kunnen. Zodoende is er minder actieve koeling nodig.

In plaats van losse 5TB schijven is er één grote schijf. De Toshiba disk komt met 4,18W in idle (0,23W/TB) in de buurt van het verbruik per TB van 5TB 2.5" disks (0,17W/TB). Gewoon als ext4 indelen, geen RAID en geen voortdurend file management dat op zich weer een belasting vormt. Disks die je al hebt kun je via een tijdelijke externe USB aansluiting gebruiken voor het maken van backups. Bijvoorbeeld met een Sharkoon Quickport of externe USB behuizing.

Het geheel kan vanaf 8W in idle verbruiken onder Debian. De rest is afkomstig van de belasting en van de overhead die software veroorzaakt. Met name VM's zorgen voor overhead die de stapeling van besturingssystemen met zich meebrengt. Sommige programma's zijn overmatig bezig met het verzamelen van data of met polling. Die zou ik vermijden. Gebruik zoveel mogelijk lichte programma's, met lage systeembelasting. Dat is één van de belangrijkste soorten besparing.

Het desktop moederbord is het zuinigst bekende.

De 90W/84W voeding is passend bij de hardware in het bovenstaande lijstje.

[ Voor 3% gewijzigd door mrmrmr op 04-05-2022 07:12 ]

[hjpool]

@mrmrmr Bedankt voor je uitgebreide reactie, weer genoeg stof tot nadenken.

Ik weet inderdaad dat mij verbruik nogal hoog is, vandaar ook dat ik aan het zoeken ben geslagen.

Nu zeg je dat je zoveel mogelijk bare-metal moet draaien om maximaal zuinig te kunnen zijn, maar valt hier ook het draaien in docker containers onder? Ik zou best van de VMs af kunnen stappen, maar zou wel graag een vorm van scheiding willen houden. Of is dit de plek waar we op het snijvlak zitten en de concessies moeten doen tussen functionaliteit en zuinigheid?

Ik snap dat het gebruik van lichte programma's de hele installatie zuiniger maakt, maar je wilt natuurlijk wel de initiële functionaliteit behouden.

[Tiepfoud]

hjpool schreef op woensdag 4 mei 2022 @ 08:49:
maar valt hier ook het draaien in docker containers onder?
.

Ik kom zelf van proxmox met wat lxc containers, en een 3tal vm's af. Draai nu alles op debian met docker, in een 20tal containers, via docker-compose. Load op de server is een PAK lager => het verbruik ook.

Het grootste nadeel is imho het verlies van isolatie.
Kruipt meer werk in qua veiligheid(gesplitste netwerken, rechten van containers/groepen containers beperken, met andere uid/gid per container etc)

Moet je wel wat kijken natuurlijk. Bloated software blijft bloated, of het nu in een vm of een docker container draait 😉

[GioStyle]

-

[ Voor 100% gewijzigd door GioStyle op 29-10-2022 23:51 ]

[RobertMe]

hjpool schreef op woensdag 4 mei 2022 @ 08:49:
@mrmrmr Bedankt voor je uitgebreide reactie, weer genoeg stof tot nadenken.

Ik weet inderdaad dat mij verbruik nogal hoog is, vandaar ook dat ik aan het zoeken ben geslagen.

Nu zeg je dat je zoveel mogelijk bare-metal moet draaien om maximaal zuinig te kunnen zijn, maar valt hier ook het draaien in docker containers onder? Ik zou best van de VMs af kunnen stappen, maar zou wel graag een vorm van scheiding willen houden. Of is dit de plek waar we op het snijvlak zitten en de concessies moeten doen tussen functionaliteit en zuinigheid?

Ik snap dat het gebruik van lichte programma's de hele installatie zuiniger maakt, maar je wilt natuurlijk wel de initiële functionaliteit behouden.

Ik denk dat je hierin een aantal lagen kunt onderscheiden.

VMs:
Dit is niet efficiënt doordat elke VM een eigen kernel draait en bv energiebeheer daardoor moeilijk, als niet onmogelijk, wordt. Dit geldt dan zowel voor de host / hypervisor als de guests. Daarnaast draai je ook elke keer een volledig OS met alle toeters en bellen. Dus je hebt bv een logging server draaien per guest en mogelijk ook op de host / hypervisor.

LXC containers:
Dit is een Linux only techniek (zowel v.w.b. "host" als "guests"). Per LXC container draai je dan eigenlijk een volledig Linux systeem geïsoleerd van de rest van het systeem, maar wel op dezelfde kernel. Voordeel v.w.b. energieverbruik is dat je maar één kernel hebt en energiebeheer dus beter werkt (/hetzelfde als geen VMs). Het nadeel is dat je wel nog steeds in elke LXC container een volledig OS draait met dus "dubbele services" (als voorbeeld wederom een logging daemon).

Docker:
Qua techniek zijn Docker en LXC vrijwel identiek (gebruiken dezelfde kernel features voor proces isolatie). Alleen de toepassing is anders. Bij Docker draai je geen volledig OS maar één enkel proces per container. Voordeel ten opzichte van LXC is dus dat je niet allemaal dubbele background services hebt draaien waardoor het wel weer iets zuiniger is. Nadeeltje van Docker is dan weer de Docker daemon die de containers beheert. Deze gebruikt uiteraard ook wat CPU tijd etc. Daar waar LXC dus "daemon loos" is.

Als "alternatieven" voor Docker heb je vervolgens nog Podman, wat eigenlijk hetzelfde is, alleen dan zonder daemon en mogelijk dus iets zuiniger. En K8s en K3s waarbij je met een volledige cluster kunt werken, en dat is (uiteraard) vele malen onzuiniger door alle extra processen die K8s (en daarmee ook K3s) vereist voor het cluster beheer etc etc. Ik meen dat Mars Warrior daarover ook wel eens getallen heeft gepost? K3s vs docker.

[campr112]

Slecht nieuws dus voor degenen die op de uitslagen van de PFSense throughput wachten op de Zimaboard. Het gaat toch firewalling op Linux worden. Virtualboxen kost gewoon teveel power (5W extra, ~). @PuijkeN

[RobertMe]

campr112 schreef op woensdag 4 mei 2022 @ 10:23:
Slecht nieuws dus voor degenen die op de uitslagen van de PFSense throughput wachten op de Zimaboard. Het gaat toch firewalling op Linux worden. Virtualboxen kost gewoon teveel power (5W extra, ~). @PuijkeN

offtopic:
Welke oplossing ga je dan voor? Volgens mij zijn er wat dedicated distributies voor (IPFire meen ik uit mijn hoofd?), maar zelfbouw zou natuurlijk ook kunnen.

[FireDrunk]

RobertMe schreef op woensdag 4 mei 2022 @ 09:31:
[...]

Ik denk dat je hierin een aantal lagen kunt onderscheiden.

VMs:
Dit is niet efficiënt doordat elke VM een eigen kernel draait en bv energiebeheer daardoor moeilijk, als niet onmogelijk, wordt. Dit geldt dan zowel voor de host / hypervisor als de guests. Daarnaast draai je ook elke keer een volledig OS met alle toeters en bellen. Dus je hebt bv een logging server draaien per guest en mogelijk ook op de host / hypervisor.

LXC containers:
Dit is een Linux only techniek (zowel v.w.b. "host" als "guests"). Per LXC container draai je dan eigenlijk een volledig Linux systeem geïsoleerd van de rest van het systeem, maar wel op dezelfde kernel. Voordeel v.w.b. energieverbruik is dat je maar één kernel hebt en energiebeheer dus beter werkt (/hetzelfde als geen VMs). Het nadeel is dat je wel nog steeds in elke LXC container een volledig OS draait met dus "dubbele services" (als voorbeeld wederom een logging daemon).

Docker:
Qua techniek zijn Docker en LXC vrijwel identiek (gebruiken dezelfde kernel features voor proces isolatie). Alleen de toepassing is anders. Bij Docker draai je geen volledig OS maar één enkel proces per container. Voordeel ten opzichte van LXC is dus dat je niet allemaal dubbele background services hebt draaien waardoor het wel weer iets zuiniger is. Nadeeltje van Docker is dan weer de Docker daemon die de containers beheert. Deze gebruikt uiteraard ook wat CPU tijd etc. Daar waar LXC dus "daemon loos" is.

Als "alternatieven" voor Docker heb je vervolgens nog Podman, wat eigenlijk hetzelfde is, alleen dan zonder daemon en mogelijk dus iets zuiniger. En K8s en K3s waarbij je met een volledige cluster kunt werken, en dat is (uiteraard) vele malen onzuiniger door alle extra processen die K8s (en daarmee ook K3s) vereist voor het cluster beheer etc etc. Ik meen dat Mars Warrior daarover ook wel eens getallen heeft gepost? K3s vs docker.

Zowel Docker als Podman gebruiken onderwater containerd, dus ook daar gebruiken ze beide een daemon.

Die daemon is overigens best zuinig hoor, dus Docker an sich draaien zou je geen load op moeten leveren.
Als er niks te doen is, doet de daemon ook niks.

Een van de uitdagingen qua stroomverbruik bij VM's is het aantal 'wakeups' omdat je meerdere kernel's draait.
De kernel draait een soort wakeup loop om te kijken of er nieuw werk te doen is. Intel heeft daaromheen allerlei powersaving features gemaakt die er voor zorgen dat processen bijvoorbeeld aan kunnen geven wanneer ze willen dat de CPU wakker word (defered events heet het dacht ik).

Als je meerdere kernel's draait, die niet samen werken om die wakeups laag te houden, is je cpu vaak bezig met 'idle wakeups' die geen werk verzetten. Dit zorgt er voor dat je CPU dus idle meer stroom verbruikt.

Dit is precies een van die dingen waar Intel harder werkt dan AMD om zijn CPU's zuiniger te maken. In hele moderne kernels zit er een feature van Intel om die wakeups op elkaar af te stemmen binnen een soort 'grace period'. Dat betekend dat als kernel a zegt, wordt over 10ms wakker, en kernel b zegt doe dat over 11 ms, dat de CPU zegt, nou doe maar 11, dan hoef ik maar 1 keer wakker te worden.

Bij Docker heb je dit probleem uberhaupt niet, omdat je dus maar 1 kernel draait.

[ Voor 19% gewijzigd door FireDrunk op 04-05-2022 10:41 ]

[campr112]

RobertMe schreef op woensdag 4 mei 2022 @ 10:27:
[...]

offtopic:
Welke oplossing ga je dan voor? Volgens mij zijn er wat dedicated distributies voor (IPFire meen ik uit mijn hoofd?), maar zelfbouw zou natuurlijk ook kunnen.

Daar be ik dus al jaren naar op zoek, nog steeds niks 'moois' met een GUI tegengekomen. Dit is het 'beste' tot nu toe: https://github.com/jpylypiw/easywall Maar ik wil het dus integreren op mijn huidige Debian 11 distro, niet nog een aparte distro installeren. En op Docker gaat het niet echt, dan zit je al een laag 'te diep' en heb je alleen maar afgeleidde van je netwerk interfaces. Tricky.
Maar het power-argument is voor een goed argument om niet voor VM-achtige oplossingen te gaan. Docker en native FTW (beetje on-topic?)

[Mars Warrior]

Verbruik
Bij mij scheelde het ca 2W idle toen ik overging van VM's naar docker containers. Die 2W is dan zuiver de overhead van de VM, dus hierin zaten al geen draaiende applicaties.

Onder Ubuntu server zie ik met een draaiende standaard docker / docker-compose installatie een CPU verbruik van onder de 1 procent.

Als de docker containers op zuinigheid staan ingesteld (dus geen health-check, of één met een redelijk groot interval), dan zie ik met ca 20-30 containers een idle verbruik van 2-3% CPU.

Geheugengebruik
Hier heb ik het allergrootste verschil gezien tussen een aantal VM's en een berg docker containers: 3VM's met Ubuntu gebruikten totaal 13GB RAM. De losse containers doen het nu met 2-4GB

Mijn server wordt 21 Juni 10 jaar, heeft 16GB RAM en stond een paar jaar geleden al op de nominatie om vervangen te worden omdat er niet meer RAM bij kan. Sinds de overgang naar docker heeft deze dus gewoon zat RAM en kan nog wel ff door zolang de hardware het volhoudt.

Veiligheid / Docker
Als je wat meer veiligheid wil dan kun je docker ook root-less draaien. Maar in dat geval mag je wel zelf aan het werk om de verschillende autorisaties te regelen voor I/O poorten (USB), mappen, netwerkinterfaces en poortnummers onder de 1000. Een aardig aantal dingen doet het ook niet meer, waaronder AppArmor, netwerk overlays en SCTP poorten.

Zomaar een compose file van het internet rukken en starten is er dan niet meer bij

Apps
Draai je docker als root (standaard dus), dan kun je ook fail2ban als docker container draaien en zowel op OS niveau (SSh bijv) als op docker netwerk je netwerk chains wijzigen (webserver logins, botnetjes, etc).

Naast de simpele - single image - docker containers kun je ook containers draaien die zelf weer een hele rits aan applicaties draaien en "denken" dat ze in een VM zitten. Een compleet webpanel als aapanel doet het perfect als docker container

Maar ook een volledige mailserver past in één docker container

Alternatieven
Wil je meer werk dan kun je ook Podman gebruiken. Die kan zowel rootless als daemonless draaien. Alleen de compatibiliteit met docker images is niet altijd even lekker. Niet echt mijn keuze

Dan heb je ook nog de k*s omgevingen (k8s, k3s, k0s). Daar die bedoelt voor netwerkomgevingen met failover gebruiken die een continue health-check. In de testen die ik heb gedraaid in het verleden gebruiken die zomaar 10-25% CPU in idle, dus nog zonder enige container!

Niet echt een optie zolang dat verbruik er is voor een zuinige server.

Backups
Daar docker images en data scheidt is het backuppen - met bijvoorbeeld een Duplicati container - ook niet echt moeilijk en ben je in ieder geval geen onnodige dingen (applicaties, linux stuff) aan het backuppen.

Duplicatie kan naast S3, SFTP en nog een berg dingen ook backuppen naar OneDrive. Dus kun je je Microsoft365 Family account ook lekker vullen. Gebruik je die 6TB tenminste ook nog nuttig

[RobertMe]

Mars Warrior schreef op woensdag 4 mei 2022 @ 14:07:
Geheugengebruik
Hier heb ik het allergrootste verschil gezien tussen een aantal VM's en een berg docker containers: 3VM's met Ubuntu gebruikten totaal 13GB RAM. De losse containers doen het nu met 2-4GB

Is dat niet ook puur doordat je nu efficiënter het geheugen toewijst? Of beter gezegd, niet toewijst. Als je een VM aan maakt geef je aan dat die XGB RAM krijgt. Lijkt mij dat dat geheugen v.w.b. het host OS dan geclaimd / in gebruik is terwijl het in de VM leeg / beschikbaar is. Als in: mijn gevoel zegt dat je meer geheugen had toegekend aan de VMs dan zr daadwerkelijk nodig hadden. En uiteraard gebruikt het OS in de VMs ook wat geheugen. Maar als je nu ~4GB gebruikt en daarvoor 13GB dan is 9GB wel heel veel overhead voor 3 OSen. Zeker als het Linux was, dat draait kaal ook op 512MB of zo dus voor 3VMs 1,5GB overhead, niet 9GB. Blijft uiteraard wel staan dat het een nadeel van VMs is dat het geheugen hard geclaimd wordt en dus "weg". En je niet periodiek gaat evalueren of je een VM wellicht iets minder RAM kunt toekennen.

[mrmrmr]

Discussie over zuinige inrichting juich ik toe. 100% on topic hier.

@campr112 Ik heb hetzelfde probleem, voorlopig laat ik het bij command line. pf vind ik veel beter dan iptables, dat het nodeloos moeilijk maakt voor mensen. Ik gebruik geen VM's en geen BSD wegens het gebrek aan normaal power management.

---

Systemd in Linux heeft ook containerfuncties. Het heeft allerlei beveiligingsmaatregelen voor services, met name het beperken van de permissies/capabilities, maar het is niet eenvoudig te valideren.

Hieronder staat een voorbeeld van containers in systemd voor beveiligingsdoeleinden. Het is een typische "works for me" omdat ieder systeem anders is, dus is het meer een suggestie dan een over te nemen conf.

/etc/systemd/system/apache2.service.d/service.conf

code:

[Service]
ExecStopPost=/bin/rm -r /run/lock/apache2
RuntimeDirectory=apache2
LogsDirectory=apache2
MemoryDenyWriteExecute=true
ProtectControlGroups=true
ProtectKernelModules=true
ProtectKernelTunables=true
ProtectKernelLogs=true
ProtectHome=true
RestrictAddressFamilies=AF_UNIX AF_INET AF_INET6
ProtectHome=true
ProtectSystem=strict
ProtectHostname=true
ProtectClock=true
ProtectProc=noaccess
ProcSubset=pid
Personality=x86-64
PrivateDevices=true
UMask=0027

CapabilityBoundingSet=CAP_CHOWN CAP_DAC_OVERRIDE CAP_KILL CAP_NET_BIND_SERVICE CAP_SETGID CAP_SETUID CAP_SYS_TTY_CONFIG

DevicePolicy=closed

ReadOnlyPaths=/etc/apache2 /etc/terminfo
ReadOnlyPaths=-/etc/ld.so.cache -/etc/ld.so.preload -/usr/bin/expr -/usr/bin/readlink -/usr/bin/run-parts -/usr/bin/tput
ReadOnlyPaths=/usr/sbin/apachectl -/usr/sbin/apachectl /usr/bin/systemctl
ReadOnlyPaths=/usr/lib/locale/locale-archive
ReadOnlyPaths=-/lib/lsb/init-functions.d -/lib/systemd -/lib/terminfo -/lib/x86_64-linux-gnu
ReadOnlyPaths=/usr/share/apache2 /usr/lib/apache2
ReadOnlyPaths=/var/www
ReadWritePaths=/var/www/website/html
#read/write access to /run/lock necessary because init.d script wants to create a variable directory name
#run/lock files need to be cleaned up
ReadWritePaths=-/run/lock -/run

InaccessibleDirectories=-/etc/exim4
InaccessibleDirectories=-/etc/opendkim
InaccessibleDirectories=-/etc/ssh
InaccessibleDirectories=-/boot
InaccessibleDirectories=-/media
InaccessibleDirectories=-/root
InaccessibleDirectories=-/run/user
InaccessiblePaths=-/etc/shadow /etc/shadow- -/etc/gshadow -/etc/gshadow- -/etc/group- -/etc/passwd- -/var/lib/sudo -/lost+found

SystemCallFilter=~@debug @module @mount @raw-io @reboot @swap

/var/www/website/html bevat een php programma, vandaar de schrijfrechten en bepaalde capabilities.

Docs:
https://www.freedesktop.o...emd/man/systemd.exec.html
https://www.freedesktop.o...emd.resource-control.html

[D-Three]

Wat off-topic maar ik vraag me altijd af waarom je routing/firewall zou willen laten afhandelen door jouw huisserver? Uit het oogpunt van zuinigheid en all-in-one kan ik dat wel begrijpen. Maar is het niet beter qua veiligheid en uptime om dat op een ander apparaat te hebben?

[RobertMe]

D-Three schreef op woensdag 4 mei 2022 @ 14:44:
Wat off-topic maar ik vraag me altijd af waarom je routing/firewall zou willen laten afhandelen door jouw huisserver? Uit het oogpunt van zuinigheid en all-in-one kan ik dat wel begrijpen. Maar is het niet beter qua veiligheid en uptime om dat op een ander apparaat te hebben?

Wat is het verschil tussen een router en een server? Als in: een dedicated zelfbouw router is toch ook een "server". Zeker als je wat meer gateway software er op gaat draaien. Denk aan PiHole / AdGuard, Wireguard etc.. Daarnaast zal een zelfbouw router ook een DNS server en DHCP server moeten draaien etc.. En bij mijn weten heeft @mrmrmr ook een Fujitsu bordje draaien puur als router / gateway. Zelf heb ik wel een "echte router" staan in de vorm van een UniFi Security Gateway. Maar een opvolger zal zeeeer waarschijnlijk een zelfbouw "server" worden.

[Mars Warrior]

RobertMe schreef op woensdag 4 mei 2022 @ 14:19:
[...]

Is dat niet ook puur doordat je nu efficiënter het geheugen toewijst? Of beter gezegd, niet toewijst. Als je een VM aan maakt geef je aan dat die XGB RAM krijgt. Lijkt mij dat dat geheugen v.w.b. het host OS dan geclaimd / in gebruik is terwijl het in de VM leeg / beschikbaar is. Als in: mijn gevoel zegt dat je meer geheugen had toegekend aan de VMs dan zr daadwerkelijk nodig hadden. En uiteraard gebruikt het OS in de VMs ook wat geheugen. Maar als je nu ~4GB gebruikt en daarvoor 13GB dan is 9GB wel heel veel overhead voor 3 OSen. Zeker als het Linux was, dat draait kaal ook op 512MB of zo dus voor 3VMs 1,5GB overhead, niet 9GB. Blijft uiteraard wel staan dat het een nadeel van VMs is dat het geheugen hard geclaimd wordt en dus "weg". En je niet periodiek gaat evalueren of je een VM wellicht iets minder RAM kunt toekennen.

Ik heb geen idee. Er werd zelfs swap ruimte gebruikt in deze VM's. Dus bij toewijzing van 3GB RAM was het totale verbruik 3.5-4GB volgens de statistiekjes.

Volgens een plaatje van deze website is dit een kale Ubuntu 22.04 installatie. Die pakt dus al de nodige MB's...



Allerhande VM tools gebruiken natuurlijk ook wat RAM en resources, nog los van de VM service die RAM en CPU gebruikt om te functioneren.

Verder draaiden in de VM's ook deels identieke processen. Nu zijn dat losse docker containers. Het kan zijn dat docker daardoor ook dingen deelt ofzo, waardoor RAM gebruik lager is.

Ik heb in 2018 zelfs een losse NUC aangeschaft met 8GB RAM om alle domotica (Home Assistant met14 extra docker containers) op te zetten, en kwam er toen achter dat al die containers toch wel 1.7GB RAM nodig hadden van de 8GB

Dus ik weet het ook niet precies, en ga maar gewoon uit van weat ik zie / meet (CPU load is ff opgevoerd om het plaatje wat te vullen. Beide servers hebben nu genoeg aan 8GB)

[mrmrmr]

@D-Three

Voor mij is de reden voor het zelf bouwen de volledige controle én zuinigheid. Ik wil altijd meer dan mogelijk is met standaard soho hardware routers. Die routers met extra's draaien vaak software die closed source zijn of niet goed zijn of worden onderhouden, ze kunnen minder, ze verbruiken meer en ze zijn trager.

Mijn gateway draait ook een mail server. Tegenwoordig is dat niet meer zo simpel als vroeger. Er zijn veel veiligheidstoevoegingen die ik dan ook wil gebruiken. Het is dus een functioneel deel van de gateway. De veiligheidsfuncties vereisen de laatste libraries/applicaties. Bijvoorbeeld TLS 1.3, DNSSEC, DANE, curve crypto.

Er draaien geen non-security zaken op de gateway, daar heb ik andere computers voor. Ik gebruik geen DHCP, maar als dat wel zo was dan zou de gateway die functie kunnen vervullen. Een aparte gateway is natuurlijk wel duurder in aanschaf, maar je zou hetzelfde ook kunnen doen met een nog zuinigere en goedkopere atom-achtige computer. Het verbruik van een algemene thuisserver die ook gateway functies heeft ligt typisch hoger dan separate apparaten (o.a. door extra netwerkkaart, VM's). Dus dat is geen reden om het niet apart te houden.

[Ankh]

Momenteel heb ik nog mijn dockers op mijn oude NAS draaien en ben nu bezig met wat zaken om te zetten (uitfaseren pihole en verplaatsen van 24/7 zaken naar een goedkope VPS). Nu heb ik een aantal dockers die usenet zaken afhandelen en voordeel van de NAS is dat meteen deze data kan koppelen.
Momenteel heb ik een servertje opgebouwd, heb unraid / proxmox / debian getest. Maar weet nog niet precies nou de meeste handige inrichting.
De server heeft een NVME SSD voor OS en docker zaken en een 2,5" HDD voor de bestanden.
Proxmox met LXC container met docker, dan moet ik capriolen uithalen met NFS om die HDD beschikbaar te maken. Maar biedt wel de mogelijkheid tot meer LXC containers.
Unraid is betaald (weliswaar minimaal) en is relatief makkelijk
Debian (of Ubuntu) is het meeste flexibele maar betekent ook relatief veel installatie werk (wat ik niet .

Zijn hier nog mensen met andere tips?

[GioStyle]

-

[ Voor 187% gewijzigd door GioStyle op 29-10-2022 23:51 ]

[Mr.Viper]

Ankh schreef op woensdag 4 mei 2022 @ 16:00:

Zijn hier nog mensen met andere tips?

Ik gebruik OpenMediaVault (Debian) met daarop 20+ Dockercontainers. Dat was voor mij zuiniger dan een raspberrypi 2b met een externe schijf.

[Broodje_Aap]

Ankh schreef op woensdag 4 mei 2022 @ 16:00:
Momenteel heb ik nog mijn dockers op mijn oude NAS draaien en ben nu bezig met wat zaken om te zetten (uitfaseren pihole en verplaatsen van 24/7 zaken naar een goedkope VPS). Nu heb ik een aantal dockers die usenet zaken afhandelen en voordeel van de NAS is dat meteen deze data kan koppelen.
Momenteel heb ik een servertje opgebouwd, heb unraid / proxmox / debian getest. Maar weet nog niet precies nou de meeste handige inrichting.
De server heeft een NVME SSD voor OS en docker zaken en een 2,5" HDD voor de bestanden.
Proxmox met LXC container met docker, dan moet ik capriolen uithalen met NFS om die HDD beschikbaar te maken. Maar biedt wel de mogelijkheid tot meer LXC containers.
Unraid is betaald (weliswaar minimaal) en is relatief makkelijk
Debian (of Ubuntu) is het meeste flexibele maar betekent ook relatief veel installatie werk (wat ik niet .

Zijn hier nog mensen met andere tips?

Ik draai ook Unraid en ben er zeer tevreden mee. Vind de prijs het daarom ook meer dan waard. Het is ook een lifetime license en als je uiteindelijk toch naar een alternatief gaat kan je die license altijd doorverkopen.

[N8w8]

@Mars Warrior,
Voor wat t waard is; ik had een webservertje op een KVM VPS op Debian Buster, die kon booten met 96MB RAM toegewezen, en gebruikte in rust iets van 50MB.
Dat was na wat tweaks, maar wel gewoon puur Debian zonder rare fratsen.
Wel had die soms swap nodig bij wat grotere taken (vergeten wanneer, bij apt upgrade ofzo?).
Later had ik een 256MB KVM, die kon alles zonder swap.

Mijn huidige (KVM Bullseye) webserver gebruikt wat meer, maar dat is ook omdat ik zoveel heb dat ik daar niks aan _hoef_ te tweaken:

code:

$ free -m
               total        used        free      shared  buff/cache   available
Mem:            1985         119        1137           0         728        1715
Swap:              0           0           0

En mn baremetal fileserver:

code:

$ free -m
               total        used        free      shared  buff/cache   available
Mem:            3750         224        1120         494        2404        2763
Swap:              0           0           0

Dus dat is wel enorm veel minder dan jouw Ubuntu voorbeeld (als ik naar "used" kijk).
Ik neem aan dat dat geen kale Ubuntu was.
(edit: PS: die 494MB "shared" betreffen logfiles op tmpfs, om schijven te laten slapen).

Verder bestaat er voor Linux nog "KSM"(?), dat kan scannen naar dubbele code in RAM en dat samenvoegen (voor als je veel VMs met dezelfde software draait dus).
Ja en dan heb je nog "balloon", dat kan ongebruikt RAM in de guest, teruggeven aan de host.

Natuurlijk hangt t ook af van wat voor apps je draait, en die cijfers van mij zijn ook in rust, soms gebruikt ie wel 500MB meer ofzo. Maar ik wil maar zeggen, een VM heeft niet per definitie tig GB overhead.

[Mars Warrior]

N8w8 schreef op woensdag 4 mei 2022 @ 17:21:
@Mars Warrior,
Voor wat t waard is; ik had een webservertje op een KVM VPS op Debian Buster, die kon booten met 96MB RAM toegewezen, en gebruikte in rust iets van 50MB.
Dat was na wat tweaks, maar wel gewoon puur Debian zonder rare fratsen.
Wel had die soms swap nodig bij wat grotere taken (vergeten wanneer, bij apt upgrade ofzo?).
Later had ik een 256MB KVM, die kon alles zonder swap.

Mijn huidige (KVM Bullseye) webserver gebruikt wat meer, maar dat is ook omdat ik zoveel heb dat ik daar niks aan _hoef_ te tweaken:

code:

$ free -m
               total        used        free      shared  buff/cache   available
Mem:            1985         119        1137           0         728        1715
Swap:              0           0           0

En mn baremetal fileserver:

code:

$ free -m
               total        used        free      shared  buff/cache   available
Mem:            3750         224        1120         494        2404        2763
Swap:              0           0           0

Dus dat is wel enorm veel minder dan jouw Ubuntu voorbeeld (als ik naar "used" kijk).
Ik neem aan dat dat geen kale Ubuntu was.
(edit: PS: die 494MB "shared" betreffen logfiles op tmpfs, om schijven te laten slapen).

Verder bestaat er voor Linux nog "KSM"(?), dat kan scannen naar dubbele code in RAM en dat samenvoegen (voor als je veel VMs met dezelfde software draait dus).
Ja en dan heb je nog "balloon", dat kan ongebruikt RAM in de guest, teruggeven aan de host.

Natuurlijk hangt t ook af van wat voor apps je draait, en die cijfers van mij zijn ook in rust, soms gebruikt ie wel 500MB meer ofzo. Maar ik wil maar zeggen, een VM heeft niet per definitie tig GB overhead.

Dat is zeker netjes!

Een kale Ubuntu install gebruikt 500-600MB RAM. Dat is ook ongeveer het minimale advies. Meer is beter natuurlijk.
Afgeleiden als Lubuntu doen maar 300MB. Een stuk minder

In de VM’s had ik een flink aantal packages nodig om de apps te laten werken, en dan zie je het RAM gebruik al snel toenemen.

Icm Docker boeit mij die paar honderd MB van Ubuntu LTS niet zo. Het gaat me dan voornamelijk om de 5 jaar support / updates icm de goede ondersteuning van Docker en van de hardware om een zo zuinig mogelijk systeem te krijgen.

[D-Three]

@RobertMe @mrmrmr
Ik denk dat we elkaar verkeerd begrijpen Het gaat er mij niet om de benaming (server) of de specifieke hardware waar het op draait maar over het feit dat een router/firewall samen draait met allerlei andere services (fileserver, domotica, mediaserver, ...). Zelf hou ik dat liever gescheiden

[ Voor 3% gewijzigd door D-Three op 04-05-2022 19:38 ]

[RobertMe]

D-Three schreef op woensdag 4 mei 2022 @ 19:37:
@RobertMe @mrmrmr
Ik denk dat we elkaar verkeerd begrijpen Het gaat er mij niet om de benaming (server) of de specifieke hardware waar het op draait maar over het feit dat een router/firewall samen draait met allerlei andere services (fileserver, domotica, mediaserver, ...). Zelf hou ik dat liever gescheiden

We begrijpen elkaar prima In mijn voorbeeld benoem ik ook geen van de services die jij er niet op zou draaien. En dat zou ik dus ook niet doen. Zelfbouw router = zelfbouw router, daar hoort inderdaad geen fileserver, domotica of wat dan ook op. Zelfs nu met dat ik wel meer een server voor server taken heb (dus de dingen die je benoemd ), die op Proxmox in een LXC container draaien, heb ik voor VPN doeleinden een VM draaien zodat het toch net iets meer gescheiden is.

Maar één thuisserver met zowel router als "server" taken, zelfs al zou het in VMs zijn, zou ik ook niet doen.

[PuijkeN]

campr112 schreef op woensdag 4 mei 2022 @ 10:23:
Slecht nieuws dus voor degenen die op de uitslagen van de PFSense throughput wachten op de Zimaboard. Het gaat toch firewalling op Linux worden. Virtualboxen kost gewoon teveel power (5W extra, ~). @PuijkeN

Ach jammer .. alhoewel ik die overhead nog niet onoverkomenlijk vind. 1.4W + 5W is 6.4W, dat is vermoed ik nog steeds zuiniger dan mijn NUC die ik nu heb draaien (zou deze eigenlijk eens apart aan de meter moeten hangen zodat ik weet wat deze verbruikt).

Maar begrijp het wel, er komt relatief wel veel bij dan.

Is VirtualBox vergelijkbaar met bv. KVM? Ik heb dat eigenlijk nog niet vergelen en draai op mijn pfSense NUC dan ook Debian + KVM met pfSense in een VM.

[Ankh]

Mr.Viper schreef op woensdag 4 mei 2022 @ 16:37:
[...]


Ik gebruik OpenMediaVault (Debian) met daarop 20+ Dockercontainers. Dat was voor mij zuiniger dan een raspberrypi 2b met een externe schijf.

Hmm! OMV ben ik helemaal vergeten en ga ik zeker even uitproberen!

Broodje_Aap schreef op woensdag 4 mei 2022 @ 17:09:
[...]


Ik draai ook Unraid en ben er zeer tevreden mee. Vind de prijs het daarom ook meer dan waard. Het is ook een lifetime license en als je uiteindelijk toch naar een alternatief gaat kan je die license altijd doorverkopen.

Zie dat mijn tekst qua Unraid niet compleet was. Maar Unraid lijkt mij ideaal maar lijkt niet helemaal volwassen te zijn qua SSDs (misschien ook door het onderliggende OS). Als ik dockers op SSD wil hebben, dan moet ik hem als cache tier toevoegen en daarnaast de docker folder moven / redirecteren...

[Mars Warrior]

Ankh schreef op donderdag 5 mei 2022 @ 19:48:
[...]

Hmm! OMV ben ik helemaal vergeten en ga ik zeker even uitproberen!
[...]

Zie dat mijn tekst qua Unraid niet compleet was. Maar Unraid lijkt mij ideaal maar lijkt niet helemaal volwassen te zijn qua SSDs (misschien ook door het onderliggende OS). Als ik dockers op SSD wil hebben, dan moet ik hem als cache tier toevoegen en daarnaast de docker folder moven / redirecteren...

Wat maanden geleden waren er behoorlijk wat problemen met unraid, ssd en docker. Voornamelijk enorm aantal writes waardoor je ssd geen lang leven is beschoren. Geen idee of dat inmidddels is opgelost.

Verder zie ik op hun forum regelmatig docker problemen die ik in mijn Ubuntu omgeving niet heb met exact dezelfde docker images. Lijkt erop dat unraid niet altijd volledig compatibel is met docker.

Misschien toch even rekening mee houden als je unraid wilt gebruiken icm docker. Qua nas functies vind ik het prettig werken overigens. Maar zelf uiteindelijk zelf toch voor Ubuntu gegaan paar jaar geleden.

Overigens: Ubuntu op btrfs icm docker gaf hetzelfde probleem met enorm aantal writes, en hoge cpu load

[ Voor 4% gewijzigd door Mars Warrior op 05-05-2022 20:21 ]

[Nutral]

D-Three schreef op dinsdag 3 mei 2022 @ 21:18:
[...]

Waarschijnlijk bedoel je 19,5V want anders kan die toch onmogelijk krachtig genoeg zijn?

[...]

Ah, geen probleem zolang de CPU niet gaat throttlen Maar de koeler zal wel redelijk veel uit steken dan? Volgens de pricewatch is de maximum hoogte 26 mm en de Noctua is 37mm. Ik zou de fan demonteren van de cooler, deze is 23 mm hoog. Dan een (rond) gat maken boven de cpu cooler en de fan op buitenkant schroeven met uiteraard nog een fanguard er op. Dat lijkt mij dan de netste afwerking? Tenzij je een heel mooi vierkant gat kan maken

Klopt, het is 19,5V, de adapter kan 180W leveren.

Heb uiteindelijk ook powertop draaien in proxmox, verbruik ligt nu op 13W

[D-Three]

Ankh schreef op donderdag 5 mei 2022 @ 19:48:
[...]

Hmm! OMV ben ik helemaal vergeten en ga ik zeker even uitproberen!
[...]

Zie dat mijn tekst qua Unraid niet compleet was. Maar Unraid lijkt mij ideaal maar lijkt niet helemaal volwassen te zijn qua SSDs (misschien ook door het onderliggende OS). Als ik dockers op SSD wil hebben, dan moet ik hem als cache tier toevoegen en daarnaast de docker folder moven / redirecteren...

Hier ook een OMV gebruiker, reeds een tijdje op de testing versie 6 die sinds 4 mei stable is. Unraid heb ik ook geprobeerd en het idee van een cache SSD is goed maar ik wou mijn docker config altijd op de SSD houden. TrueNAS (Scale) leek mij ideaal maar ik wou geen ZFS gebruiken. Proxmox is een prachtig systeem voor VM's maar het is geen fileserver. Verder nog XigmaNAS en Rockstor geprobeerd maar die bevielen mij ook niet. Het is dus OMV geworden. Niet altijd even gelikt of gebruiksvriendelijk maar het bevalt me intussen wel. Met de KVM pluging kan je trouwens ook VM's aanmaken via de GUI.

[Redbaard]

Momenteel bezig met het installeren van TrueNas Scale op mijn oude vertrouwde HP Microserver Gen8. Heb de server destijds geupgrade van een G1610T naar een E3-1260L en ook het RAM naar de maximale 16gb.

Echter wil ik nu meer met virtualisatie gaan doen en wil ik eigenlijk meer dan de 16gb en vraag mij dus af of ik er wijs aan doe om de server te gaan upgraden.
Dacht zelf weer aan een HP Microserver of van een ander merk maar zie daar nu niet echt bepaald nieuwe modellen van. Als ik de cpu van de Gen10 vergelijk op benchmakrs dan komt mijn oude er vaak nog beter vanaf.

Ben benieuwd jullie goede kant en klare server builds kennen zoals de microserver of dat ik toch echt beter zelf kan gaan bouwen als ik voor performance/price wil gaan.

[GioStyle]

-

[ Voor 122% gewijzigd door GioStyle op 29-10-2022 23:55 ]

[LittleKiller]

Beste medetweakers,

Ik heb even een second opinion nodig.

Op dit moment heb ik een server die veel te veel energie verbruikt. Nu wil ik eigenlijk een mitx server maken op basis van een Jonsbo N1. Mijn hoofd noodzaak is QSV.

De Kontron bordjes voor socket 1700 zijn nog niet beschikbaar, dat zou betekenen dat ik naar een ander merk op zoek moet. Dat kan, maar dan wordt het een H610 chipset. Is dat zuinig genoeg?

Of zal het bij 8th/9th gen houden en dan toch al een kontron ITX kopen?

De keuzes zijn zo lastig... Ik wil in ieder geval nu een server aanschaffen die minimaal 3 jaar kan draaien zonder dat ik daarvoor hoef te upgraden. In die redenatie kan ik beter een socket 1700 bordje kopen. Maarja, gaat QSV van de 8th/9th gen niet voldoende zijn voor komende jaren?

[ Voor 212% gewijzigd door LittleKiller op 12-05-2022 20:07 ]

[Mars Warrior]

Kontron staat inderdaad nog steeds op "coming soon"

[LittleKiller]

Mars Warrior schreef op donderdag 12 mei 2022 @ 20:49:
Kontron staat inderdaad nog steeds op "coming soon"

En dat is allemaal micro-ATX. Dat gaat niet passen in de jonsbo N1

[Mars Warrior]

LittleKiller schreef op donderdag 12 mei 2022 @ 20:55:
[...]


En dat is allemaal micro-ATX. Dat gaat niet passen in de jonsbo N1

O ja. mITX is niet aangekondigd dacht ik. Staat in ieder geval niet op hun site, https://www.kontron.com/e...herboards/mini-itx/c90382

[andru123]

BBG heeft idle CPU verbruik van Intel 12x00 CPUs gemeten reviews: Processor Best Buy Guide - De beste cpu's in mei 2022
Opvallend dat i7 en i9 veel minder verbruiken dan i5 of i3. Dat kan niet toch zijn?

[mrmrmr]

Ik heb er een vraag over gesteld: mrmrmr in 'Processor Best Buy Guide - De beste cpu's in mei 2022'

De P- en E-cores kunnen als type aan en uit worden gezet. Zodoende zou je misschien kunnen testen wat de invloed is onder idle.

Het kan dat bijvoorbeeld het systeem niet in idle was tijdens de meting. Als je bijvoorbeeld Windows Search aan laat staan tijdens een test kan die zijn gang gaan met indexeren. Dat vormt een flinke belasting. Windows heeft meer achtergrondprocessen die veel processorkracht vergen. Denk aan automatische updates. Of een OS of BIOS performance setting.

Sowieso zijn er bij iedere Tweakers test van processoren onderling flinke verschillen. Kijk maar eens hier naar een test van een 12400 die veel minder verbruikt bij een meting.

Er staat een meting van Alder Lake onder de gepinde posts: Nutral in "Het grote zuinige server topic - deel 3". Die heeft een hoge idle meting zonder optimalisatie.

[LittleKiller]

mrmrmr schreef op vrijdag 13 mei 2022 @ 09:13:
Ik heb er een vraag over gesteld: mrmrmr in 'Processor Best Buy Guide - De beste cpu's in mei 2022'

De P- en E-cores kunnen als type aan en uit worden gezet. Zodoende zou je misschien kunnen testen wat de invloed is onder idle.

Het kan dat bijvoorbeeld het systeem niet in idle was tijdens de meting. Als je bijvoorbeeld Windows Search aan laat staan tijdens een test kan die zijn gang gaan met indexeren. Dat vormt een flinke belasting. Windows heeft meer achtergrondprocessen die veel processorkracht vergen. Denk aan automatische updates. Of een OS of BIOS performance setting.

Sowieso zijn er bij iedere Tweakers test van processoren onderling flinke verschillen. Kijk maar eens hier naar een test van een 12400 die veel minder verbruikt bij een meting.

Er staat een meting van Alder Lake onder de gepinde posts: Nutral in "Het grote zuinige server topic - deel 3". Die heeft een hoge idle meting zonder optimalisatie.

Als dat zo is, dan zou 12th gen extreem interessant kunnen zijn vanaf de 12600K? Misschien een beetje prijzig maar je krijgt veel performance terwijl je ook de E cores krijgt.

Ik gebruik unraid (wat je daar ook van vindt) en ik lees dat het nu in de linux kernel zit gebakken om de E cores te gebruiken. Mogelijk dat de 12th gen dan wel onder de 10 watt kan komen. Lijkt me

[ Voor 16% gewijzigd door LittleKiller op 13-05-2022 13:19 ]

[mrmrmr]

@LittleKiller Het grote verschil in de twee 12400 metingen van januari en mei toont dat de meting niet op dezelfde wijze met dezelfde omstandigheden is uitgevoerd. Die processor verbruikte in de vorige test evenveel als de 12600 in echt idle. Dus net zo zuinig.

cijfers:

test jan 12400	0,98W cpu	6x P-cores + 0x E-cores
test mei 12400	5,78W cpu	6x P-cores + 0x E-cores
test mei 12600K	0,95W cpu	6x P-cores + 4x E-cores

Bronnen: test mei test jan

Daarom denk ik dat we niet op de idle metingen van Tweakers kunnen vertrouwen. Achtergrondtaken zoals viusscanner, search indexatie, Windows update kunnen belasting veroorzaakt hebben. Moederborden worden ongewijzigd ingezet (geen BIOS optimalisatie) waardoor ze altijd voluit op hoge frequentie kunnen draaien. Windows wordt vermoedelijk ook niet geoptimaliseerd, power management kan op performance staan.

Wat betreft het idee om een high performance processor in te zetten: dat heeft niet veel zin. Die heeft vermoedelijk geen lager idle verbruik. Doordat de koeling en voeding honderden Watts moeten aankunnen (PL1 en PL2), voegt dat permanent overhead toe aan het idle verbruik. Als je het zuinig wil laten zijn moet PL1 en PL2 worden verlaagd waardoor je uiteindelijk teveel betaalt voor de processor. Voor een thuisserver heb je 120fps gaming level performance waarschijnlijk niet nodig. Je merkt er als gebruiker achter een PC waarschijnlijk niets van. Ga maar na dat Tweakers' servers ook niet hoge frequenties gebruiken in hun servers, op een bepaald punt is het per gebruiker snel genoeg. Serverprocessoren gebruiken vaak lagere maximumfrequenties dan PC's.

Edit: cijfers erbij gezet

[ Voor 19% gewijzigd door mrmrmr op 13-05-2022 23:15 ]

[andru123]

het is niet zo moielijk om CPU% (en frequentie) tijdens het meten bijhouden, in windows zelfs of met een HWMonitor app. En neem ik aan dat tinkerforge bricks een grafiek met gemeten current kunnen genereren. Dan leg je die 2 grafieken (cpu% en mA) naast elkaar om te zien of het echt idle was.
(Zo’n database met detailed metingen/grafieken is wat ik zou voor betalen (tweakers plus). De huidige “plus” content is niet interessant voor mij.)
Maar wat is een “idle”? Windows search (die ik altijd uit heb) gebruikt meer io dan cpu, bijv. Voor mij idle is 1-3% en de cpu frequentie moet lager zijn. 24/7 server is nooit echt idle, hij doet iets (anders geen zin voor 24/7).
En voor dit werk moet tenminste een of 2 cores draaien. En als het “idle” werk wordt uitgevoerd door de E-cores misschien het is inderdaad zo veel efficiënter dan de “normale” cores van i3?
Qua vermogen: als je toch een ATX voeding hebt, dan maak het niet echt uit of jouw CPU kan 100W opvragen. Meeste ATX voedingen die aanbevolen hier kunnen dat met gemaak. Dus als i7/i9 inderdaad zo efficient is, zou ik echt een i7 overwegen, zelfs voor een thuis server, omdat ik kan het ook als een game systeem af en toe gebruiken (bijv Starcraft werkt prima met iGPU).

[ Voor 17% gewijzigd door andru123 op 14-05-2022 00:23 ]

[mrmrmr]

@andru123 Het vermogen dat 12600-12900 processoren kunnen/mogen trekken PL2/turbo moet je niet onderschatten. Het gaat specifiek om de 12V lijn. Een PicoPSU-160-XT kan 8A (96W) continu leveren en 15A (180W) piek, maar dat vereist koeling en minstens een 120W of 200W adapter. Het niet overklokte maximum is 106 tot 241W. Het is niet zinvol om dat te doen met een PicoPSU. Niet alleen omdat die piek doorgaans niet wordt gehaald en je er weinig profijt van hebt*, maar ook omdat je dan een grote adapter nodig hebt. Je wordt dan voor zowel de processor als de voeding op kosten gejaagd voor het nogal korte momentje dat die even wat sneller** is én je idle verbruik neemt toe doordat de voeding groter moet zijn en minder efficiënt is. Dat heeft geen economisch nut.

* Intel Core i9-12900K Retains 90% Perf at 50% Power (175% More Efficient), Just 5% Drop w/ 75W Less Power

** "wat sneller" is geen onderschatting of geringschatting. Naarmate de frequentie toeneemt, neemt het verbruik kwadratisch toe. Het kost heel veel vermogen voor een klein beetje hogere frequentie.

Alder Lake kan over 5 GHz draaien. De base clock is PL1 en de turbo clock in PL2. De K processoren hebben geen limiet. Die kunnen honderden Watts verbruiken. Dat is niks voor thuisservers.

De 12100 heeft een base verbruik van 60 W en een turbo verbruik van 89W. Daarmee zit het tegen de top van een zuinige server met een PicoPSU-90. De turbo moet worden beperkt tot de ruimte die een voeding heeft. Dat daalt naarmate idle verbruik toeneemt. Bijvoorbeeld als je 6x 3.5" 3W hard disks draait, is de daling 18W.
Base is de laagste frequentie in de spec sheet (3,3GHz voor i3-12100), maar de frequentie kan onder Windows dalen tot 400 MHz.
De i3-12100 is dus in theorie een geschikte processor, met wat aanpassingen om pieken te beperken. Nog beter en makkelijker is een Pentium Gold G7400. Die verbruikt maximaal 46W, dat is veilig.

Of een server idle kan draaien hangt uiteraard af van de belasting. Bij Apache, Exim, Dovecot, OpenSSH heb je geen verbruik, die wachten gewoon totdat ze wat te doen krijgen. Dan blijft de energiemeter constant. Er is wel zo nu en dan een systeemtaak die korte tijd iets meer vraagt. In grote lijnen kun je prima een server hebben die 99% van de tijd idle draait. Juist als een server altijd aan staat heeft idle zo'n grote impact. Het loont om grote verbruikers van je server te weren en er een lean machine van te maken.

De metingen die ik weleens meld is inclusief applicaties - die dus nauwelijks impact hebben.

[TWKterry]

Zouden dan processors als de core i3-1210u niet heel geschikt zijn voor een laag verbruik, goede performance? 2x P-cores en 4x E-cores met slechts 9W / 29W verbruik. Zijn bedoeld voor laptops en zie ze eigenlijk nergens te koop, mogelijk alleen te koop met laptop ipv los.

[mrmrmr]

@TWKterry Laptops zijn vooral goed als je een ingebouwde accu backup nodig hebt om die gecontroleerd down te laten gaan bij stroomonderbreking. Qua prestaties zijn er zuinigere en snellere desktops. Het gemiddeld idle verbruik van zuinigste laptops getest door notebookcheck ligt op ongeveer 3,5W.

Fabrikanten van laptops kunnen/zullen het verbruik beperken zodra de temperatuur te hoog wordt. Daardoor heb je niet lang plezier van een goede snelheid. Dat probleem is er niet bij desktops, die hebben meer ruimte om de warmte af te staan aan de omgeving. Dat zowel passief als actief.

Notebookcheck lijkt nog geen review te hebben van een 12th gen i3 processor met energieverbruik. Ik denk dat de performance modellen eerst aan de beurt komen. Dat zijn gaming laptops en niet aantrekkelijk als server: duur, beperkt en niet zuinig.

[smeerbartje]

Ik ben me al een tijdje aan het verdiepen in een nieuwe NUC als home server. Ik wil het volgende gaan draaien:

• Proxmox op de host
• Een NFS share naar mijn synology NAS
• Met daarin rond de 5 virtual machines (ubuntu latest server)
• Deze VMs worden ge-provisioned middels Ansible
• Binnen de VMs draaien er een aantal docker containers, bijvoorbeeld prometheus, grafana, LOKI, een aantal postgres databases, miniflux, prive website, DSMR reader, een aantal prometheus exporters, etc.

Nu vroeg ik me af: als je deze lijst bekijkt, wat is dan de beste match voor mijn use case? Is het aantal cores nu wel of niet belangrijk? Of kan ik beter kiezen voor een hogere clock speed? Ik heb hier echt de ballen vertand van, dus zou graag wat advies ontvangen .

[ Voor 24% gewijzigd door smeerbartje op 15-05-2022 10:23 ]

[D-Three]

TWKterry schreef op zaterdag 14 mei 2022 @ 12:51:
Zouden dan processors als de core i3-1210u niet heel geschikt zijn voor een laag verbruik, goede performance? 2x P-cores en 4x E-cores met slechts 9W / 29W verbruik. Zijn bedoeld voor laptops en zie ze eigenlijk nergens te koop, mogelijk alleen te koop met laptop ipv los.

Dat zou inderdaad een mooie CPU zijn Maar tegenwoordig worden laptop CPU's rechtstreeks op een moederbord gesoldeerd, er is dus geen socket. En indien wel, zou de socket verschillend zijn van een desktop moederbord en zou er geen BIOS support zijn. Ik tik dit trouwens nog op een laptop waarvan ik wel de cpu heb kunnen vervangen

[UTMachine]

smeerbartje schreef op zondag 15 mei 2022 @ 10:09:
Ik ben me al een tijdje aan het verdiepen in een nieuwe NUC als home server. Ik wil het volgende gaan draaien:

• Proxmox op de host
• Een NFS share naar mijn synology NAS
• Met daarin rond de 5 virtual machines (ubuntu latest server)
• Deze VMs worden ge-provisioned middels Ansible
• Binnen de VMs draaien er een aantal docker containers, bijvoorbeeld prometheus, grafana, LOKI, een aantal postgres databases, miniflux, prive website, DSMR reader, een aantal prometheus exporters, etc.

Nu vroeg ik me af: als je deze lijst bekijkt, wat is dan de beste match voor mijn use case? Is het aantal cores nu wel of niet belangrijk? Of kan ik beter kiezen voor een hogere clock speed? Ik heb hier echt de ballen vertand van, dus zou graag wat advies ontvangen .

Een Intel NUC hoort niet echt thuis in het zuinige topic Maar als je zoveel VMs en containers wilt draaien, lijkt een 4 pCore wel handig (dus kom je uit op een i5). Ook zou ik adviseren om 1x NVMe + 1x SSD te nemen, want Proxmox eist de eerste disk op (2e disk kan je dan voor backups e.d. gebruiken). Dit is dan ook handig bij herinstallatie (Proxmox laat 2e disk met rust).
BTW1: een NUC8i5 is alleen 2e hands te vinden en vragen daar echt veel teveel geld voor, dus ik zou dan kijken naar een nieuwe NUC generatie 10/11. Maar een NUC8 ondersteunt ook 2x 32GB onofficieel.
BTW2: De 11 generatie heeft een 2.5Gbit NIC, ik durf niet te zeggen hoe goed/slecht deze door Proxmox wordt ondersteund.

[ Voor 9% gewijzigd door UTMachine op 15-05-2022 15:02 ]

[Burgerman]

Na lang meelurken in dit topic, ben ik ook een eerste poging aan het doen om een zuinige thuisserver te bouwen. Vrij eigenwijs, maar ik wou dat proberen op het moederbord van een Fujitsu Esprimo G558 mini-PC. Ik kon dit moederbordje goedkoop op de kop tikken via Marktplaats en het kan rechtstreeks gevoed worden met een 19V-adapter, waardoor ik een Pico-PSU kan uitsparen. Leek me een mooie benadering.

Heeft iemand een ervaring / inschatting van hoe zuinig met deze aanpak haalbaar is? Zou dit lukken onder de 3 watt?

Hoe ik het aan de praat hoop te krijgen:

• Moederbord: Fujitsu D3654-C12 GS 2
• Processor: Intel Pentium G5400
• Harde schijf: NVMe SSD Samsung 970 Evo Plus 1 TB
• Geheugen: Kingston 4 GB DDR4 / S2112FA9RF (twee stuks)
• Voeding: Leicke NT00332 19V en 65 watt
• Arctic Passive koelblok
• Windows 10 Pro

Belangrijkste doel is een simpele, zuinige en snelle fileserver voor bestanden en backup. Overigens krijg ik het moederbord vooralsnog niet aan de praat. Daarover heb ik een separaat tocic geopend.

[ Voor 6% gewijzigd door Burgerman op 15-05-2022 16:14 ]

[mrmrmr]

@Burgerman Er zijn Fujitsu Esprimo's die zuiniger zijn dan andere. De originele voeding van de G558 heeft een gemiddelde efficientie van 88%. Er zijn modellen zijn met 94% efficiente voedingen, die hebben de toevoeging "94+". Maar dat zegt op zich niet alles, het geheel telt. De zeer efficiënte varianten zijn bij aanschaf overigens erg duur.

De Energy Star rating van een Esprimo G558 geeft aan een long idle van 5,9W. Maar het zou me niet verbazen als dat na optimalisatie lager zou kunnen uitvallen.

[Mars Warrior]

mrmrmr schreef op zondag 15 mei 2022 @ 13:35:
De Energy Star rating van een Esprimo G558 geeft aan een long idle van 5,9W. Maar het zou me niet verbazen als dat na optimalisatie lager zou kunnen uitvallen.

Bij mijn Q920 scheelde het ca 2W van de opgegeven long idle naar idle zonder toetsenbord en scherm

[Mars Warrior]

@Burgerman , Ik vraag me af of zo'n 35W mobo wel CPU's accepteert die meer verbruiken. De meeste Esprimo's gebruiken een 'T' variant CPU die dus maxed op 35W.

[Mars Warrior]

smeerbartje schreef op zondag 15 mei 2022 @ 10:09:
Ik ben me al een tijdje aan het verdiepen in een nieuwe NUC als home server. Ik wil het volgende gaan draaien:

• Proxmox op de host
• Een NFS share naar mijn synology NAS
• Met daarin rond de 5 virtual machines (ubuntu latest server)
• Deze VMs worden ge-provisioned middels Ansible
• Binnen de VMs draaien er een aantal docker containers, bijvoorbeeld prometheus, grafana, LOKI, een aantal postgres databases, miniflux, prive website, DSMR reader, een aantal prometheus exporters, etc.

Nu vroeg ik me af: als je deze lijst bekijkt, wat is dan de beste match voor mijn use case? Is het aantal cores nu wel of niet belangrijk? Of kan ik beter kiezen voor een hogere clock speed? Ik heb hier echt de ballen vertand van, dus zou graag wat advies ontvangen .

De wat oudere NUCjes zijn best zuinig. Daar kun je uitkomen op rond de 6W idle. Ik heb geen idee wat modernere uitvoeringen doen, zeker niet met een zwaardere CPU.

Als jij daarnaast 5 VMs wilt gaan draaien, dan zal de CPU zeker niet vaak in idle staan, dus dan wordt het echt afhankelijk van de CPU en belasting of je nog onder de 10W uitkomt in idle. Omdat jij ook prometheus noemt zal de belasting niet laag zijn. Monitoring met prometheus/grafana is nogal duur, zeker als je ook CPU/Mem gegevens gaat loggen.

Ik vraag me ook ff af als je enkel docker containers gaat draaien, waarom je VM's nodig hebt, laat staan Proxmox. Ubuntu met een serie docker containers doet het ook goed op een NUC.

Op het werk werd altijd de regel gehanteerd dat je minimaal 1 core/thread per VM moest hebben, met daarbij nog 1 core voor het OS. Dan zou jij op 6 uitkomen. Dat is een dikke CPU in een NUC

[cyborgium]

Nu ik komende maand van zo'n 18 cent, naar 46 cent per kWu ga, wil ik nu toch echt mijn huidige server vervangen.

Ik wil 2 servers:

1 server als onderdeel van mijn kubernetes cluster: dit zal waarschijnlijk een build worden precies zoals in de sticky staat, omdat deze voor mij geen specifieke hardware vereisten heeft.
1 dedicated truenas machine, welke dan dus ook niets anders hoeft te doen dan het draaien van truenas. Deze heeft wel wat vereisten, vandaar deze post.

• Minstens 9x sata (5x HDD + 3x SSD + boot schijf)
  Ik begrijp helemaal dat dit niet "optimaal" is, maar dat is nou eenmaal wat ik op dit moment aan schijven heb.
  9 sata lijkt veel, maar door middel van iets als dit, kan ik zonder veel meer stroom te vragen, 5 extra schijven aansluiten.
• 10Gb/s internet
  Ook hiervoor geld dat dit niet "optimaal" is met het oog op energie verbruik, maar dat is wel iets wat ik wil.
• 4x4x4x4 bifurcation
  Dit is geen harde eis, maar is zeker wel iets wat ik graag zou willen, om zonder extra sata poorten nodig te hebben, wel nog 4 extra SSDs kwijt te kunnen in het systeem.

Hoe ik het zie, zijn er twee primaire opties:

• Een AMD build, vanwege de 4x4x4x4 bifurcation support.
  Hierbij denk ik aan de X570D4U-2L2T + 5600x welke IPMI heeft (dus geen dedicated of integrated GPU nodig) en ook dual 10Gbe. Dit laatste heeft als nadeel dat ik er nog 10Gbe transceivers (voor de switch kant) bij moet kopen, welke niet vrij zuinig zijn, en ook niet goedkoop zijn.
• Een intel build, die goedkoper zal zijn en potentieel zuiniger, maar (voor zover ik kan vinden) geen 4x4x4x4 bifurcation support heeft.
  Hierbij denk ik aan een moederbord als Gigabyte B660 GAMING X DDR4 + 12th gen i3 (gekozen omdat deze het goedkoopst met gekozen filters) welke 3 m.2 sloten heeft, waardoor ik naast de 5 extra sata poorten, nog 2 over heb voor in de toekomst. Deze heeft natuurlijk onboard 10Gbe, maar ik heb een intel x520-da2 liggen die hierin kan.

Ik zou als vervanging van de m.2 naar 5x sata, ook nog een SAS HBA hebben liggen, maar deze is ook zeker niet zuinig.
Een maand of 2 geleden ben ik een bron tegen gekomen die het stroomverbruik van die JMB585 heeft getest, hier kwam het neer op zo'n 2-3 watt meer, wat een stuk beter is dan de 15-20 welke ik merk met de LSI SAS HBA.

Beide platformen ondersteunen 128GB ram, wat zeker een pre is. Voor nu zal ik 2x32GB aanschaffen met dus nog mogelijkheid tot uitbreiding in te toekomst.

Wat denken jullie?

[Quad]

@cyborgium hoe groot zijn je huidige schijven en ssds?

[cyborgium]

@Quad 3x4TB en 2x10TB HDDs en 3x2TB SSDs, sata

[eijckron]

@cyborgium Heb je een beeld wat hoeveel stroom gebruikt, b.v. server zonder schijven idle en dan de 4TB en 10TB disks toegevoegd. Mogelijk geven andere schijven een betere energiebesparing dan een andere CPU/MB.

Ook van belang hoeveel load de server gemiddeld heeft
Als je op zoek bent naar een laag idle verbruik dan zijn zowel het AMD MB als de AMD CPU die je op het oog hebt verre van zuinig.

[cyborgium]

@eijckron Ik ben er wel zeker van dat het vervangen van de CPU en MB meer oplevert dan het vervangen van de schijven... Op het moment heb ik een Dell R630 met een Dell MD1200. De R630, met alleen SSDs, vreet continue 140 watt met pieks tot 160-170.

Omdat ik er dus een dedicated NAS van wil maken, zal de gemiddelde load vrij laag zijn. Er zullen zeker wat netwerk shares actief zijn, maar als ik naar het huidige CPU gebruik van mijn (gevirtualiseerde) nas kijk, dan is dat vrijwel altijd onder de 1%.

Ik weet inderdaad dat AMD geen zuinig platform is als het gaat om idle, maar ik heb ernaar gekeken specifiek vanwege de on-board 10Gbe.
Eigenlijk kan ik geen metingen vinden van on-board 10Gbs nics vergeleken met PCIe nics. Dat is wat ik op het moment vooral lastig vind om een keuze in te maken.

[Woodski]

Ik heb eind 2020 een XPG SX8200 Pro gekocht voor mijn server omdat de intel 660p me niet beviel..
Dat bevalt goed. Zeer snel en best zuinig.
Ik heb er nog een nodig. Is het nog de koning hier of is er inmiddels een betere ?

[eijckron]

@cyborgium Misschien is een recente Ryzen APU een optie. Op basis van de volgende thread https://www.computerbase....e-idle-kuenstler.1967755/ lijken de recente APU's een redelijk idle verbruik te hebben.
Uiteraard is het geen i3-9100 maar diverse gebruikers hebben ze in combinatie met verschillende mainboards tot ongeveer 7W weten te krijgen.

[mrmrmr]

cyborgium schreef op zondag 15 mei 2022 @ 14:42:
Nu ik komende maand van zo'n 18 cent, naar 46 cent per kWu ga, wil ik nu toch echt mijn huidige server vervangen.

Ik wil 2 servers:

1 server als onderdeel van mijn kubernetes cluster: dit zal waarschijnlijk een build worden precies zoals in de sticky staat, omdat deze voor mij geen specifieke hardware vereisten heeft.
1 dedicated truenas machine, welke dan dus ook niets anders hoeft te doen dan het draaien van truenas. Deze heeft wel wat vereisten, vandaar deze post.

• Minstens 9x sata (5x HDD + 3x SSD + boot schijf)
  Ik begrijp helemaal dat dit niet "optimaal" is, maar dat is nou eenmaal wat ik op dit moment aan schijven heb.
  9 sata lijkt veel, maar door middel van iets als dit, kan ik zonder veel meer stroom te vragen, 5 extra schijven aansluiten.
• 10Gb/s internet
  Ook hiervoor geld dat dit niet "optimaal" is met het oog op energie verbruik, maar dat is wel iets wat ik wil.
• 4x4x4x4 bifurcation
  Dit is geen harde eis, maar is zeker wel iets wat ik graag zou willen, om zonder extra sata poorten nodig te hebben, wel nog 4 extra SSDs kwijt te kunnen in het systeem.

Hoe ik het zie, zijn er twee primaire opties:

• Een AMD build, vanwege de 4x4x4x4 bifurcation support.
  Hierbij denk ik aan de X570D4U-2L2T + 5600x welke IPMI heeft (dus geen dedicated of integrated GPU nodig) en ook dual 10Gbe. Dit laatste heeft als nadeel dat ik er nog 10Gbe transceivers (voor de switch kant) bij moet kopen, welke niet vrij zuinig zijn, en ook niet goedkoop zijn.
• Een intel build, die goedkoper zal zijn en potentieel zuiniger, maar (voor zover ik kan vinden) geen 4x4x4x4 bifurcation support heeft.
  Hierbij denk ik aan een moederbord als Gigabyte B660 GAMING X DDR4 + 12th gen i3 (gekozen omdat deze het goedkoopst met gekozen filters) welke 3 m.2 sloten heeft, waardoor ik naast de 5 extra sata poorten, nog 2 over heb voor in de toekomst. Deze heeft natuurlijk onboard 10Gbe, maar ik heb een intel x520-da2 liggen die hierin kan.

Ik zou als vervanging van de m.2 naar 5x sata, ook nog een SAS HBA hebben liggen, maar deze is ook zeker niet zuinig.
Een maand of 2 geleden ben ik een bron tegen gekomen die het stroomverbruik van die JMB585 heeft getest, hier kwam het neer op zo'n 2-3 watt meer, wat een stuk beter is dan de 15-20 welke ik merk met de LSI SAS HBA.

Beide platformen ondersteunen 128GB ram, wat zeker een pre is. Voor nu zal ik 2x32GB aanschaffen met dus nog mogelijkheid tot uitbreiding in te toekomst.

Wat denken jullie?

@cyborgium Een zuinig systeem bestaat uit een combinatie van zuinige hardware, zuinige software en een zuinige configuratie. Jouw hardwarekeuze is helaas niet zuinig. Kubernetes is ook niet zuinig. Ik denk dat je zo je doel niet bereikt.

Dus wat kan je doen? Bezie het meer abstract: een thuisserver hoeft er niet uit te zien als een server op het werk. 10 Gbit LAN is niet strikt nodig, IPMI is thuis niet nodig en misschien hoeft de Kubernetes server alleen maar aan als je iets wil proberen. IPMI is een systeem in een systeem, dat is niet efficiënt. Bij 10Gbit LAN hoort ook een switch die ook veel kan verbruiken.

3.5" disks verbruiken ergens tussen de 3 en 8W per stuk als ze draaien. Daar zit dus een grote winstmogelijkheid. Verminder het aantal SATA drives tot 6 of minder. Meer drives leidt tot een fors hoger verbruik niet alleen vanwege de benodigde extra controller, maar ook als die drives 3.5" zijn. Vervang disk arrays voor enkelvoudige schijven met een laag idle verbruik, bijvoorbeeld de Toshiba MG09 18TB (4,1W idle). 3.5" disks met weinig opslagruime hebben een erg slechte verbruik per TB verhouding. Je hoeft ze niet weg te doen. Benut die bijvoorbeeld voor backups vanaf een systeem dat maar kort aanstaat. Er zijn USB-SATA converters.

TrueNAS is gebaseerd op FreeBSD en niet zo zuinig. TrueNAS Scale is wel gebaseerd op Linux, maar nog niet duidelijk is in welke mate die zuinig is. Daarmee kun je theoretisch 2 tot 4W winnen.

De JM585 chip op een PCIe->SATA kaart zou 2W verbruiken. 2W is beter dan andere controllers, maar is nog wel veel ten opzichte van het idle verbruik van een complete computer (Fujitsu D3643-B: 3,1W).

Ik zou een systeem baseren op de Fujitsu D3644-B en/of D3643-B. Voor de laatste is een Alder Lake opvolger aangekondigd door Kontron (Kontron K3843-B). Kontron heeft enkele jaren geleden de Duitse moederbordontwerp- en productiesectie van Fujitsu heeft overgenomen.

Gaming moederborden zijn doorgaans geen zuinige keuze. AMD verbruikt in idle ruwweg 2 tot 5 keer zoveel dan Intel.

*knip* offtopic

[ Voor 4% gewijzigd door br00ky op 16-05-2022 16:47 ]

[LittleKiller]

*knip* offtopic

[ Voor 97% gewijzigd door br00ky op 16-05-2022 15:15 ]

[cyborgium]

@mrmrmr Ik begrijp je punten zeker, alleen zijn mijn vereisten toch wel vereisten voor een reden.
Mijn thuisserver wordt voor meer dan alleen de bekende plex stack, ik heb applicaties draaien die daad werkelijk gebruikt worden in productie en waar dus ook wat vanaf hangt.
Vandaar dat mijn eisen wat meer richting "enterprise" gaan, maar mijn doel blijft uiteindelijk wel hetzelfde: energie verbruik minimaliseren.

IPMI is inderdaad niet iets wat ik echt nodig heb, de enige reden waarom ik het als pre noemde, is omdat ik daardoor dan niet een GPU nodig heb om een AMD build met een CPU ipv APU te debuggen.

Na nog wat meer bronnen te hebben gevonden, en ook die van @eijckron erbij, denk ik dat een intel build dan toch wel beter zal zijn.

Dat Kontron bordje ziet er wel goed uit, behalve het DDR5 gedeelte. Weet je van een relatief zuinig Alder Lake bord dat DDR4 accepteerd?

FreeBSD is inderdaad niet al te zuinig, maar ik was inderdaad van plan TrueNAS Scale te draaien. Ik heb hier goeie ervaringen mee en omdat het debian based is, is er veel te modden.

[campr112]

campr112 schreef op maandag 2 mei 2022 @ 15:17:
Heb eindelijk mijn 'Zimaboard' binnen.

Heb hem nu 'alleen' draaien achter de stroom-meter (geen andere apparaten) met 2x 8tbyte 870QVO schijven wat gelijkstaat aan 14.3Tbyte aan netto opslagruimte (gewoon met LVM, geen raid).

Volgende probleem doet zich aan, ik kan het verbruik niet meer meten met mijn vermogens-meter. Ik gebruik een sdm120m (met modbus, rs485) om het vemogen uit te lezen:
https://www.eastroneurope.com/products/view/sdm120modbus

Maar de meter houdt ook een kwh teller bij, die 0.1kwh verbruikt toont in ~33.6 uur.
Mijn server verburikt dus gemiddeld 2.9761W (de meter geeft aan 2W te verbruiken, maar ik weet niet of dat daar bij 'in' is. of dat dat extra is)

Daar ben ik iig blij mee. Dat is 71,5Wh/24hr of ook wel 0.057 Eurocent/24hr. Of ook wel 21 Euro/jaar.

Als ik nu de meter er tussen uit haal, bespaar ik vast nog wel 1W aan energie, mogelijk.

[AndrewF]

Ik wil mijn FreeNAS build uit 2019 upgraden. Die verbruikt 55W in idle en dat is best kostelijk.

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 3 2200G Tray	€ 0,-	€ 0,-
1	Moederborden	Asus Prime B450M-A	€ 0,-	€ 0,-
1	Behuizingen	Cooler Master Elite 342 (zonder voeding)	€ 0,-	€ 0,-
3	Externe harde schijven	WD MyBook 8TB Zwart	€ 0,-	€ 0,-
1	Geheugen intern	Corsair Vengeance LPX CMK16GX4M2B3000C15	€ 0,-	€ 0,-
1	Voedingen	be quiet! System Power B9 300W	€ 0,-	€ 0,-
1	Solid state drives	Kingston A2000 250GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 0,-

De 3x 8TB 3.5" schijven zijn gechucktte WD80EZAZ (HGST). Ze zijn niet zuinig, maar waren destijds best goedkoop (€130).

Het systeem draait op FreeNAS, met een Ubuntu VM voor docker. Het wordt gebruikt voor samba shares (oa TimeMachine backups), alsook pi-hole, rtorrent, flood, airconnect & mqtt docker containers. Ik denk er aan het OS te upgraden naar TrueNAS scale, wat debian based is, of naar gewoon debian met ZFS. Geen idee of het OS een grote impact op het verbruik zal hebben, maar het zal op zijn minst een VM laag besparen.

Verder wil ik cpu en moederbord upgraden, aangezien die het hoogste impact op verbruik hebben.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 161,39	€ 161,39
1	Moederborden	Fujitsu D3643-H	€ 121,95	€ 121,95
Bekijk collectie Importeer producten			Totaal	€ 283,34

Ik vind de prijs van de i3-9100 best hoog, en die lijkt de laatste maanden niet meer naar beneden te willen. Daarom keek ik ook even op de 2e hands markt, waar er best goedkoop een Pentium G4400 of i3-6100 te vinden zijn. Die cpu's deden het goed in Zuinige server Deel 2. Draaien die ook op een D3643-H? De documentatie van Kontron vermeld dat het een "Intel 8th/9th Gen" moederbord is, en volgens mij zijn de G4400 en i3-6100 7th gen cpu's.

Aangezien de G5400 (TS aanrader) niet meer verkrijgbaar is, en de i3-9100 best duur is, is mijn vraag eigenlijk: welke cpu (+ mobo) zijn er nog aan te raden?

[cyborgium]

@AndrewF FYI, TrueNAS Scale kan natively docker containers draaien, maar doet dat niet in docker.
Zodra je de eerste container maakt, start truenas een single node instance van K3S (welke containerd gebruikt dacht ik), wat kubernetes is. Dit zorgt voor best wat overhead en zal toch minstens continue 5% CPU gebruik met zich mee brengen.
Dit heeft natuurlijk voordelen, maar het zal dus lang niet zo zuinig zijn als zelf docker/containerd te installeren en de managen op bv debian/ubuntu.

[LittleKiller]

campr112 schreef op maandag 16 mei 2022 @ 10:54:
[...]


Heb hem nu 'alleen' draaien achter de stroom-meter (geen andere apparaten) met 2x 8tbyte 870QVO schijven wat gelijkstaat aan 14.3Tbyte aan netto opslagruimte (gewoon met LVM, geen raid).

Volgende probleem doet zich aan, ik kan het verbruik niet meer meten met mijn vermogens-meter. Ik gebruik een sdm120m (met modbus, rs485) om het vemogen uit te lezen:
https://www.eastroneurope.com/products/view/sdm120modbus

Maar de meter houdt ook een kwh teller bij, die 0.1kwh verbruikt toont in ~33.6 uur.
Mijn server verburikt dus gemiddeld 2.9761W (de meter geeft aan 2W te verbruiken, maar ik weet niet of dat daar bij 'in' is. of dat dat extra is)

Daar ben ik iig blij mee. Dat is 71,5Wh/24hr of ook wel 0.057 Eurocent/24hr. Of ook wel 21 Euro/jaar.

Als ik nu de meter er tussen uit haal, bespaar ik vast nog wel 1W aan energie, mogelijk.

Dat ding is interessant!

een paar vragen:
- wanneer heb je hem besteld? Ofwel, hoe lang heeft ie erover gedaan?
- Heb je toevallig ook die 5x sata expander erbij gekocht?

- hoeveel transcodes vanaf 4k kun jij tegelijk draaien? Lukt audio transcoding ook een beetje?

[N8w8]

@AndrewF, die G4400/6100 lijken mij idd te oud voor dat mobo.
Als je 2ehands toch al prima vindt, kan je ook zoeken naar bijvoorbeeld n tweedehands G5400, zo veel meer kost dat niet imo.
Of je neemt n 2ehands Fujitsu mobo die _wel_ werkt met G4400/6100, die vind je mss bijv hier.

[ Voor 3% gewijzigd door N8w8 op 16-05-2022 14:17 ]

[de.lesse]

AndrewF schreef op maandag 16 mei 2022 @ 12:07:

Ik vind de prijs van de i3-9100 best hoog, en die lijkt de laatste maanden niet meer naar beneden te willen. Daarom keek ik ook even op de 2e hands markt, waar er best goedkoop een Pentium G4400 of i3-6100 te vinden zijn. Die cpu's deden het goed in Zuinige server Deel 2. Draaien die ook op een D3643-H? De documentatie van Kontron vermeld dat het een "Intel 8th/9th Gen" moederbord is, en volgens mij zijn de G4400 en i3-6100 7th gen cpu's.

@AndrewF Heb onlangs de I3 9100F gekocht (2e hands 50-80€) en nieuw D3643-H. Ik heb helaas geen compatible PCIe grafische kaart gevonden die werkt op deze combo. Heb nu ook ander MB en daar werkt de 9100F feilloos in met PCIe graka.

[AndrewF]

cyborgium schreef op maandag 16 mei 2022 @ 12:14:
@AndrewF FYI, TrueNAS Scale kan natively docker containers draaien, maar doet dat niet in docker.
Zodra je de eerste container maakt, start truenas een single node instance van K3S (welke containerd gebruikt dacht ik), wat kubernetes is. Dit zorgt voor best wat overhead en zal toch minstens continue 5% CPU gebruik met zich mee brengen.
Dit heeft natuurlijk voordelen, maar het zal dus lang niet zo zuinig zijn als zelf docker/containerd te installeren en de managen op bv debian/ubuntu.

Thanks cyborgium. Dat is inderdaad een goede reden om weg te stappen van TrueNAS. Die k3s complexiteit en overhead lijkt me een nadeel. Ik ben zo'n 10 jaar geleden met FreeNAS begonnen omdat dat toen de beste manier was om ZFS te draaien. De UI gebruik ik buiten het initieel opzetten van shares eigenlijk niet, dus lijkt het me nu beter om gewoon voor debian (of ubuntu) te gaan.

Vroeger zette ik servers op via Chef voor config management. Gebruiken de mede-tweakers hier config-management voor hun debian based zuinige NAS?

[cyborgium]

@AndrewF Voor complexiteit hoef je er niet voor af te stappen, via de UI is het alles behalve complex! Je kan weinig fout doen en naar mijn ervaring heb je er geen omkijken naar.

Het andere nadeel blijft natuurlijk, maar ik wil TrueNAS nou ook weer niet onder doen

[Mars Warrior]

cyborgium schreef op maandag 16 mei 2022 @ 14:53:
@AndrewF Voor complexiteit hoef je er niet voor af te stappen, via de UI is het alles behalve complex! Je kan weinig fout doen en naar mijn ervaring heb je er geen omkijken naar.

Vraag me dan af hoe dingen als ingress en load balancing "simpel" wordt gemaakt. Dat vereist normaliter nogal wat configuratie namelijk

Verder zie ik vaak eerder een idle load van 10% dan 5%, maar goed. Kan zijn dat dat verbeterd is. Feit blijft dat de CPU zeer waarschijnlijk nooit meer in een diepe C state komt, en je server daardoor een verbruik laat zien dat niet in de buurt komt van wat met een docker/docker-compose setup mogelijk is.

AndrewF schreef op maandag 16 mei 2022 @ 14:50:
[...]
Thanks cyborgium. Dat is inderdaad een goede reden om weg te stappen van TrueNAS. Die k3s complexiteit en overhead lijkt me een nadeel. Ik ben zo'n 10 jaar geleden met FreeNAS begonnen omdat dat toen de beste manier was om ZFS te draaien. De UI gebruik ik buiten het initieel opzetten van shares eigenlijk niet, dus lijkt het me nu beter om gewoon voor debian (of ubuntu) te gaan.

Vroeger zette ik servers op via Chef voor config management. Gebruiken de mede-tweakers hier config-management voor hun debian based zuinige NAS?

Als je onder config management het installeren van een standaard Ubuntu LTS server verstaat waarbij een scripje wat mappen aanmaakt, een ENV file ergens neerzet, docker/docker-compose installeert, en daarna via een docker-compose file alle docker containers worden afgetrapt, dan JA!

Simpel en zuinig

Dingen als SMB, S3, Duplicati en AdGuard zijn bij mij ook gewoon docker containers. Alles vanuit de docker-compose file, dus ik hoef niet echt meer over dingen na te denken. Enkel ervoor zorgen dat die dingen ergens netjes op Github oid staan, zodat alles ook reproduceerbaar is.

Ingress is nog wel handmatig, al is het maar dat hiervoor SSL certificaten moeten worden opgehaald. Maar goed, dat is dus via de MMI van NPM (Nginx Proxy Manager). Nog nooit gekeken eerlijk gezegd of dit ook te automatiseren is.

Na installatie wijzigen er nogal wat configuraties/databases door gebruik. Daar vertrouw ik op de backups die gemaakt worden. En af en toe pleur ik wat dingen richting Github, zodat ik daar een redelijk recente versie heb staan.

[campr112]

LittleKiller schreef op maandag 16 mei 2022 @ 12:14:
[...]


Dat ding is interessant!

een paar vragen:
- wanneer heb je hem besteld? Ofwel, hoe lang heeft ie erover gedaan?
- Heb je toevallig ook die 5x sata expander erbij gekocht?

- hoeveel transcodes vanaf 4k kun jij tegelijk draaien? Lukt audio transcoding ook een beetje?

- Ik het via Kickstarter gedaan. Ik geloof dat je nog niet kan bestellen via internet (alleen pre-order).
- Nee geen extender erbij gekocht. Dus dat is nog niet uitgeprobeerd. Vergeet niet, er zit ook nog een PCIe 2.0 x4 slot op (voor 'externe' kaarten) Dus je kan makkelijk een 24-poort SATA controller er op zetten. Ik heb nu wel een 24 Ports SATA III kaart besteld om mee te experimenteren: https://www.amazon.com/dp/B09L3GLCL9


- Dit is een i915 platform, ik weet niet wat de performance is voor het transcoden gedeelte. Als ik 4K download, speel ik die af op een 4K capable device, of ik zorg dat het aan de client-kant gereized wordt. Als je gaat server-side resizen voor download (dus niet live) is de performance niet zo belangrijk. Ik gok dat het mogelijk wel werkt, maar weet niet hoe goed/vloeiend.

[cyborgium]

Mars Warrior schreef op maandag 16 mei 2022 @ 15:49:

Vraag me dan af hoe dingen als ingress en load balancing "simpel" wordt gemaakt. Dat vereist normaliter nogal wat configuratie namelijk

Load balancing is niet van toepassing, voor zover ik weet is het niet mogelijk om via de UI meerdere replicas van een deployment te maken.
De default "apps" van truenas zelf, werken simpelweg met nodeports. Een ingress controller is dus niet nodig. Buiten de templates om is het mogelijk om een container op een IP buiten die van truenas zelf te laten draaien, dus er is zeker flink wat mogelijk binnen de UI.

Mars Warrior schreef op maandag 16 mei 2022 @ 15:49:

Verder zie ik vaak eerder een idle load van 10% dan 5%, maar goed.

Dat ligt natuurlijk nogal aan de hoeveelheid cores die je systeem heeft...
Bij mij dus gevirtualiseert, 8 cores geeft een average load van 4-5%.

Mars Warrior schreef op maandag 16 mei 2022 @ 15:49:

Nog nooit gekeken eerlijk gezegd of dit ook te automatiseren is.

Voor zover ik weet kan dit niet via NPM, maar wel met bijvoorbeeld traefik.
Als traefik goed is geconfigureerd, hoef je per nieuwe container die een cert nodig heeft, alleen maar een aantal labels toe te voegen aan je container en traefik genereerd de rules/routes/certs.

[Mars Warrior]

cyborgium schreef op maandag 16 mei 2022 @ 16:14:
[...]
Load balancing is niet van toepassing, voor zover ik weet is het niet mogelijk om via de UI meerdere replicas van een deployment te maken.
De default "apps" van truenas zelf, werken simpelweg met nodeports. Een ingress controller is dus niet nodig. Buiten de templates om is het mogelijk om een container op een IP buiten die van truenas zelf te laten draaien, dus er is zeker flink wat mogelijk binnen de UI.

Duidelijk. En als je websites draait, gebruik je Traefik oid als ingress controller natuurlijk

Dat ligt natuurlijk nogal aan de hoeveelheid cores die je systeem heeft...
Bij mij dus gevirtualiseert, 8 cores geeft een average load van 4-5%.

Was ik ff vergeten ja. Ik zie 10% op 4 cores. Op 1 core zie ik 40% CPU belasting en een flinke I/O load voor een "idle" systeem. Of: van 3W idle naar 30W idle verbruik

Eerder had ik een leuk RPI clustertje met k3s, maar door die hoge I/O load (2GB / dag in dat geval) gaan je SD kaartjes er in no-time aan. Dit probleem is er nog steeds zie ik in dit issue van 2022: 720MiB/dag voor een kaal systeem en 3.3GiB / dag voor een systeem met 11 pods

Met de huidige SSD's TBW en DWPD geen probleem natuurlijk, maar ook die komt bijna geen moment meer in idle, en dan kom je erachter dat je een model hebt gekozen dat 8W verbruikt bij schrijven

Voor zover ik weet kan dit niet via NPM, maar wel met bijvoorbeeld traefik.
Als traefik goed is geconfigureerd, hoef je per nieuwe container die een cert nodig heeft, alleen maar een aantal labels toe te voegen aan je container en traefik genereerd de rules/routes/certs.

Traefik binnen een cluster (k3s of docker swarm) is te doen, maar als je losse servers hebt - zoals ik - dan is het toch een hoop gekloot vind ik, en is NPM voor mij eenvoudiger en voorspelbaarder. Alleen jammer dat NPM een database gebruikt, ipv - net als Traefik - lekker alles in bestanden.

Ik gebruik overigens macvlan's voor nogal wat docker containers zodat het niet uitmaakt op welke van mijn mini servertjes eea draait. Kan ik af en toe wat wisselen of knutselen zonder dat AdGuard (inclusief DHCP en DNS) of NPM onvindbaar raken en mijn interne netwerk 'kapot' gaat

Ben benieuwd of k8s/k3s/k0s ooit nog een zuinig broertje of zusje krijgt en in de buurt gaat komen van een gemiddelde docker/docker swarm/docker compose setup die idle zomaar minder dan 1% verbruikt op een 4-core bakje...

[Albert_x]

Vorig jaar heb ik mijn desktop vervangen door een systeem met i5-11400 op een Asrock H570M Pro4 moederbord. Met een simpele ATX voeding (Cooler Master) trok dat in idle 19 Watt uit het stopcontact.
Om te zien hoeveel lager dat zou kunnen komen heb ik de voeding vervangen door een PicoPSU en heb ik het verbruik gemeten op 3 punten:

• Lichtnet (met Shellyplug S)
• Tussen adapter en picoPSU (INA226)
• Tussen picoPSU en ATX en CPU (4 x INA226 en 1 x INA219)

Voor de metingen heb ik in een apart LVM volume Ubuntu 21.10 server geïnstalleerd. Deze is geoptimaliseerd met powertop --auto-tune. In het systeem zitten verder een M2 ssd (Samsung 980), 2 slapende sata ssd’s en 3 fans (cpu + 2 x case). Tijdens de metingen heb ik de hdmi kabel losgekoppeld (scheelt een watt).

De picoPSU is een 150XT met een Seasonic 80W adapter (was ca. 8 jaar geleden een setje).

Hoewel het bij mij om een desktop gaat, is het resultaat misschien ook wel aardig voor wie een server wil bouwen.

Resultaat

Meetpunt	Vermogen [W]
12V CPU	1.06
3V3 ATX	0.07
5V ATX	3.02
12V ATX	0.86
5Vsb ATX	0.91
Totaal Pico uit	5.93
Pico in	7.10
Lichtnet	9.3

Vergeleken met de standaard ATX voeding is de picoPSU dus ca 10 Watt zuiniger. Daarnaast zit het overgrote deel van het verbruik in het moederbord (5 Watt), niet in de CPU (1 Watt).

Op basis van dit resultaat zou ik verwachten dat een combinatie van een iets zuiniger moederbord met bijvoorbeeld een G6405 nog minder moet kunnen verbruiken.

Meetmethode

de genoemde INA226 en INA219 zijn modules die spanning en stroom kunnen meten en via een I2C bus worden aangestuurd en uitgelezen. Ik doe dat met een ESP32 microcontroller. Daarmee lees ik 10 keer per seconde het verbruik van alle sensoren uit. In een grafiek ziet dat er zo uit:



(CPU, Sum en Pico in staan op de rechter y-as, de andere waardes op de linker y-as)

Deze grafiek is gemaakt met achtereenvolgens stress –cpu 1, stress –cpu 4 en stress –cpu 12.

Het systeem draait inmiddels 2 weken stabiel met de picoPSU, ook als desktop. Daarvoor heb ik alleen de Turbo boost uitgezet in de bios. Het hoogste verbruik dat ik tot nu toe heb gemeten is 65 Watt (input picoPSU), met een combinatie van stress met schrijven naar ssd. Bij gebruik als desktop komt daar mogelijk nog wat bij als de IGP maximaal wordt belast.

Conclusie

Ik vind het verbruik reuze meevallen, gezien de slechte naam die 11th gen gewoonlijk heeft. Zeker nu de goedkope gen8 en 9 processoren niet meer te koop zijn, kan met gen11 volgens mij nog best een leuke zuinige server worden gebouwd. Het meerverbruik wordt dan al snel goedgemaakt door de lagere aanschafkosten.

[andru123]

Albert_x schreef op maandag 16 mei 2022 @ 18:34:
Meetmethode
de genoemde INA226 en INA219 zijn modules die spanning en stroom kunnen meten en via een I2C bus worden aangestuurd en uitgelezen. Ik doe dat met een ESP32 microcontroller. Daarmee lees ik 10 keer per seconde het verbruik van alle sensoren uit.

Hoe ziet het eruit? Pics please

[mrmrmr]

@cyborgium Er zijn nog niet veel Alder Lake metingen bekend. Er staat er nog maar 1 onder de gepinde posts.

[mrmrmr]

@Albert_x Bijzonder interessante metingen op interessante meetpunten!

Kun je wat vertellen over die ina's? Hoe zijn ze gecalibreerd? Waar heb je ze vandaan en welke shunts zijn gebruikt?

Opvallend is de hoge 5V meting. Die neemt Tweakers niet mee in hun metingen.

De Pro serie is doorgaans minder zuinig dan de "normale" H/B moederborden van ASRock. 9,3W is niet onverwacht. De 150W PicoPSU zal denk ik net als de 160W PicoPSU iets minder zuinig zijn dan de PicoPSU-80.

Gaat de monitor in slaapstand? Daardoor kan de gpu in low power en hoeft er geen aansturingsverbruik voor de monitor te zijn. Bij een GUI installatie wordt die slaapstand dat automatisch geregeld onder Debian. Anders is er een consoleblank opdracht nodig voor de kernel in grub - en een update-grub opdracht om het actief te maken in de kernel images.

[PuijkeN]

Mars Warrior schreef op maandag 16 mei 2022 @ 15:49:
[...]
Ingress is nog wel handmatig, al is het maar dat hiervoor SSL certificaten moeten worden opgehaald. Maar goed, dat is dus via de MMI van NPM (Nginx Proxy Manager). Nog nooit gekeken eerlijk gezegd of dit ook te automatiseren is.

Voor ingress is het handig om gebruik te maken van Traefik vind ik - eens je er mee weg bent relatief eenvoudig. Ik gebruik hem voor mijn docker containers bereikbaar te maken via een nette URL met SSL-certificaat - die Traefik zelf aanmaakt/ophaalt via Let's Encrypt.

Bij nieuwe containers volstaat het dan om enkele lijntjes toe te voegen bij ENV variables en de container is automatisch bereikbaar via Traefik met SSL certificaat.

EDIT - net de rest gelezen en is dus al aangehaald en evenuteel ook niet echt van toepassing

[ Voor 6% gewijzigd door PuijkeN op 17-05-2022 09:53 ]

[Albert_x]

@mrmrmr De INA's heb ik gekocht bij tinytronics: INA226 en INA219.
De INA226 heeft een shunt weerstand van 0,002 Ohm, de INA219 heeft 0,1 Ohm.

Overigens heb ik de INA219 alleen gebruikt omdat ik die al had, anders had ik allemaal 226 modules gebruikt.

Ik heb geprobeerd ze te kalibreren/verifiëren in 2 stappen
• Spanningen vergeleken met een digitale multimeter, afwijkingen waren kleiner dan 1%
• De picoPSU belast met een paar vermogensweerstanden en gecontroleerd dat de weerstanden volgend uit U/I klopten. Maximale afwijking was 3%

Ik ga zelf uit van een meetonzekerheid van +/- 5% in de metingen. Daarnaast is de CPU nooit helemaal stil en de pieken in de vermogensmetingen hebben een paar procent invloed op het meetresultaat, ook als je bijvoorbeeld middelt over 30 seconde.

Tweakers neemt in de BBG inderdaad alleen de 12V van de ATX mee. Als je wil weten wat een moederbord gebruikt lijkt mij dat gewoon niet correct. Zelf was ik overigens vooral verbaasd over het verbruik op de 5 Vsb.

• 3.3 V wordt gebruikt bij schrijven naar de M2 pcie ssd
• 5 V voor geheugen, schrijven naar sata ssd en voor USB
• 12 V ATX reageert alleen langzaam bij hoge belasting van de CPU, als de fans harder gaan draaien

Ik heb net de metingen nog eens herhaald met consoleblank, maar dat geeft hetzelfde resultaat als de hdmi kabel losmaken. (eerder werkte consoleblank bij mij niet, omdat de monitor direct na het in slaap vallen weer wakker werd en nooit opnieuw in slaap viel. Nu sluit ik de hdmi kabel aan via een verloopje op de DVI ingang van de monitor en werkt consoleblank wel)

@andru123


Rechtsboven op het printje staan 4 x INA226 (waar de rode groene en gele draadjes heengaan). De INA219 ligt daarachter (waar de blauwe draadjes heengaan). Links zie je de picoPSU. Alles is aangesloten met een opengeknipte ATX verlengkabel.
Op de breadboard zit rechts de ESP32, links een klein display. Daaronder de 5e INA226.

[cyborgium]

Dit lijkt een vrij straight forward setup. Als hier vraag naar is, zou ik een ontwerp kunnen maken voor een printplaat (ik ontwerp PCBs als werk) waardoor geen geknutsel met breadboards nodig is. Deze zijn relatief goedkoop te laten maken in china.

Deze zouden dan permanent in de server kunnen zitten

[mrmrmr]

@Albert_x Bedankt voor de uitvoerige uitleg! Ziet er goed uit.

Bij GUI installaties kun je met xset nog settings doen. Soms geeft een systeem bij opstarten een foutmelding waardoor het scherm niet op zwart gaat. Het in low power zetten van de gpu geeft nog een behoorlijke winst. Het is moeilijk te zien of die in low power staat of niet onder Linux. Ik zie het indirect aan het stroomverbruik op mijn D3643-B.

[LittleKiller]

cyborgium schreef op dinsdag 17 mei 2022 @ 14:06:
Dit lijkt een vrij straight forward setup. Als hier vraag naar is, zou ik een ontwerp kunnen maken voor een printplaat (ik ontwerp PCBs als werk) waardoor geen geknutsel met breadboards nodig is. Deze zijn relatief goedkoop te laten maken in china.

Deze zouden dan permanent in de server kunnen zitten

Ik zit zelf te denken om een verloopPCB'tje te maken voor de picoPSU's. Ik vind de sata aansluitingen best wel jank en had het idee om sata kabels te in het PCB'tje te kunnen prikken.

Tot 6 sata schijven zeg maar. Dus misschien dit combineren? 2 aansluitingen maken zodat je gewoon sata power cables kan kopen van een merk als Cooler Master EN die ina's erop plaatsen.

Misschien kunnen we/je het open sourcen.

Ik weet dat er veel mensen interesse hebben in de jonsbo N1 en daar zitten 6 (1 2.5 inch) sata plaatsen in. Het is lekker als daar gewoon een goede sata power voorziening gemaakt kan worden in combinatie met de PicoPSU's.

Linus zegt altijd: MOLEX to sata. Lose your data

https://www.cmstore.eu/sp...ata-90-modular-flatcable/

Zoiets als dit. Het mag ook van een ander merk zijn.

Edit: ik maakte eerst ook PCBs voor power elektronica. Ik wil je wel helpen met bedenken en testen etc

[ Voor 10% gewijzigd door LittleKiller op 18-05-2022 08:16 ]

[cyborgium]

@LittleKiller Dat klinkt als een goed plan! Als het toch eerst door het bordje moet om current te kunnen meten, zou daar ipv screwterminals net zo goed een connector voor sata power op kunnen.

Open sourcen zou zeker een mogelijkheid zijn.

Als wij dan toch bezig gaan, zijn er wensen voor nog meer/andere features?

De microcontroller zou bijvoorbeeld ook de computer/server aan/uit kunnen zetten, ik noem maar wat.

[LittleKiller]

cyborgium schreef op woensdag 18 mei 2022 @ 10:01:
@LittleKiller Dat klinkt als een goed plan! Als het toch eerst door het bordje moet om current te kunnen meten, zou daar ipv screwterminals net zo goed een connector voor sata power op kunnen.

Open sourcen zou zeker een mogelijkheid zijn.

Als wij dan toch bezig gaan, zijn er wensen voor nog meer/andere features?

De microcontroller zou bijvoorbeeld ook de computer/server aan/uit kunnen zetten, ik noem maar wat.

Het enige wat ik me kan bedenken is nog wat temperatuur meting icm pwm outputs voor fans. Ik weet dat het niet even zuinig kan zijn. Maar opzich zou je dan de temperatuur van je HDD's kunnen meten puur daarop fans kunnen sturen. In software werkt dat niet altijd even lekker.

Maar er zijn vast mensen die hier anders over denken

[mrmrmr]

@cyborgium Als je hoge stroom wil meten is het van belang dat er meerdere kabels zijn of dat het dik is. Ik zou voor schroeven kiezen.

Altijd mee laten draaien zorgt voor extra energieverbruik.

@LittleKiller Linus heeft gelukkig nog andere kwaliteiten. De Molex blok connectoren zoals die van een ATX plug of P4/P8 voor cpu kunnen zwaar worden belast. Er is een flink kwaliteitverschil in connectoren. De duur betaalde platte 4-pin molex-kloon troep uit China met loszitende pennen die sommige shops verkopen zou ik vermijden. Er zijn verhalen van molded SATA power splitters die slecht contact maken en smelten. Oplossing is een goed merk te bestellen met klemconnectoren. Dat hoeft niet eens duur te zijn, zoals de kabel waar je naar linkt, die heeft zo te zien klemconnectoren.

Op een printplaat moet ook voldoende geleidend metaal aanwezig zijn om spanningverlies te voorkomen. Minder contactpunten en kortere DC kabels is doorgaans beter.

Als je een meetstation ontwerpt zorg dan dat meetprocessor (etc.) een onafhankelijke voeding heeft zodat die niet meesnoept en de meting negatief beinvloed.

[cyborgium]

Altijd mee laten lopen zorgt inderdaad voor extra energieverbruik. Maar als ik mijn USB power meter mag geloven, verbruikt een devkit vande ESP32, terwijl verbonden met wifi, tussen de 0.02 en 0.05 ampere op 5 volt.

Volgens de datasheet van die TI INAXXX is het verbruik daarvan, max 1mA. Al met al denk ik niet dat ik mij daar veel zorgen over zou maken.

[Albert_x]

@cyborgium Je kan nog kijken naar de wemos versies. Met een Wemos D1 mini V3 haal ik 18 mA met wifi uitgeschakeld. De NodeMCU esp32 die ik gebruik trekt 40 mA (bij 80 MHz klok).

Voordeel van de wemos vind ik dat ze een betere spanningsregelaar hebben, met een veel lagere quiescent current. Daardoor gebruikt de wemos in sleep mode 0,5 mA terwijl mijn esp32 in sleep mode 9 mA gebruikt. Als je bv 1 x per seconde meet, kan je daar misschien nog wat winst mee halen.
Daarnaast trekt mijn oled 64x128 display nog ca 4 mA.

(mijn eerste ervaring met de INA modules was toen ik mijn temperatuur sensor langer dan drie dagen op een setje batterijen wilde laten lopen, dus ik heb daar wat metingen mee gedaan).

[cyborgium]

@Albert_x Dank voor je input, maar ik denk zo dat het design geen devkit zou gebruiken waardoor ik zelf de LDO kan kiezen

[LittleKiller]

mrmrmr schreef op woensdag 18 mei 2022 @ 11:42:
@cyborgium Als je hoge stroom wil meten is het van belang dat er meerdere kabels zijn of dat het dik is. Ik zou voor schroeven kiezen.

Altijd mee laten draaien zorgt voor extra energieverbruik.

@LittleKiller Linus heeft gelukkig nog andere kwaliteiten. De Molex blok connectoren zoals die van een ATX plug of P4/P8 voor cpu kunnen zwaar worden belast. Er is een flink kwaliteitverschil in connectoren. De duur betaalde platte 4-pin molex-kloon troep uit China met loszitende pennen die sommige shops verkopen zou ik vermijden. Er zijn verhalen van molded SATA power splitters die slecht contact maken en smelten. Oplossing is een goed merk te bestellen met klemconnectoren. Dat hoeft niet eens duur te zijn, zoals de kabel waar je naar linkt, die heeft zo te zien klemconnectoren.

Op een printplaat moet ook voldoende geleidend metaal aanwezig zijn om spanningverlies te voorkomen. Minder contactpunten en kortere DC kabels is doorgaans beter.

Als je een meetstation ontwerpt zorg dan dat meetprocessor (etc.) een onafhankelijke voeding heeft zodat die niet meesnoept en de meting negatief beinvloed.

Bedankt voor je advies. Ik heb wel een beetje verstand van elektriciteit. Ik ben erin afgestudeerd en heb EVs ontwikkeld edit: niet netjes. negeer me maar

Maar ik vind dat linus wel gelijk heeft. MOLEX is gewoon een beetje jank. Een dedicated aansluiting werkt gewoon beter

[ Voor 5% gewijzigd door LittleKiller op 18-05-2022 16:32 ]

[snoopdoge90]

Ik heb op mijn server een schone installatie gedaan van Ubuntu 22.04. Is toch naar 9 watt gesprongen, met Ubuntu 20.04 was dit 7.5 na de install met powertop --auto-tune. Even rustig afwachten wat die naar een paar minuten gaat doen. D3643-H met G5400.

[ Voor 19% gewijzigd door snoopdoge90 op 18-05-2022 23:11 ]

[andru123]

@cyborgium @LittleKiller
Altijd mee laten draaien zorgt voor extra energieverbruik.

+1 voor “uitschakelaar”. Of met knop, of programmatisch, maakt niet uit.

[mrmrmr]

snoopdoge90 schreef op woensdag 18 mei 2022 @ 23:08:
Ik heb op mijn server een schone installatie gedaan van Ubuntu 22.04. Is toch naar 9 watt gesprongen, met Ubuntu 20.04 was dit 7.5 na de install met powertop --auto-tune. Even rustig afwachten wat die naar een paar minuten gaat doen. D3643-H met G5400.

Dit helpt misschien?
mrmrmr in "Het grote zuinige server topic - deel 3"

Ik weet niet wat er verder nog in het systeem zit, met hard disks zal het verbruik oplopen. Ik meet zelf 3,1W in standaard configuratie met een Samsung SATA SSD en PicoPSU-80 met wel een zeer zuinige adapter. Met een ATX voeding stijgt het verbruik naar minstens het dubbele. Met 2.5" Seagate 4 of 5 TB hard disks, per disk ~1W erbij (0,85W DC).

[snoopdoge90]

mrmrmr schreef op donderdag 19 mei 2022 @ 15:15:
[...]


Dit helpt misschien?
mrmrmr in "Het grote zuinige server topic - deel 3"

Ik weet niet wat er verder nog in het systeem zit, met hard disks zal het verbruik oplopen. Ik meet zelf 3,1W in standaard configuratie met een Samsung SATA SSD en PicoPSU-80 met wel een zeer zuinige adapter. Met een ATX voeding stijgt het verbruik naar minstens het dubbele. Met 2.5" Seagate 4 of 5 TB hard disks, per disk ~1W erbij (0,85W DC).

Intel 660P + WD Red 4TB 3,5 inch zonder spin down + kleine case fan nog zonder fancontrol. Pico 150 want damnit, ik moet mijn niet zuinige 3.5 inchers nog een keer uitbreiden en redudant uitvoeren.

Vergelijk dat met jouw configuratie dan klinkt 6,5W klinkt dan realistisch voor mijn systeem. Althans dat was het verbruik op 20.04. Op 22.04 kom ik op de 7.1W als ik ook echt daadwerkelijk on board devices ga uitschakelen in de BIOS icm een powertop auto tune. Dat liet ik voorheen gewoon volledig aan het OS over.

Iets is er funky, zal jouw post vanavond jouw post is bestuderen en mijn kernel logs is een keer doornemen. Thanks voor de suggestie .

[ Voor 4% gewijzigd door snoopdoge90 op 19-05-2022 16:34 ]

[GioStyle]

-

[ Voor 99% gewijzigd door GioStyle op 29-10-2022 23:53 ]