Het grote zuinige server topic - deel 3

[renedis]

alex3305 schreef op maandag 7 augustus 2023 @ 12:47:
[...]

De comment in het script verraad het al een (klein) beetje: ps -aeF --forest laat de processor affiniteit zien van de draaiende processen. En even heel kort door de bocht, ik wil alle langdraaiende en/of systeemprocessen op de E-cores hebben. Ik wil zelf bepalen wat op de P-cores draait. En dan heb ik het met name over Immich, Jellyfin, Kopia, Plex en SABnzbd. Dat zijn voor mij namelijk processen die ik prioriteit wil geven. En dan ben ik misschien een lompe boer die gewoon alles verplaatst .

Eigenlijk wilde ik de P-cores isoleren, maar dat werkt niet lekker met Docker. Als je namelijk een Docker container op een isolated CPU zet, dan zal dat proces maar op 1 CPU core werken.

Om daar omheen te werken pin ik sommige containers specifiek in het docker config (advanced) gedeelte. Of globaal bij het CPUset gedeelte. Dan weet ik in ieder geval zeker dat de P-cores niet door de desbetreffende container gebruikt wordt. Of zie ik dit nu verkeerd? De isolated functie zelf gebruik ik niet.




Overigens overstappen van SABnzbd naar NZBGet scheelde ook CPU en MEM in mijn geval.

[Rembock]

@FireDrunk Dus als ik je goed begrijp raad jij Proxmox -> *nix VM -> Docker engine aan?
(Ben echt nog beginner in Proxmox, excuses als ik domme/ontwetende vragen stel )

[ Voor 35% gewijzigd door Rembock op 07-08-2023 16:54 ]

[FireDrunk]

Nee, juist niet. VM's kosten meer CPU performance dan Docker native.
Het enige nadeel is dat je in de Proxmox Web UI niet echt Docker containers kan managen.
Je kan prima Docker installeren op Proxmox en bijvoorbeeld via Portainer wat webbased management doen.

Persoonlijk werk ik met Docker puur op de commandline, en heb ik geen UI specifiek voor Docker.
_{Buiten dat ik bij hoge uitzondering Cockpit gebruik voor wat webbased dingen op mijn server.}

@Rembock Er zijn geen domme vragen, alleen domme antwoorden, excuses zijn niet nodig hoor
Deze is dan ook leuk om in de gaten te houden: Het grote Proxmox VE topic

[ Voor 17% gewijzigd door FireDrunk op 07-08-2023 17:04 ]

[Rembock]

Helder, dank voor voor de toelichting.
Ik ben ook meer fan van van CLI dan GUI voor containers.

Ik ga nu eerst mij wat inlezen in het Proxmox-topic (dank voor de link), maar ik denk dat ik toch weer voor een kale Linux installatie ga met ZFS als bestandssysteem (voor snapshots i.h.k.v. backups). Scheelt ook weer Proxmox leren
Hoofddoel was namelijk voor mij om een server te hebben waar ik, zonder extra overhead, de mogelijkheid heb om backups te maken.

Heb ik alleen nog de uitdaging om een oplossing voor een testomgeving te vinden, suggesties/ervaringen zijn welkom

[Mars Warrior]

Rembock schreef op maandag 7 augustus 2023 @ 16:16:
@RobertMe mijn dank is groot!
Simpelweg gezien doe ik dan het volgende?

• Mijn bare metal Debian OS wordt vervangen door Proxmox
• Het Ext4 bestandssysteem kan ik vervangen voor ZFS, al is dit niet noodzakelijk
• Docker compose vervalt, Proxmox neemt dit over

Is dit ook werkbaar als ik (tijdelijk) een testomgeving wil optuigen op dezelfde server? Ook als ik met LXC containers werk?
Of is het dan raadzamer om een productie-VM & een test-VM aan te maken & de test-VM alleen actief te hebben als ik hieraan werk?

Proxmox doet helemaal NIETS met docker!

Als jij 2 VM's gaat maken, dan zul je gewoon in die VM's een OS moeten installeren, en vervolgens weer je hele docker compose stack...

Of je maakt een LXC waar je alles van docker in doet.

Je kunt direct op Proxmox docker draaien, maar dat wordt vaak afgeraden, omdat het niet zo 'hoort'...

[bunker]

Ik ben aan het kijken om mijn Unraid server te "downgraden", hij was vroeger in gebruik voor veel VM werk, maar nu alleen nog maar voor opslag.

MB: Asrock Rack X570D4U-2L2T
CPU: Ryzen 5 3600
RAM: 2 x 16GB
NVME: 2x 970 Evo Plus 1TB
HDD: 16x WD 12TB
HBA: Adaptec ASR 71605

Hele zaakje draait nu met alle disks in spindown op +/- 70W idle. De IPMI van het bord slurpt al 11W

Zat aan een Kontron K3842-Q te denken met een i3/i5. Dan kan ik de twee keer NVME de Adaptec (x8 kaart) en een Mellanox ConnectX-3 (x4 kaart) kwijt.

De HBA heb ik nodig voor het aantal disks en 10GBe is belangrijk.

Iemand een idee op wat voor idle power draw ik uit zou kunnen komen?

Of is er een betere (zuinigere) optie?

[FireDrunk]

Mars Warrior schreef op maandag 7 augustus 2023 @ 17:19:
[...]

Proxmox doet helemaal NIETS met docker!

Als jij 2 VM's gaat maken, dan zul je gewoon in die VM's een OS moeten installeren, en vervolgens weer je hele docker compose stack...

Of je maakt een LXC waar je alles van docker in doet.

Je kunt direct op Proxmox docker draaien, maar dat wordt vaak afgeraden, omdat het niet zo 'hoort'...

Mja, dat vind ik een beetje overtrokken. Ik snap het wel, omdat je niet meer kan vertrouwen op hetgeen Proxmox managed. Je zou iets stuk kunnen maken wat Proxmox managed.
Mijn ervaring is dat het prima werkt. Docker is (als je het goed doet) compleet los van de host te draaien.
Dan heb je dus helemaal geen boodschap aan wat Proxmox managed.

[RobertMe]

FireDrunk schreef op maandag 7 augustus 2023 @ 17:55:
[...]

Mja, dat vind ik een beetje overtrokken. Ik snap het wel, omdat je niet meer kan vertrouwen op hetgeen Proxmox managed. Je zou iets stuk kunnen maken wat Proxmox managed.
Mijn ervaring is dat het prima werkt. Docker is (als je het goed doet) compleet los van de host te draaien.
Dan heb je dus helemaal geen boodschap aan wat Proxmox managed.

Punt is dat Proxmox een hypervisor is. Dat dat toevallig een volledige Linux distro is maakt het daarom niet ineens een goed idee om maar Linux stuff op je hypervisor gaan te doen.
Als in: Hyper-V is gebaseerd op Windows, maar, als je daar al "toegang" toe hebt, maakt dat het ook nog geen goed idee om zomaar wat willekeurige programma's "in Hyper-V" gaan te draaien.
In beide gevallen doet dat het hele idee van het draaien van een hypervisor / gebruik van virtualisatie teniet.

* RobertMe is origineel ook Proxmox gaan gebruiken zodat ik verschillende Docker containers in verschillende netwerken (VLANs) kon draaien, zo had ik bv een LXC container met alle domotica spul, een met PiHole en de UniFi Controller, een met SyncThing & Samba (Samba direct van Debian in de LXC, andere genoemde software allemaal in Docker). Nu ik op een gegeven moment met wat experimenteren een/het trucje gevonden heb om de containers in VLANs te hangen (en dan wel met bridge network achter 1 IP, niet alles met macvlan) ben ik voor een nieuw systeem(pje) weer afgestapt van Proxmox en gewoon voor good old Debian gegaan. Omdat Proxmox mij niks meer opleverde.

[FireDrunk]

RobertMe schreef op maandag 7 augustus 2023 @ 18:03:
[...]

Punt is dat Proxmox een hypervisor is. Dat dat toevallig een volledige Linux distro is maakt het daarom niet ineens een goed idee om maar Linux stuff op je hypervisor gaan te doen.

Dat is een beetje in the-eye-of-the-beholder. Dat is de bedoeling van het OS ja, maar als je zelf niet zoveel waarde aan die functies hecht, en juist die functies als extra ziet, is het denk ik niet zo'n ramp.

Als in: Hyper-V is gebaseerd op Windows, maar, als je daar al "toegang" toe hebt, maakt dat het ook nog geen goed idee om zomaar wat willekeurige programma's "in Hyper-V" gaan te draaien.
In beide gevallen doet dat het hele idee van het draaien van een hypervisor / gebruik van virtualisatie teniet.

* RobertMe is origineel ook Proxmox gaan gebruiken zodat ik verschillende Docker containers in verschillende netwerken (VLANs) kon draaien, zo had ik bv een LXC container met alle domotica spul, een met PiHole en de UniFi Controller, een met SyncThing & Samba (Samba direct van Debian in de LXC, andere genoemde software allemaal in Docker). Nu ik op een gegeven moment met wat experimenteren een/het trucje gevonden heb om de containers in VLANs te hangen (en dan wel met bridge network achter 1 IP, niet alles met macvlan) ben ik voor een nieuw systeem(pje) weer afgestapt van Proxmox en gewoon voor good old Debian gegaan. Omdat Proxmox mij niks meer opleverde.

Uiteraard is 'willekeurige' programma's draaien geen goed idee. Daar schaar ik Docker niet onder.
Als je als *enige* extra applicatie, puur Docker installeert, en verder niet met het Host OS loopt te kutten, zie ik er geen problemen in.

Als je inderdaad nog veel meer gaat doen, ga je je wel zeker problemen op de hals halen.

* FireDrunk draait daarom ook gewoon Debian kaal met Docker... Proxmox is leuk, maar de enige feature die ik zou gebruiken is ZFS out-of-the-box. En dat kan ik prima zelf.

[chielmi]

Tijdens het dramatische weer van de afgelopen weken ben ik gemigreerd van mijn Synology Diskstation D216+II naar een zelfbouw server. In eerste instantie was ik van plan naar een recent Diskstation te migreren, maar ik vind de specs van de laatste generatie nogal tegenvallen. Zeker als je kijkt wat je ervoor moet betalen...

Zelfbouw server moest een idle verbruik <10 W hebben, maar wel ruim voldoende power om een zwik docker containers (inclusief zwaardere containers zoals PhotoPrism) en een VM te draaien. Primaire rol is als NAS met een 24/7 uptime.

Het systeem dat ik heb gebouwd:

• ASRock DeskMini X300
• AMD Ryzen 5 5600G
• 32 GB DDR4 sodimm Crucial CT32G4SFD832A
• 256 GB Crucial MX 500 SSD die ik nog had liggen
• Transcend 250S 4TB als data disk
• Noctua NH-L9a-AM4 koeler

De X300 is niet het meest recente systeem, maar voldoet prima voor mijn wensen. 1x RAM stick om het stroomverbruik te drukken. Het "idle" verbruik bij 18 actieve docker containers ligt rond de 8,6 W.

Als OS OpenMediaVault geïnstalleerd na lang te hebben getwijfeld tussen TrueNas scale, Proxmox en OMV. Uiteindelijk erg tevreden met de keuze voor OMV. Lekker intuïtief, prima community support.

[andru123]

bunker schreef op maandag 7 augustus 2023 @ 17:44:

Bladeer door gepinde berichten. Bijv. @dcm360 heeft 10Gb netwerk cards getest.

[alex3305]

renedis schreef op maandag 7 augustus 2023 @ 16:38:
[...]


Om daar omheen te werken pin ik sommige containers specifiek in het docker config (advanced) gedeelte. Of globaal bij het CPUset gedeelte. Dan weet ik in ieder geval zeker dat de P-cores niet door de desbetreffende container gebruikt wordt. Of zie ik dit nu verkeerd? De isolated functie zelf gebruik ik niet.

[Afbeelding]

Containers pin ik inderdaad ook. Via de advanced view in Docker of via Docker Compose met de cpuset parameter. Dat werkt prima, maar ik wil unRAIDs eigen processen niet op de P-cores hebben. Met name shfs en unraid-api pakken echt bijzonder veel resources.

Als je cpu isolation gebruikt zal unRAID de processen dan ook niet op de isolated CPUs zetten. Maar dat werkt dus niet lekker met Docker.

Is dit misschien wat duidelijker en waarom ik hiermee bezig ben?

Overigens overstappen van SABnzbd naar NZBGet scheelde ook CPU en MEM in mijn geval.

Behalve dan dat nzbget niet meer ontwikkeld wordt . Ik ben daarom net naar SABnzbd gewisseld.

[N8w8]

@FireDrunk, het is niet veel maar hier een NUC-achtige mobiele Raptor Lake met "in-band" ECC, die 15W idle doet (zonder tuning neem ik aan).
Dat is nogal funky want werkt met non-ECC DIMMs, waarbij ie een deel van de ruimte reserveert voor ECC. Met natuurlijk enige performance impact.
Desondanks vond ik het interessant dus heb ik ook wat meer proberen te vinden over dat hele in-band ECC gebeuren, maar met weinig succes; alleen hier en hier vond ik _iets_. Dus erg populair lijkt het niet te zijn.
Ja en dan is ook nog de vraag of je bovenstaand ding ergens te koop kan vinden.

[mrmrmr]

@bunker

Zat aan een Kontron K3842-Q te denken met een i3/i5. Dan kan ik de twee keer NVME de Adaptec (x8 kaart) en een Mellanox ConnectX-3 (x4 kaart) kwijt.

De HBA heb ik nodig voor het aantal disks en 10GBe is belangrijk.

Iemand een idee op wat voor idle power draw ik uit zou kunnen komen?

Of is er een betere (zuinigere) optie?

70W altijd aan kost € 1.050 in de economische gebruiksduur van 5 jaar.

Een moederbord is bij lange na niet het onderdeel dat veel energie verbruikt. Dat zijn onderdelen zoals 3.5" disks, 10 Gbe LAN en storage controllers en onzuinige voedingen.

Wat kun je doen?

Neem afscheid van kleine 3.5" disks in een operationele server. Die kun je beter benutten voor backup of in een server die alleen zo nu en dan aan staat. Bij de huidige stand van zaken kun je beter grote hard disks toepassen. Kleine hard disks kosten operationeel meer dan ze waard zijn, je wil een optimale TB per Watt verhouding. Grote SSD's of 18/20 TB disks zijn aan te raden, bijvoorbeeld MG09 of MG10 van Toshiba.

De meeste mensen hebben thuis geen enkele bron die 10Gbe kan genereren. En als ze het wel hebben, is er geen noodzaak omdat er niet hoeft te worden gewacht op gigantische transports.

Het is structureel veel zuiniger een of meer Intel I210/I211/I219LM toe te passen. Veel 4k tv's hebben 100 Mbps, want dat is voldoende. Je hebt geen Bugatti Chiron nodig om boodschappen te doen. Een server thuis hoeft niet op een server op het werk te lijken want je hebt thuis niet de grote aantallen clients of een tekort aan bandbreedte.

IPMI is een computer in een computer, dat verdubbelt ruwweg het verbruik.

In het kort:
max. 6x 3.5" Toshiba MG09/MG10 18TB+ (hoe groter hoe beter) op Intel's SATA controller
standaard Samsung NVMe pcie 3/4
moederbord met native 6x SATA (+cpu+JEDEC geheugen) en Intel LAN (geen Realtek)
eventueel ≥1 Intel I210/I211 LAN kaarten (geen antiek spul dat nog steeds wordt aangeboden)
geen storage controllers, geen SAS, geen IPMI, geen 10 Gbe.
beperk VM's zoveel mogelijk
beperk containers en monitoring (I/O) overhead
zoveel mogelijk direct op het OS installeren, eventueel afgescheiden op laag niveau (shared root, systemd)

[andru123]

chielmi schreef op maandag 7 augustus 2023 @ 18:19:Het "idle" verbruik bij 18 actieve docker containers ligt rond de 8,6 W

Echt zuinig voor een AMD systeem!
Als je de kans krijg, kan je zonder 18 containers meten, echt interessant voor vele AMD fans hier.
Kan je ook bijmelden welke meter, ik zie dat de post al gepined.

[alex3305]

FireDrunk schreef op maandag 7 augustus 2023 @ 18:13:
[...]

* FireDrunk draait daarom ook gewoon Debian kaal met Docker... Proxmox is leuk, maar de enige feature die ik zou gebruiken is ZFS out-of-the-box. En dat kan ik prima zelf.

Vandaar dat mijn keuze ooit gevallen is op unRAID. Naast de mogelijkheid van het mixen en matchen van verschillende disks, met of zonder pariteit. Ik ben namelijk helemaal tevreden met mijn JBOD setup waarbij het internet mijn backup is. Uiteraard kan dat ook in Debian met Docker en eventueel een UI (bijv. Portainer) eroverheen, maar ik vind het wel zo prettig dat ik op mijn mobiel op de bank niet hoef te prutsen in een shell om ergens even een slinger aan te geven. Ook vind ik de unRAID Apps store prettig werken en het makkelijk kunnen up- én downgraden vind ik echt een pluspunt.

Tegenwoordig zou ik overigens ook nog eens kijken naar TrueNAS Scale. Dat was destijds nog niet zover om echt gebruikt te worden. Maar ik heb het idee dat dit ook een geduchte concurrent voor de Proxmox / unRAID setup gaat worden. Of wellicht al is.

---

Overigens nog een kleine update van mijn systeem. Vandaag ben ik ook nog een keer aan het meten geslagen zonder USB devices. Dus geen 1TB USB SSD, 2TB USD HDD, 4TB USB HDD, Zigbee controller en Z-Wave controller. Als ik dan alle applicaties stop en alle interne disks (3x HDD, 2x NVMe SSD) in idle forceer kom ik op 11 tot 13W uit. In tegenstelling tot de 25 - 26W waar ik nu op uitkom. Echter lijkt het vooralsnog nog niet heel erg lucratief om het e.e.a. te vervangen omdat de terugverdientijd te groot is voor bijvoorbeeld een extra HDD. Aan de andere kant ben ik benieuwd of ik toch nog iets in software zou kunnen forceren

[andru123]

@alex3305 kan je alleen de usb hdds aansluiten? Vermoeden is dat extra 10W komt echt door de Zigbee sticks.

[alex3305]

andru123 schreef op maandag 7 augustus 2023 @ 22:46:
@alex3305 kan je alleen de usb hdds aansluiten? Vermoeden is dat extra 10W komt echt door de Zigbee sticks.

Dat is de volgende test inderdaad. De vorige keer dat ik zonder controllers had gemeten kwam ik op een verschil van 5 tot 6W uit. Iets minder dan anderen hier. Maar ik heb ondertussen wat software aanpassingen gedaan, dus ik wil het nog een keer controleren.

Ik was aan het overwegen om eventueel mijn oude NUC in te zetten voor de controllers mits het verschil groot genoeg is. Maar aan de andere kant, is het extra beheer mij die maximale 3W besparing waard... In ieder geval goed om de optie open te houden.

[chielmi]

andru123 schreef op maandag 7 augustus 2023 @ 22:10:
[...]

Echt zuinig voor een AMD systeem!
Als je de kans krijg, kan je zonder 18 containers meten, echt interessant voor vele AMD fans hier.
Kan je ook bijmelden welke meter, ik zie dat de post al gepined.

Doe ik! Momenteel ligt het verbruik hoger doordat ik met Duplicati een volledige encrypted backup naar de cloud aan het doen ben. Langdurige exercitie door de beperkte upload bandbreedte van Ziggo

[andru123]

mrmrmr schreef op zaterdag 5 augustus 2023 @ 21:03:
Ik kan de kleine onderdelen niet goed zien op de foto's die ik vond.

Deze ebay listing heeft hogere res fotos van M3.
Verrassend weinig ICs ter vergelijking met andere modellen. Mini box claimt wel 94% eff. en 0.5 mA standby.
Wat is het verschil eigenlijk met WI modellen, verwarrend. Waarom die functie om “5vsb uitschakelen” ook niet op andere modellen implementeren.

[Mich]

Rembock schreef op maandag 7 augustus 2023 @ 14:45:
Ik kijk al enige tijd mee in dit topic, maar kan momenteel niet goed vinden hoe ik mijn onderstaand idee/probleem kan oplossen.
Ik ben namelijk van plan om mijn eigen server opnieuw in te richten, momenteel draai ik Debian Bullseye met Ext4 als bestandssysteem. Al mijn services draaien vanuit een Docker containers via een compose Yaml, m.u.v. een firewall & een Phyton script die mijn Ziggo IP updated bij TransIp (alleen domeinnaam) als deze gewijzigd wordt.

Nu ben ik van plan om mijn zuinige server in te richten met een productie- en testomgeving, hierdoor neig ik snel naar Proxmox. Ik weet alleen niet goed of dit een juiste oplossing is. Ook heb ik een Proxmox-bel horen luiden over backups, maar weet ik niet zo goed waar de klepel hangt. Ik ben mij ervan bewust dat er een apart Proxmox-topic is, maar ben meer benieuwd hoe Proxmox zich qua verbruik verhoudt t.o.v. een Debian installatie zonder hypervisor (bare metal?) en wat aan te raden is voor een zuinige server die voornamelijk containers gebruikt.

Daarnaast lees ik ook veel over ZFS, maar gok ik dat dit meer voor de opslag bedoeld is dan voor de disk waar het OS zelf op staat. Is ZFS ook aan te raden voor de OS disk?

Is er iemand die mij op weg kan helpen? Mochten deze vragen toch in het verkeerde topic staan, excuus

Het verschil in idee verbruik is nagenoeg gelijk. Er zijn echter proxmox services die regelmatig actief worden. Dus elke +-5 seconden hebben ik pieken van 5W hoger. Volgens mij is de grootste boosdoener een service die draait om alle containers te monitoren. Die kan je eventueel ook uitzetten.

Ik weet niet hoe andere mensen die hier met proxmox dat ervaren en of die proxmox zelf ook nog getweaked hebben. Via Google heb ik wel een 3 tal services gevonden die sowieso uit kunnen als je het stand alone gebruikt.


Backups maken van een vm of een snapshot is heel makkelijk.

[Mich]

alex3305 schreef op maandag 7 augustus 2023 @ 23:58:
[...]

Dat is de volgende test inderdaad. De vorige keer dat ik zonder controllers had gemeten kwam ik op een verschil van 5 tot 6W uit. Iets minder dan anderen hier. Maar ik heb ondertussen wat software aanpassingen gedaan, dus ik wil het nog een keer controleren.

Ik was aan het overwegen om eventueel mijn oude NUC in te zetten voor de controllers mits het verschil groot genoeg is. Maar aan de andere kant, is het extra beheer mij die maximale 3W besparing waard... In ieder geval goed om de optie open te houden.

Ik ben ook nog bezig geweest met testen. Alles direct op het moederbord kreeg ik niet werkend. Met een losse usb pcix kaart werkte de sonoff zitbeen stick perfect. Had bijna geen impact op het verbruik. Echter…

Mijn p1 port serial usb converter haalde de package direct naar max c6

Mijn zwave stick (aeontec gen 5) wordt niet goed herkend, werkt wel, maar package in c2.

Zoals je misschien gelezen heb draait het bij mij nu alle 3 op een nuc. Zo kan ik iig doorgaan met testen en makkelijker zien wat nu de bottleneck is.

[Mars Warrior]

Mich schreef op dinsdag 8 augustus 2023 @ 10:55:
[...]
Ik ben ook nog bezig geweest met testen. Alles direct op het moederbord kreeg ik niet werkend. Met een losse usb pcix kaart werkte de sonoff zitbeen stick perfect. Had bijna geen impact op het verbruik. Echter…

Mijn p1 port serial usb converter haalde de package direct naar max c6

Mijn zwave stick (aeontec gen 5) wordt niet goed herkend, werkt wel, maar package in c2.

Zoals je misschien gelezen heb draait het bij mij nu alle 3 op een nuc. Zo kan ik iig doorgaan met testen en makkelijker zien wat nu de bottleneck is.

Het blijft vreemd dat de impact van wat simpele dingen zo groot is op het verbruik en dat de verschillen ook zo groot zijn.

Ik heb de stickjes in een RPI2 en RPI3 zitten (ooit gratis gekregen). Die moet ik eens nameten wat het verbruik is. Dacht dat die dingen kaal ca 2W verbruiken (250mA op 5V in idle), maar geen idee wat ze met die stickjes doen eerlijk gezegd.

Ik kan de impact op het totale verbruik niet zien, daarvoor is het verbruik (gelukkig) te laag

De belangrijkste reden voor mij is dat de server op een onvriendelijke plek staat: dus niet in de buurt van de DSMR meter, CV Ketel, en ook niet op een plek met goede Zigbee ontvangst. De RPI's staan dus fysiek op totaal andere verdiepingen om alle data voor Home Assistant binnen te halen.

[RobertMe]

Mich schreef op dinsdag 8 augustus 2023 @ 10:47:
[...]


Het verschil in idee verbruik is nagenoeg gelijk. Er zijn echter proxmox services die regelmatig actief worden. Dus elke +-5 seconden hebben ik pieken van 5W hoger. Volgens mij is de grootste boosdoener een service die draait om alle containers te monitoren. Die kan je eventueel ook uitzetten.

Ik ben daar op een gegeven moment dieper in gedoken en heb dat ook beschreven in dit topic. Ik zag exact hetzelfde gedrag met een plain Debian installatie met de Proxmox kernel (maar dus zonder Proxmox software). Uiteindelijk (b)leek dit te komen door de firmware (niet driver dus) voor de Intel iGPU. Dit gedrag van continu die piekjes in verbruik kon ik toen ook reproduceren met plain Debian met ook de originele kernel, maar wel het package met de firmware voor de iGPU geïnstalleerd. Deed ik vervolgens met dat package geïnstalleerd handmatig de iGPU firmware file verwijderen dan was het gedrag weer weg (en dus stabiel laag verbruik). Wat dus ook bevestigd dat het door die specifieke firmware komt (en bv niet een firmware voor wifi/bluetooth chip of netwerk chip).

[Mars Warrior]

RobertMe schreef op dinsdag 8 augustus 2023 @ 11:29:
[...]
Ik ben daar op een gegeven moment dieper in gedoken en heb dat ook beschreven in dit topic. Ik zag exact hetzelfde gedrag met een plain Debian installatie met de Proxmox kernel (maar dus zonder Proxmox software). Uiteindelijk (b)leek dit te komen door de firmware (niet driver dus) voor de Intel iGPU. Dit gedrag van continu die piekjes in verbruik kon ik toen ook reproduceren met plain Debian met ook de originele kernel, maar wel het package met de firmware voor de iGPU geïnstalleerd. Deed ik vervolgens met dat package geïnstalleerd handmatig de iGPU firmware file verwijderen dan was het gedrag weer weg (en dus stabiel laag verbruik). Wat dus ook bevestigd dat het door die specifieke firmware komt (en bv niet een firmware voor wifi/bluetooth chip of netwerk chip).

Met Ubuntu 22.04 LTS (Desktop) heb ik dit probleem nog nooit gezien. Maar daar hoef ik ook niets met firmware of andere moeilijke dingen te doen. Dat werkt gewoon ootb

Daarin doet Ubuntu blijkbaar net ff wat anders dan Debian.

[Remc0_]

RobertMe schreef op dinsdag 8 augustus 2023 @ 11:29:
[...]

Ik ben daar op een gegeven moment dieper in gedoken en heb dat ook beschreven in dit topic. Ik zag exact hetzelfde gedrag met een plain Debian installatie met de Proxmox kernel (maar dus zonder Proxmox software). Uiteindelijk (b)leek dit te komen door de firmware (niet driver dus) voor de Intel iGPU. Dit gedrag van continu die piekjes in verbruik kon ik toen ook reproduceren met plain Debian met ook de originele kernel, maar wel het package met de firmware voor de iGPU geïnstalleerd. Deed ik vervolgens met dat package geïnstalleerd handmatig de iGPU firmware file verwijderen dan was het gedrag weer weg (en dus stabiel laag verbruik). Wat dus ook bevestigd dat het door die specifieke firmware komt (en bv niet een firmware voor wifi/bluetooth chip of netwerk chip).

Dat verklaard waarom ik dit gedrag nog nooit heb gezien bij mijn Ryzen setup die proxmox draait. Die blijft gewoon steady laag.

[dcm360]

Mars Warrior schreef op dinsdag 8 augustus 2023 @ 11:39:
[...]

Met Ubuntu 22.04 LTS (Desktop) heb ik dit probleem nog nooit gezien. Maar daar hoef ik ook niets met firmware of andere moeilijke dingen te doen. Dat werkt gewoon ootb

Daarin doet Ubuntu blijkbaar net ff wat anders dan Debian.

Op zich werkt het ook wel gewoon met of zonder, zeker als je niet meer beeld verwacht dan een console. Er zit alleen een verschil tussen distro's of er wel of niet de non-free-firmware standaard wordt geïnstalleerd. En daarmee is er dus ook verschil in gedrag wat betreft energieverbruik.

[RobertMe]

Mars Warrior schreef op dinsdag 8 augustus 2023 @ 11:39:
[...]

Met Ubuntu 22.04 LTS (Desktop) heb ik dit probleem nog nooit gezien. Maar daar hoef ik ook niets met firmware of andere moeilijke dingen te doen. Dat werkt gewoon ootb

Daarin doet Ubuntu blijkbaar net ff wat anders dan Debian.

Zoals @dcm360 al aangeeft is de firmware geen vereiste. Is ook pas geïntroduceerd bij een van de nieuwere generaties iGPUs (vanaf 8th gen gok ik). En bij mijn weten alleen nodig voor hardware based video decoding (/video hardware acceleration).
Debian werkt dus prima zonder. En Ubuntu werkt ook prima zonder, alleen doet denk ik Ubuntu iets sneller "non free" software & firmwares installeren.

Edit:
En ter aanvulling en niet te vergeten. Firmware, en daarmee ook hardware specifiek. Mijn i3-9100 gebruikt ook een andere firmware file dan mijn N5105. En jouw 12th/23th gen zal weer een andere iGPU met andere firmware hebben. Het probleem heb ik ook geconstateerd op de N5105. De i3-9100 heeft het bij mijn weten niet.

[ Voor 17% gewijzigd door RobertMe op 08-08-2023 12:57 ]

[alex3305]

@RobertMe Dat gedrag herken ik ook van unRAID en Plex. Die laatste stuurde vroeger (ik weet niet of het zo is) eigen drivers mee. Unraid wilde in sommige gevallen de i965 driver pakken voor de Intel GPU, terwijl de iHD driver eigenlijk nodig is. Het werkt dan wel met de i965 driver, maar is verre van optimaal. Ik had daar bijvoorbeeld last van met mijn Intel J4105.

Ooit heb ik daar de ErsatzTV hoofdontwikkelaar over gesproken en die gaf aan dat het lag aan 'onbekende chips'. Hij gaf aan dat wanneer de software een Intel GPU tegenkwam die niet zonder meer erkend werd er altijd een fallback gedaan werd naar i965 vanwege compatibility. De driver in de applicatie of kernel forceren naar iHD lost dit probleem dan op.

@Mich @andru123 Ik heb net nog even mijn kans gepakt om te testen zonder Z-Wave en Zigbee controllers. Package C-state gaat dan direct naar C8, maar dat wist ik al. Het verbruik zakt van 24-26W naar 18-20W. Bij mij is het verschil dus gemiddeld 7W. Ik wil deze week nog eens testen om beide controllers op mijn oude NUC aan te sluiten. Ik verwacht dat dit een algemene besparing van 3 tot 4W op gaat leveren. Dat zou mooi zijn, maar ik twijfel of ik het de extra beheerlast van een tweede machine waard vind. Aan de andere kant, ik heb de machine toch staan en als backup machine is het misschien wel interessant....

[FireDrunk]

Hmm, das wel flink idd, die Zigbee controllers... Zal eens kijken wat die van mij doet.

[Mich]

@RobertMe thanks ik heb je post gevonden. Ik zal het zodra ik tijd heb eens proberen. Het gekke is wel dat ik vroeger ook getest heb met misc-non-free en geen probleem had (in debian). In debian 12 zitten ze nu standaard volgens mij en ook geen probleem gehad. Maar zal de firmware eens hernoemen en rebooten.

Dan ben ik toch wel benieuwd naar @Mirabis en zijn ervaring met proxmox. Merkte jij schommelend verbruik (pieken van 4 a5W) op een kale proxmox? Mijn systeem lijkt veel op de jouwe.

@alex3305 ach je hoeft er denk niet naar om te kijken. Gewoon neerzetten en internet toegang blokkeren.

Ik vraag me alleen af of dit nu een hardware en/of driver issue is. En of ik dit ergens anders kan melden.

[Mirabis]

Mich schreef op dinsdag 8 augustus 2023 @ 12:57:
@RobertMe thanks ik heb je post gevonden. Ik zal het zodra ik tijd heb eens proberen. Het gekke is wel dat ik vroeger ook getest heb met misc-non-free en geen probleem had (in debian). In debian 12 zitten ze nu standaard volgens mij en ook geen probleem gehad. Maar zal de firmware eens hernoemen en rebooten.

Dan ben ik toch wel benieuwd naar @Mirabis en zijn ervaring met proxmox. Merkte jij schommelend verbruik (pieken van 4 a5W) op een kale proxmox? Mijn systeem lijkt veel op de jouwe.

@alex3305 ach je hoeft er denk niet naar om te kijken. Gewoon neerzetten en internet toegang blokkeren.

Ik vraag me alleen af of dit nu een hardware en/of driver issue is. En of ik dit ergens anders kan melden.

Ik hou het verbruik bij (elke 30 seconden) maar kan op dit moment niet echt alle containers en VM's stoppen zonder mijn partner te benadelen . Zal het weekend voor je proberen te kijken. Ik heb een jump in verbruik zodra mijn Free-Games-Claimer (FGC) container start maar over het algemeen zit het tussen 12W en 16W. Hoogst gemeten was 56W en de jump voor FGC gaat tot ~ 24W.

[alex3305]

Mich schreef op dinsdag 8 augustus 2023 @ 12:57:
@alex3305 ach je hoeft er denk niet naar om te kijken. Gewoon neerzetten en internet toegang blokkeren.

Daar heb je ook gewoon gelijk in. Maar het is even de drempel die ik dan over moet. Ik heb hier een Pi staan die mijn boiler temperatuur controleert en behalve de jaarlijkse reboot, vergeet ik met normaal dat dat systeem er is.

Ik vraag me alleen af of dit nu een hardware en/of driver issue is. En of ik dit ergens anders kan melden.

Ik heb hetzelfde. Ik vermoed eerlijk gezegd dat het een software probleem is. Ik kan mij een dergelijk lompe regressie op hardwareniveau namelijk niet zo snel voorstellen. Maar waar ik dit ergens neer kan leggen, geen idee.

[mrmrmr]

andru123 schreef op dinsdag 8 augustus 2023 @ 07:56:
[...]

Deze ebay listing heeft hogere res fotos van M3.
Verrassend weinig ICs ter vergelijking met andere modellen. Mini box claimt wel 94% eff. en 0.5 mA standby.
Wat is het verschil eigenlijk met WI modellen, verwarrend. Waarom die functie om “5vsb uitschakelen” ook niet op andere modellen implementeren.

Zichtbaar zijn:
Fairchild mosfet F 8AAB FDS 6680A
Taipei MultiPower Electronics SSC-1045D2 R62 G TMP T1542
101G spoel
3 spoelen met PicoPSU pat pend opschrift
condensatoren 330 j15
Panasonic condensator 16V 210
Panasonic condensator 25V 47
diode ('D2')
C gemarkeerde condensatortjes (smd, liggende blokjes, bruin)
kleine weerstandjes
Littelfuse LEISA zekering
anti-thump harness aansluitingen

De rest is verborgen tussen de twee printplaten. Volgens het schema zit er nog een mcu (processor/controler) en switch op.

De standby is nogal hoog bij "<0,5A", dat zou circa 6W zijn.

Accu's in auto's leveren een sterk wisselende spanning omdat de motor wordt gestart, lampen aangaan, accu vol of leeg, e.d. De spanning zal zelden exact 12V zijn.

Ik zie een ign vin+ aansluiting van de startmotor vermoedelijk.

[renedis]

Over Zigbee controllers gesproken.. Het draait bij mij niet meer via een USB device maar via PoE.

Heb deze gekocht en ben uiterst tevreden (incl over het verbruik).

Verbruik:


Metingen zijn via de UniFi API van mijn PoE switch.

[andru123]

mrmrmr schreef op dinsdag 8 augustus 2023 @ 13:34: De standby is nogal hoog bij "<0,5A", dat zou circa 6W zijn.

0,5 milliA, dus 0,006W
Er zitten ICs tussen printplaten? Dat is apart.
Is M3 echt thuis te gebruiken?

[andru123]

@renedis leuke module. Wat was de reden dat je van USB naar deze PoE overgestapt?
Ik dacht zelf meer over een m.2 module in plaats van WiFi kaart.
6W extra verbruik van Usb maakt alle energie besparingen van zigbee ongedaan.

[renedis]

@andru123 Op die manier kan ik de module centraal in huis plaatsen. Voeding is via de PoE switch die ik al heb. Daarnaast is het bereik van de CC2652P Zigbee module ongekend goed vergeleken met de oudere module (Conbee2 USB) die ik had liggen.

De module die ik heb werkt overigens via ethernet + PoE. WiFi kan ook, maar dat heb ik uitgeschakeld. Met WiFi aan op de module levert dat meer stroomverbruik op en veel meer latency + ruis tussen WiFi/Zigbee.

Overigens lees ik ook op ongeveer deze zelfde manier mijn DSMR uit met een ESP32 boardje. Software die er op staat is ESPHome, code deels gebruikt van @iMars.

Het combineren van die 2 devices naar 1 device (beide zijn een ESP32) bood geen lager stroomverbruik helaas.

Verbruik van de DSMR lezer:



PS:
De module die jij aangeeft maakt gebruik van een geïntegreerde USB2.0 controller (Integrated USB 2.0 Full-speed Controller). Ben bang dat je verbruik daar niet van omlaag gaat alhoewel die op 3.3V IO Operating Voltage werkt.

[ Voor 4% gewijzigd door renedis op 08-08-2023 19:12 . Reden: typo ]

[iMars]

renedis schreef op dinsdag 8 augustus 2023 @ 19:11:
@andru123 Op die manier kan ik de module centraal in huis plaatsen. Voeding is via de PoE switch die ik al heb. Daarnaast is het bereik van de CC2652P Zigbee module ongekend goed vergeleken met de oudere module (Conbee2 USB) die ik had liggen.

De module die ik heb werkt overigens via ethernet + PoE. WiFi kan ook, maar dat heb ik uitgeschakeld. Met WiFi aan op de module levert dat meer stroomverbruik op en veel meer latency + ruis tussen WiFi/Zigbee.

Overigens lees ik ook op ongeveer deze zelfde manier mijn DSMR uit met een ESP32 boardje. Software die er op staat is ESPHome, code deels gebruikt van @iMars.

Het combineren van die 2 devices naar 1 device (beide zijn een ESP32) bood geen lager stroomverbruik helaas.

Verbruik van de DSMR lezer:
[Afbeelding]


PS:
De module die jij aangeeft maakt gebruik van een geïntegreerde USB2.0 controller (Integrated USB 2.0 Full-speed Controller). Ben bang dat je verbruik daar niet van omlaag gaat alhoewel die op 3.3V IO Operating Voltage werkt.

Dat is me een mooi stukje hardware!

[mrmrmr]

andru123 schreef op dinsdag 8 augustus 2023 @ 15:30:
[...]

0,5 milliA, dus 0,006W
Er zitten ICs tussen printplaten? Dat is apart.
Is M3 echt thuis te gebruiken?

0,5mA inderdaad. Weggestreept.

Het werkt misschien wel, maar ik zou het niet doen, de kans is aanwezig dat het onzuiniger is dan normale ATX PicoPSU's. Er zit diverse extra's op die energie nodig hebben.

[alex3305]

@Mich Jouw NUC is echt vele malen zuiniger dan mijn BRIX. Goeiemorgen. Al gaat het maar om de performance per watt. Ik heb vanochtend kunnen testen en ik ben kortgezegd niet zo blij. Mijn huidige config:

#	Category	Product
1	Barebones	Gigabyte BRIX GB-BLCE-4105
2	Geheugen intern	Crucial CT8G4SFRA266
1	Solid state drives	Samsung 970 EVO 500GB

Komt zonder controllers maar aan de 4,5W - 4,8W na een powertop --auto-tune op een verder kale Debian . Uiteraard wel met een aangesloten netwerkkabel. Ik zie in powertop ook dat dit systeem maar maximaal naar package C7 gaat, core C6, maar wel CPU C10. Een vlugge zoektocht levert dan ook het volgende op:

code:

00:13.0 PCI bridge: Intel Corporation Gemini Lake PCI Express Root Port (rev f3) (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 5GT/s, Width x2, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:13.2 PCI bridge: Intel Corporation Gemini Lake PCI Express Root Port (rev f3) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 5GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:13.3 PCI bridge: Intel Corporation Gemini Lake PCI Express Root Port (rev f3) (prog-if 00 [Normal decode])
                LnkCap: Port #6, Speed 5GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Network controller: Intel Corporation Dual Band Wireless-AC 3168NGW [Stone Peak] (rev 10)
                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L1, Exit Latency L1 <32us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

En uiteraard geen enkele ASPM optie in de zeer versimpelde BIOS te vinden. Ook pcie_aspm=force toevoegen aan grub maakt helaas geen verschil. Echt een beetje poep dit. Want voor die 2W potentiële besparing vind ik dit wél te veel moeite worden.

Wellicht later nog met een Pi 3B testen, maar voor deze node houdt het denk ik op

[Mars Warrior]

alex3305 schreef op woensdag 9 augustus 2023 @ 10:56:

Wellicht later nog met een Pi 3B testen, maar voor deze node houdt het denk ik op

https://www.pidramble.com/wiki/benchmarks/power-consumption

Zij komen met een USB power meter (dus voor het stopcontact...) uit op:

• RPI4: 2.7W
• RPI3B+: 1.9W
• RPI3B: 1.4W
• RPI2B: 1.1W

Met wat tunen kun je nog wat tienden watts lager komen, een 3B+ gaat dan naar 1.7W, een 2B naar 1.0W:

• Disable HDMI
• Disable onboard LEDs
• Minimize accessories

Ben benieuwd waar je dan op uitkomt als je wat stickjes erin duwt

[RobertMe]

Mars Warrior schreef op woensdag 9 augustus 2023 @ 11:48:
[...]


https://www.pidramble.com/wiki/benchmarks/power-consumption

Zij komen met een USB power meter (dus voor het stopcontact...) uit op:

• RPI4: 2.7W
• RPI3B+: 1.9W
• RPI3B: 1.4W
• RPI2B: 1.1W

Met wat tunen kun je nog wat tienden watts lager komen, een 3B+ gaat dan naar 1.7W, een 2B naar 1.0W:

• Disable HDMI
• Disable onboard LEDs
• Minimize accessories

Ben benieuwd waar je dan op uitkomt als je wat stickjes erin duwt

Metingen op USB zijn dan natuurlijk wel niet een op een te vergelijken. Aan de AC kant zal het verbruik toch wel weer wat hoger liggen dan. Niet dat ik gok dat dat 0,5W of zo verschil zal geven, maar toch.

[andru123]

Rpi is een mooi maar toch een workaround, toch blijft de vraag waarom Intel NUC kan prima zuinig werken met de USB sticks, en vrijwel alle andere borden niet. Is het een kwestie van drivers, BIOS of echt hardware?

[HyperBart]

Een tijdje geleden ging het over verbruik en harde schijven.

Daar werd toen vermeld dat om verbruik te laten zakken minder schijven een/de oplossing is.

Vandaag had ik even tijd om mijn nieuwe Toshiba's in te regelen voor spindown en ik kom dan toch iedere keer tot de conclusie dat een "dikke storage/NAS server" bouwen die zuinig is prima haalbaar is.

Op dit moment draai ik 2 keer quasi dezelfde setup. Eentje is een ESxi bakje en het andere machine'tje is mijn Ubuntu NAS met een hele sloot containers. Beiden worden tesamen gemeten via een APC UPS.

Volgens de UPS verbruiken onderstaande 2 setups tesamen een 26.4W

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9300 Boxed	€ 0,-	€ 0,-
1	Moederborden	Fujitsu D3644-B	€ 206,-	€ 206,-
6	Interne harde schijven	Toshiba MG10 (SATA, Standaard, 512e), 20TB	€ 308,45	€ 1.850,70
1	Behuizingen	Fractal Design Define XL (Zwart)	€ 0,-	€ 0,-
1	Geheugen intern	Kingston KSM26ED8/16ME	€ 0,-	€ 0,-
1	Voedingen	Cooler Master V Series V550	€ 0,-	€ 0,-
1	Solid state drives	Kingston A2000 1TB	€ 0,-	€ 0,-
1	Solid state drives	WD Blue SN570 1TB	€ 42,88	€ 42,88
1	UPS en stekkerdozen	APC Back-UPS Pro 550 VA	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 2.099,58

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 0,-	€ 0,-
1	Moederborden	Fujitsu D3644-B	€ 206,-	€ 206,-
1	Geheugen intern	Kingston KSM26ED8/16ME	€ 0,-	€ 0,-
1	Solid state drives	Samsung 850 Pro 512GB (retail)	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 206,-

Waar ik aangenaam verrast over ben is dat disks in spinup evenveel gebruiken als de hele collectie hardware met disks in spindown.

Maw: disks die spinnen = 26.4W.
Servers tesamen toevallig ook 26.4W

Totaal verbruik 2 machines, disks aan het draaien: 52.8W


Een stevige storage-bak die heel zuinig is, is dus heel makkelijk haalbaar. Zuinige base hardware en al je disks in spindown.
Probleem is en blijft wel dat +6 disks je vaak veroordeeld bent tot een bijkomende SAS/SATA controller en dat duwt het verbruik weer stevig de hoogte in.

[RobertMe]

HyperBart schreef op woensdag 9 augustus 2023 @ 13:27:
Een tijdje geleden ging het over verbruik en harde schijven.

Daar werd toen vermeld dat om verbruik te laten zakken minder schijven een/de oplossing is.

Vandaag had ik even tijd om mijn nieuwe Toshiba's in te regelen voor spindown en ik kom dan toch iedere keer tot de conclusie dat een "dikke storage/NAS server" bouwen die zuinig is prima haalbaar is.

Op dit moment draai ik 2 keer quasi dezelfde setup. Eentje is een ESxi bakje en het andere machine'tje is mijn Ubuntu NAS met een hele sloot containers. Beiden worden tesamen gemeten via een APC UPS.

Volgens de UPS verbruiken onderstaande 2 setups tesamen een 26.4W

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9300 Boxed	€ 0,-	€ 0,-
1	Moederborden	Fujitsu D3644-B	€ 206,-	€ 206,-
6	Interne harde schijven	Toshiba MG10 (SATA, Standaard, 512e), 20TB	€ 308,45	€ 1.850,70
1	Behuizingen	Fractal Design Define XL (Zwart)	€ 0,-	€ 0,-
1	Geheugen intern	Kingston KSM26ED8/16ME	€ 0,-	€ 0,-
1	Voedingen	Cooler Master V Series V550	€ 0,-	€ 0,-
1	Solid state drives	Kingston A2000 1TB	€ 0,-	€ 0,-
1	Solid state drives	WD Blue SN570 1TB	€ 42,88	€ 42,88
1	UPS en stekkerdozen	APC Back-UPS Pro 550 VA	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 2.099,58

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 0,-	€ 0,-
1	Moederborden	Fujitsu D3644-B	€ 206,-	€ 206,-
1	Geheugen intern	Kingston KSM26ED8/16ME	€ 0,-	€ 0,-
1	Solid state drives	Samsung 850 Pro 512GB (retail)	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 206,-

Waar ik aangenaam verrast over ben is dat disks in spinup evenveel gebruiken als de hele collectie hardware met disks in spindown.

Maw: disks spinning = 26.4W.


Een stevige storage-bak die heel zuinig is, is dus heel makkelijk haalbaar. Zuinige base hardware en al je disks in spindown.
Probleem is en blijft wel dat +6 disks je vaak veroordeeld bent tot een bijkomende SAS/SATA controller en dat duwt het verbruik weer stevig de hoogte in.

Wait what? Jij hebt een Kingston A2000 werkende met een Fujitsu D3644/(+ i3-9100)? Proxmox lockups door NVME drive?

En dan ook nog met 6 HDDs en 2 SSDs. Ik heb hetzelfde moederbord, dezelfde CPU, mogelijk zelfs hetzelfde RAM, evenveel SSDs (geen A2000), en maar 3 HDDs (geen spindown ingesteld) en die trekt 40W.
Zijn dan wel andere HDDs (shucked WD Elements). Dus jij hebt een verbruik van ~13W minder met dubbel zoveel HDDs

[GioStyle]

Ik heb hier twee geshuckte WD Elements 20TB schijven die elk 5W in idle verbruiken. Samen met een Odroid H3 is het idle verbruik tussen de 12 en 13W. Heb dus 40TB online tegen een verbruik van 12/13W. Als ik nog een leuke aanbieding zie, ga ik voor die Toshiba’s. Die Toshiba’s zijn volgens mij nog een fractie zuiniger. Wie weet kom ik dan net onder de 10W. Dan gaan de geschuckte schijven terug in hun jasje en als backupschijven dienen van de Toshiba’s.

[HyperBart]

RobertMe schreef op woensdag 9 augustus 2023 @ 13:35:
[...]

Wait what? Jij hebt een Kingston A2000 werkende met een Fujitsu D3644/(+ i3-9100)? Proxmox lockups door NVME drive?

Hmmmm, je rakelt daar een probleempje op wat ik ooit gehad heb denk ik. Maar jij hebt daar toen ook op gereageerd of dat gezien: HyperBart in "Het grote ZFS topic"

root@nas:~# lspci
00:00.0 Host bridge: Intel Corporation 8th Gen Core 4-core Desktop Processor Host Bridge/DRAM Registers [Coffee Lake S] (rev 08)
00:01.0 PCI bridge: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) (rev 08)
00:02.0 VGA compatible controller: Intel Corporation CoffeeLake-S GT2 [UHD Graphics 630]
00:12.0 Signal processing controller: Intel Corporation Cannon Lake PCH Thermal Controller (rev 10)
00:14.0 USB controller: Intel Corporation Cannon Lake PCH USB 3.1 xHCI Host Controller (rev 10)
00:14.2 RAM memory: Intel Corporation Cannon Lake PCH Shared SRAM (rev 10)
00:16.0 Communication controller: Intel Corporation Cannon Lake PCH HECI Controller (rev 10)
00:17.0 SATA controller: Intel Corporation Cannon Lake PCH SATA AHCI Controller (rev 10)
00:1b.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #17 (rev f0)
00:1b.4 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #21 (rev f0)
00:1f.0 ISA bridge: Intel Corporation Cannon Point-LP LPC Controller (rev 10)
00:1f.4 SMBus: Intel Corporation Cannon Lake PCH SMBus Controller (rev 10)
00:1f.5 Serial bus controller: Intel Corporation Cannon Lake PCH SPI Controller (rev 10)
00:1f.6 Ethernet controller: Intel Corporation Ethernet Connection (7) I219-LM (rev 10)
01:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN570 NVMe SSD
03:00.0 Non-Volatile memory controller: Kingston Technology Company, Inc. A2000 NVMe SSD (rev 03)


root@nas:~# lsblk | grep disk
sda           8:0    0  18.2T  0 disk
sdb           8:16   0  18.2T  0 disk
sdc           8:32   0  18.2T  0 disk
sdd           8:48   0  18.2T  0 disk
sde           8:64   0  18.2T  0 disk
sdf           8:80   0  18.2T  0 disk
nvme1n1     259:0    0 931.5G  0 disk
nvme0n1     259:2    0 931.5G  0 disk

En dan ook nog met 6 HDDs en 2 SSDs. Ik heb hetzelfde moederbord, dezelfde CPU, mogelijk zelfs hetzelfde RAM, evenveel SSDs (geen A2000), en maar 3 HDDs (geen spindown ingesteld) en die trekt 40W.
Zijn dan wel andere HDDs (shucked WD Elements). Dus jij hebt een verbruik van ~13W minder met dubbel zoveel HDDs

@FireDrunk pingde me net even. @RobertMe, voor de duidelijkheid:

Alle disks in spindown, 2 servers, verbruik = 26.4W
Disks spun up, 2 servers, verbruik = 52.8W

[ Voor 5% gewijzigd door HyperBart op 09-08-2023 14:15 ]

[RobertMe]

HyperBart schreef op woensdag 9 augustus 2023 @ 14:02:
[...]


Hmmmm, je rakelt daar een probleempje op wat ik ooit gehad heb denk ik. Maar jij hebt daar toen ook op gereageerd of dat gezien: HyperBart in "Het grote ZFS topic"

* zoek zoek * " als ik die ga gebruiken moet ik aan firmware update denken". Dat was gelukt. Intussen zit die A2000 in mijn TopTon zelfbouw router. In ieder geval met firmware update draait die stabiel. Op een gegeven moment ook nog die nvme_core.force_apst toegevoegd zodat apst weer wordt toegepast (anders heeft de firmware fix geen nut) en is ook daarna stabiel gebleven.
Met het oog op dit topic heb ik alleen geen nieuwe verbruiksgegevens. Eerder schreef hier iemand dat hij na het vervangen van een A2000 een besparing van ik meen 2W had. Mijn TopTon vond ik met ~8W nog steeds relatief onzuinig, maar heb geen nieuwe gegevens van na het forceren van apst dus geen idee of dat nog wat uit maakt. En afgelopen week de WD Blue SSD in de router gezet zodat downloads "dichter bij" worden opgeslagen en alleen als ze klaar zijn over het netwerk hoeven te gaan. Dus dat verbruikt ook weer wat extra.

[...]


@FireDrunk pingde me net even. @RobertMe, voor de duidelijkheid:

Alle disks in spindown, 2 servers, verbruik = 26.4W
Disks spun up, 2 servers, verbruik = 52.8W

Toch een verdubbeling dus, ik vond het nogal lastig te lezen of je nu doelde op verdubbeling of niet. In ieder geval blijft een verdubbeling van het aantal schijven (+ veel, veel, veel meer bruto opslag en neem aan ook veel meer netto opslag. Bij mij gaat het om 8+14+18TB in RAIDZ1 dus effectief ~16TB) zeer netjes. 10-15W maar aan extra verbruik met 3 schijven meer. Strookt dan ook met de cijfers van @GioStyle, ~5W per (WD) schijf.

* RobertMe zat zich net ook even te "verheerlijken" op dat Toshiba 20TB ook nog klap goedkoper is dan WD. Laatste keer ~370 voor 18TB WD Elements betaald, bare Toshiba 20TB ~310

[HyperBart]

RobertMe schreef op woensdag 9 augustus 2023 @ 15:02:

Toch een verdubbeling dus, ik vond het nogal lastig te lezen of je nu doelde op verdubbeling of niet. In ieder geval blijft een verdubbeling van het aantal schijven zeer netjes. 10-15W maar aan extra verbruik met 3 schijven meer. Strookt dan ook met de cijfers van @GioStyle, ~5W per (WD) schijf.

* RobertMe zat zich net ook even te "verheerlijken" op dat Toshiba 20TB ook nog klap goedkoper is dan WD. Laatste keer ~370 voor 18TB WD Elements betaald, bare Toshiba 20TB ~310

Goh ja, maar het is vooral: "Maak je niet druk om het aantal schijven, die gooi je toch in spindown".

Anders gesteld: steek gerust je NAS en server vol met HDD's maar regel spindown in en zorg voor een laag idle verbruik van je "base hardware", dus kies je CPU en moederbord + insteekkaarten combinatie zo goed mogelijk.

Ik sta bv aangenaam verrast te kijken van die ASM1166 controller of diezelfde controller ipv een insteekkaartje in M2 formfactor.

https://watchmysys.com/bl...-asm1166-sata-controller/

Met een moederbord zoals dat van mij en 3 van die kaartjes aan 9W kan je dus 24 disks huisvesten. Ik vind het prima!

310 is idd waar ik de Toshiba's aan heb aangeschaft

[ Voor 18% gewijzigd door HyperBart op 09-08-2023 15:31 ]

[RobertMe]

HyperBart schreef op woensdag 9 augustus 2023 @ 15:10:
[...]


Goh ja, maar het is vooral: "Maak je niet druk om het aantal schijven, die gooi je toch in spindown".

Anders gesteld: steek gerust je NAS en server vol met HDD's maar regel spindown in en zorg voor een laag idle verbruik, dus kies je CPU en moederbord + insteekkaarten combinatie zo goed mogelijk.

* RobertMe heeft nooit wat met spindown gedaan, en met elke 15 minuten snapshotten verwacht ik dat dat ook niet veel nut heeft . Of beter gezegd: gehad zou hebben. Intussen staat er een Chinees miniPCtje naast die (vrijwel) alle (server) taken heeft over genomen (en die trekt maar 4 á 5W). En deze grote bak staat grotendeels uit. Wel/geen spindown zal voor die paar uurtjes dus ook geen enorm verschil meer uitmaken. Ook gezien de tijd dat die wel aan staat er ook gebruik van wordt gemaakt, of snapshots worden binnen gehaald, of een scrub loopt.

In principe is het nu dus een NAS die ook alleen aan is als die nodig is. En daarmee max. een paar uurtjes per dag (zeg 6 uur gemiddeld, is al 75% besparing).

En in mini PCtje zit een 4TB SSD dus hoef ik niet veel aan te downspinnen

[miicker]

3x 8TB SSD voor m'n NAS

Dit was m'n oude setup:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Pentium G4560 Boxed	€ 148,50	€ 148,50
1	Moederborden	ASRock B250M Pro4	€ 0,-	€ 0,-
2	Interne harde schijven	WD Red (64MB cache), 3TB	€ 185,-	€ 370,-
1	Behuizingen	BitFenix Phenom Micro-ATX Zwart	€ 0,-	€ 0,-
1	Kabels	Startech.com 4x SATA Power Splitter Adapter Cable (PYO4SATA)	€ 5,90	€ 5,90
2	Externe harde schijven	Seagate Backup Plus Portable Drive (STDR) 5TB Zilver	€ 0,-	€ 0,-
1	Externe harde schijven	Seagate Expansion Portable 5TB Zwart	€ 0,-	€ 0,-
1	Computer accessoires	Leicke ULL Power Supply 120 W	€ 39,99	€ 39,99
1	Processorkoeling	Arctic Alpine 11 Passive	€ 0,-	€ 0,-
1	Geheugen intern	Crucial CT8G4DFD8213	€ 0,-	€ 0,-
1	Voedingen	Mini-box picoPSU PicoPSU-160-XT	€ 52,02	€ 52,02
1	Overige componenten	Mini-box PCI Bracket	€ 4,04	€ 4,04
			Totaal	€ 620,45

En dit is de nieuwe:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Pentium G4560 Boxed	€ 148,50	€ 148,50
1	Moederborden	ASRock B250M Pro4	€ 0,-	€ 0,-
1	Behuizingen	BitFenix Phenom Micro-ATX Zwart	€ 0,-	€ 0,-
1	Kabels	Startech.com 4x SATA Power Splitter Adapter Cable (PYO4SATA)	€ 5,90	€ 5,90
1	Computer accessoires	Leicke ULL Power Supply 120 W	€ 39,99	€ 39,99
1	Processorkoeling	Arctic Alpine 11 Passive	€ 0,-	€ 0,-
1	Geheugen intern	Crucial CT8G4DFD8213	€ 0,-	€ 0,-
1	Voedingen	Mini-box picoPSU PicoPSU-160-XT	€ 52,02	€ 52,02
3	Solid state drives	Samsung 870 QVO 8TB	€ 372,10	€ 1.116,30
1	Overige componenten	Mini-box PCI Bracket	€ 4,04	€ 4,04
			Totaal	€ 1.366,75

Nu ik toch geld aan het uitgeven ben dacht ik, waarom niet meteen de rest ook upgraden
Binnenkort ga ik verhuizen en de huidige behuizing past zeer waarschijnlijk niet in de meterkast, dus daar wil ik sowieso iets anders voor halen. Heeft er iemand tips? Er moeten minimaal 4x 2,5" SSD's in passen (dan kan ik nog met 1 SSD uitbreiden), maar het liefst heb ik plek voor 6 SSD's.

Ik gebruik mijn NAS voornamelijk voor opslag, streaming, downloaden etc. Ik merk nu dat ik de SSD's er in heb zitten dat alles al veel sneller gaat (streamen nog niet kunnen proberen omdat ik nog 10TB aan data moet downloaden uit de cloud). Wat raden jullie aan qua processor, ram en moederbord?

[HyperBart]

Ha ja op die manier.
Ik heb al mijn "hot data" verhuisd naar een van die 2 NVMe SSD's, toen al zoveel jaar geleden met het idee om spindown te faciliteren.
Dus al mijn applicaties, database'jes en containers runnen vanop een ZFS pooltje bestaande uit die ene SSD.
Daar draait dan op zijn beurt Sanoid tegen en die neemt net zoals bij jou om het kwartier snapshots en dat wordt dan weer gerepliceerd via Syncoid naar de backupmachine.

Mijn media en gezinsdata staat dan op de spinning rust pool en die is alleen maar actief als er van gelezen wordt.

Omdat ik door een leuke meevaller 10 à 12 jaar geleden SSD's op overschot had heb ik 1 daarvan ingezet als "scratchpartitie", mijn downloads kwamen daar op binnen en dan op het einde van de nacht gebeurde 1 import van alle nieuwe dingen.

[alex3305]

@Mars Warrior @RobertMe Mijn Pi 3B (volgens mij is het een gewone) haalt met de bijgeleverde lader idle 1.9W uit het stopcontact. Maar daar zit uiteraard ook onzekerheid in van de meetapparatuur (Tapo P115).

Met de Zigbee en Z-Wave controllers aangesloten en actief met bijbehorende Docker containers haal ik circa 2.5W uit het stopcontact. Erg netjes, vond ik zelf. Echter... Dan komt mijn teleurstelling. Het andere systeem gaat zonder de controllers en containers maar naar een minimum van 20W. Een besparing van maximaal 1.5W/h, en zoals ik al eerder zei, een besparing die ik het extra beheer niet de moeite waard vind.

Maar er zit dus ergens nog 7-9W besparing. En de enige verdachte die nu nog over zijn, zijn de twee USB HDD's (en 1 USB SSD). Maar zou ik die disks wegdoen (zonde), dan zou ik een maximale besparing halen van €27,60 per jaar (0,009*24*365,25*0,35). Dan zou ik tevens mijn 5TB disk moeten vervangen, want anders heb ik geen ruimte in de case. En dan op dezelfde opslagcapaciteit uit te komen zou ik een disk terug moeten kopen van minimaal 11TB.

Nu kost 12TB (van Toshiba, daar ben ik al langer fan van ) momenteel zo'n 200 euro. En dan kom ik al snel tot de conclusie dat de terugverdientijd (tvt) simpelweg te lang is (200/27,60) met minimaal 7 jaar. Althans om het aan mijzelf (en de vrouwbaas) te verantwoorden.

Dan kies ik er voor nu toch voor om langer te wachten op de beloofde hoge capaciteit SMR schijven volgend jaar. Of tot de 5TB zal overlijden. De schijf heeft namelijk inmiddels al ruim 37266 power on hours (4j, 2m, 30d, 18h). Wel erg fijn om te weten wat er mogelijk is. En iedereen bedankt voor het meedenken !

@andru123 Waar het in zit? Ik heb geen idee. Ik denk dat er, zoals @Mich al suggereerde iets misgaat in de High Speed USB driver in combinatie met de chipset. Want dat is bij iedereen hetzelfde.

[CurlyMo]

Is de uitvoering: Intel Gigabit CT Desktop Adapter nog steeds een goede keuze voor een zuinige server? Ook voor het gebruik van VLANs?

Ik zie overigens ook de uitvoering: Startech.com 1-Port Gigabit Ethernet Network Card - PCI Express, ... met een i210 en iets goedkoper.

[ Voor 45% gewijzigd door CurlyMo op 09-08-2023 22:45 ]

[FireDrunk]

i210 is zelfs al een iets oudere generatie, CT is helemaal steenkolenoud.
Dat is denk ik onderwater een PCIe 1.0 kaartje, en de i210 is 2.0.

De nieuwe i225-V of i226-V lijkt me een betere keuze, maar zijn wel een stukje duurder.
Dat zijn PCIe 3.1 kaartjes.

TDP van die kaartjes is ~1.5W. Dus ik verwacht (met wat verlies) geen hoog verbruik.

[ Voor 24% gewijzigd door FireDrunk op 10-08-2023 07:59 ]

[CurlyMo]

FireDrunk schreef op donderdag 10 augustus 2023 @ 07:57:
i210 is zelfs al een iets oudere generatie, CT is helemaal steenkolenoud.
Dat is denk ik onderwater een PCIe 1.0 kaartje, en de i210 is 2.0.

Leeftijd zegt natuurlijk niks als wat gevraagd wordt niet is verandert.

[FireDrunk]

In theorie niet, maar volgens mij zijn dingen als ASPM mogelijk niet even goed supported.
En dat gaat je wel weer meer verbruik kosten omdat je CPU in een minder zuinige state blijft hangen.

Maar goed, technisch gezien is het gigabit. Maar als je perse geen Realtek wil bijvoorbeeld kan je die kaart inderdaad prima kopen. Ze zijn niet slecht voor zover ik weet

[ Voor 31% gewijzigd door FireDrunk op 10-08-2023 08:27 ]

[CurlyMo]

FireDrunk schreef op donderdag 10 augustus 2023 @ 08:26:
In theorie niet, maar volgens mij zijn dingen als ASPM mogelijk niet even goed supported.
En dat gaat je wel weer meer verbruik kosten omdat je CPU in een minder zuinige state blijft hangen.

Maar goed, technisch gezien is het gigabit. Maar als je perse geen Realtek wil bijvoorbeeld kan je die kaart inderdaad prima kopen. Ze zijn niet slecht voor zover ik weet

Als ASPM een issue is dan is dat natuurlijk wel onhandig. Ik ben naar i210 gaan kijken mede op advies van de tweakers hier.

Ik zou dan dus beter deze kunnen kopen?
uitvoering: Delock PCI Express x1 Card to 1 x RJ45 2,5 Gigabit LAN i225 NBASE...

Een i225 kaart.

[FireDrunk]

Persoonlijk heb ik er geen ervaring mee, maar de TDP is lager, dus ik zou verwachten dat de nieuwere chips zuiniger zijn.
Verder zal je er qua functionaliteit niet veel van merken, tenzij je vage shit als VT-c gaat gebruiken.

[mrmrmr]

CurlyMo schreef op donderdag 10 augustus 2023 @ 08:30:
[...]

Als ASPM een issue is dan is dat natuurlijk wel onhandig. Ik ben naar i210 gaan kijken mede op advies van de tweakers hier.

I210/I211 of I219-LM is het beste voor verbruik. Je hebt ook EEE/802.3az ondersteuning nodig in drivers en switch.

Een i225 kaart.

Afgezien van het hoge verbruik zijn er bekende stabiliteitproblemen met i225-V/i226-V.

https://wccftech.com/inte...hernet-controller-issues/

De workaround is EEE uitschakelen. Dat is het paard achter de wagen spannen.

[Mich]

CurlyMo schreef op woensdag 9 augustus 2023 @ 22:42:
Is de uitvoering: Intel Gigabit CT Desktop Adapter nog steeds een goede keuze voor een zuinige server? Ook voor het gebruik van VLANs?

Ik zie overigens ook de uitvoering: Startech.com 1-Port Gigabit Ethernet Network Card - PCI Express, ... met een i210 en iets goedkoper.

Ik zou voor deze gaan, misschien iets duurder maar succes gegarandeerd.


uitvoering: Intel Ethernet Server Adapter I210-T1

Ik heb er 2 in gebruik. Elke kaart voegt zo een 0.2 a 0.3W in verbruik toe.

[alex3305]

Nog een kleine aanvulling op mijn vorige post.

Ik heb vandaag toch nog even zonder USB apparaten getest, behalve de unRAID USB bootdrive, want die is verplicht. Maar dit keer wel met de array (en Docker) gestart. Ik kom dan toch nog op 16-18W uit, het fluctueert nogal. Toch is dit wel echt meer dan de 11-13W die unRAID zonder gestarte array en Docker verbruikt.

Echter weet ik niet of er nog meer in zit. Ik kan de oorzaak of oorsprong van dit verbruik namelijk niet zomaar vinden. Uiteraard kan ik hier en daar een watt besparen door diensten te stoppen, maar deze diensten wil ik toch graag gebruiken. Dus dat is niet echt een optie. Daarnaast wil ik ook unRAID niet zomaar achterlaten, omdat ik het een prettig systeem vind en omdat ik net mijn licentie heb geüpgraded.

Ondertussen heb ik wel Gigabyte (de moederbord fabrikant) een supportvraag gestuurd met betrekking tot het USB stroomverbruik. Het leek mij in ieder geval de moeite waard. Of er iets uitkomt is een tweede.

[Mars Warrior]

alex3305 schreef op donderdag 10 augustus 2023 @ 14:16:
Nog een kleine aanvulling op mijn vorige post.

Ik heb vandaag toch nog even zonder USB apparaten getest, behalve de unRAID USB bootdrive, want die is verplicht. Maar dit keer wel met de array (en Docker) gestart. Ik kom dan toch nog op 16-18W uit, het fluctueert nogal. Toch is dit wel echt meer dan de 11-13W die unRAID zonder gestarte array en Docker verbruikt.

Dus testen om het echte lage verbruik vast te stellen kan niet? Want die USB kant zal dus ook watt verbruiken. Kan unRAID niet gewoon van SSD starten?

Echter weet ik niet of er nog meer in zit. Ik kan de oorzaak of oorsprong van dit verbruik namelijk niet zomaar vinden. Uiteraard kan ik hier en daar een watt besparen door diensten te stoppen, maar deze diensten wil ik toch graag gebruiken. Dus dat is niet echt een optie. Daarnaast wil ik ook unRAID niet zomaar achterlaten, omdat ik het een prettig systeem vind en omdat ik net mijn licentie heb geüpgraded.

Ik dacht dat jij eerder een CPU belasting van 5% liet zien? Dan is die 5W niet gek. Ik kom ook ca uit op 1W/% CPU load. Ik heb niet de overhead van unRAID enzo (Ubuntu), en heb alle containers zo goed mogelijk zuinig gemaakt (health checks uit bijv.) of poll tijden op 1 minuut gezet ipv 1-5 sec.

Mijn gemiddelde load is < 1% over alle 30 containers.

Ondertussen heb ik wel Gigabyte (de moederbord fabrikant) een supportvraag gestuurd met betrekking tot het USB stroomverbruik. Het leek mij in ieder geval de moeite waard. Of er iets uitkomt is een tweede.

Ben benieuwd!

[andru123]

@CurlyMo @FireDrunk idle verbruik van de chips op 1GbE:
i210 - <0.47W
i211 - <0.47W
i219 - <0.45W (link)
I225 - 0.95W (link)
i226 - 0.70W (link)

In realiteit, i225/i226 voegt meer van 1,5-2,5W toe. Pas na handmatig activeren van EEE wordt het iets minder (maar dan het is waarschijnlijk minder stabiel). Zie uitgebreide vergelijking door @Mich hier.
Er is geen systeem hier bekend met i225(6) dat minder dan 5W verbruiken (behalve een NUC) Bij mijn systeem heb ik van alles geprobeerd, maar het is niet gelukt om i225 zuiniger dan 2W krijgen.

i210/211/219 hebben geen stabiliteit issues en zijn wel zuinig, met ondersteuning van alle energiebesparende standaarden.

Als je op internet zoekt, zie je dat enkele mensen juist een Realtek 2,5Gbit kaart kopen ter vervanging van i225.

Mrmrmr gebruikt trouwens i211 van LR-Link. i211 is een budget versie van i210.

Let op: als je de eerste PCIe slot (PEG slot, bestemd voor een graphics card) gebruikt, gaat je CPU zeer waarschijnlijk niet meer naar zuinige states en krijg je waarschijnlijk hogere idle verbruik.

[ Voor 10% gewijzigd door andru123 op 11-08-2023 16:51 ]

[Morphix]

CurlyMo schreef op woensdag 9 augustus 2023 @ 22:42:
Is de uitvoering: Intel Gigabit CT Desktop Adapter nog steeds een goede keuze voor een zuinige server? Ook voor het gebruik van VLANs?

Ik zie overigens ook de uitvoering: Startech.com 1-Port Gigabit Ethernet Network Card - PCI Express, ... met een i210 en iets goedkoper.

Die Intel NIC heb ik laatst gemeten. Kostte me 3.5W om die aan het systeem toe te voegen (in idle notabene). Kan zijn dat er nog met powertop toch nog wat tunabled beter konden, maar het verschil met de I210 of I211 lijkt hoe dan ook groot.

[andru123]

@Morphix was de kaart toevallig in een PEG slot (1ste PCIe)?

[alex3305]

Mars Warrior schreef op donderdag 10 augustus 2023 @ 14:34:
Dus testen om het echte lage verbruik vast te stellen kan niet? Want die USB kant zal dus ook watt verbruiken. Kan unRAID niet gewoon van SSD starten?

Nope. De licentiesleutel zit aan de USB drive vast. Het is dus verplicht opstarten met een USB drive. Best wel lelijk, maar het is zoals het is.

Ik dacht dat jij eerder een CPU belasting van 5% liet zien? Dan is die 5W niet gek. Ik kom ook ca uit op 1W/% CPU load. Ik heb niet de overhead van unRAID enzo (Ubuntu), en heb alle containers zo goed mogelijk zuinig gemaakt (health checks uit bijv.) of poll tijden op 1 minuut gezet ipv 1-5 sec.

Mijn gemiddelde load is < 1% over alle 30 containers.

Gemiddeld 2.7% load volgens Prometheus:


Met deze container (top) verdeling:



Maar als ik die containers uitzet scheelt het echt maar tienden van watts. Daar ligt het dus niet echt aan. Health checks heb ik als het goed is allemaal al uit staan. Home Assistant heb ik laatst al getuned met aangepaste commit tijden voor zowel InfluxDB en MariaDB. Bij InfluxDB heb ik dat via Docker Compose zo gedaan:

YAML:

services:
  influxdb:
    container_name: homeassistant_influxdb
    image: influxdb:1.8
    environment:
      INFLUXD_STORAGE_WAL_FSYNC_DELAY: 15

waarbij die env waarde elke 15 seconden moet syncen ipv elke 5 seconden. Wellicht dat ik die nog wat hoger kan zetten. Bij MariaDB heb ik dat in Home Assistant via de config gedaan:

YAML:

recorder:
  db_url: 'mysql://homeassistant:homeassistant@mariadb/homeassistant?charset=utf8mb4'
  commit_interval: 15

Wellicht dat ik deze waardes nog wat kan verhogen, maar ik zag dat dit niet bizar veel verschil maakte.

Kijk ik echter in ps dan zie ik het volgende

code:

$ ps -aeF --sort -time | head
nobody   26883 26678  8 719134 207228 18 13:45 ?       00:18:48 /app/lidarr/bin/Lidarr -nobrowser -data=/config
root      1584     1  8 128755 39872 14 13:42 ?        00:18:35 /usr/local/bin/shfs /mnt/user -disks 15 -o default_permissions,allow_other,noatime -o remember=330
root      7418     1  3 2860229 197700 17 11:25 ?      00:13:31 /usr/local/bin/unraid-api/unraid-api /snapshot/home/runner/work/api/api/api/dist/unraid-api.cjs start
root     30955 30951  4 437713 681784 18 13:46 ?       00:08:32 python3 -m homeassistant --config /config
5984     21267 21207  2 1273110 101304 15 13:44 ?      00:05:33 /opt/couchdb/bin/../erts-12.3.2.10/bin/beam.smp -SDio 16 -Bd -- -root /opt/couchdb/bin/.. -progname couchdb -- -home /opt/couchdb -- -boot /opt/couchdb/bin/../releases/3.3.2/couchdb -kernel inet_dist_listen_min 9100 -kernel inet_dist_listen_max 9100 -kernel error_logger silent -sasl sasl_error_logger false -kernel prevent_overlapping_partitions false -noshell -noinput -- -config /opt/couchdb/bin/../releases/3.3.2/sys.config --
root     18419 18400  1 188798 80340 12 13:44 ?        00:03:35 /usr/bin/cadvisor -logtostderr --docker_only=true --housekeeping_interval=15s
root     30661 30639  1 693918 448560 18 13:46 ?       00:03:20 influxd
root     30339 30319  1 332216 195668 3 14:00 ?        00:03:13 /bin/kopia server start --insecure --htpasswd-file /app/config/htpasswd --address 0.0.0.0:51515 --server-username admin
root     30601 30581  1 87790 129844 16 14:00 ?        00:03:06 node server/bin/www

Dan schieten toch de twee unRAID processen eruit. Naast de door mijn gestarte Lidarr en Home Assistant. Maar aan de andere kant draaien deze processen wel al op cores 14 en 17 vanwege mijn script. In tegenstelling tot de standaard 0 of 1 core.

De unRAID tax lijkt dus ook hoger te zijn dan 1%W onder Ubuntu.

[mrmrmr]

Datasheets Intel:
https://www.intel.com/con...96/ethernet-products.html

Er zijn diverse idle states in D0, D0+EEE, D3cold
ASPM (i210: programmeerbaar via iNVM)

Er worden online diverse cijfers gebruikt die door elkaar gegooid weinig betekenen. Bij EEE telt de lengte van de kabel. Vergelijken is niet eenvoudig. De netwerkkaart kan alleen aanwezig zijn en niet aanstaan, zonder of met kabel, of wel aanstaan, maar niet gebruikt, of aanstaan, geconfigureerd en niets doen (idle), etc. Het is dus zaak te vergelijken onder gelijke omstandigheden die het meest lijken op de praktijk.

Ruwweg zijn alle 5 cijferige chips te oud voor deze mate van zuinigheid. De Intel CT bevat een chip uit 2008, van voor een aantal low power verbeteringen. De I210/211 zijn van 2012 en de I219-LM en bevatten wel de diverse manieren van energiebesparing. Een verschil tussen i210 en i211 is de ondersteuning voor intern flash geheugen (210) of extern flash geheugen (I210). Beide bevatten een interne MAC en PHY port. Intel hanteert dezelfde verbruikscijfers voor I210 en I211.

vergelijking:
I210/I211: 612mW actief | 487 mW idle | idle link EEE: 200mW | zonder kabel: 104mW, device off 89mW
I219-LM: 542mW actief | 439mW idle | zonder kabel: 55mW met EEE LPI
(dit is een vergelijking op chipniveau door Intel uitgevoerd op verschillende tijdstippen, mogelijk niet onder gelijke omstandigheden)

i219-LM wordt zelden of nooit gebruikt op netwerkkaarten maar wel op de wat duurdere moederborden. Het zou in actief wat minder kunnen verbruiken dan I210 wanneer actief (p.49). Vooral als de link down is kan de benodigde energie flink dalen tot 55mW met een EEE partner. De chip is aan te sturen door de BIOS van de computer.

Wat betreft de diverse merken kaarten met I210 chips: ik heb daar destijds geen vergelijkingsmateriaal van gevonden. Hoeveel verschil daar in zit weet ik niet. Bijvoorbeeld een RL Link LREC9202CT (I211) en een Intel I210-AT (bulk/OEM) kaart. Sommige fabrikanten volgen het voorbeeld van Intel, maar het kan afwijken bij stroomvoorzieningsonderdelen, signaalic's. Daarnaast kan het nog misgaan in de doorgegeven ondersteuning van PCIe power management aan de BIOS en OS.

[happylife]

Ik lees aandachtig mee met alex3305, aangezien ik hetzelfde moederbord en processor gebruik voor mijn Unraid server (Eerste build, ooit).

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 250,47	€ 250,47
1	Moederborden	Gigabyte B760M GAMING X DDR4	€ 122,-	€ 122,-
2	Interne harde schijven	WD Red Plus (128MB cache), 8TB	€ 184,-	€ 368,-
1	Behuizingen	Fractal Design Meshify 2	€ 139,15	€ 139,15
1	Usb-sticks	Sandisk Cruzer 16GB Zwart	€ 0,-	€ 0,-
1	Geheugen intern	Corsair Vengeance LPX CMK32GX4M2E3200C16	€ 57,90	€ 57,90
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 91,41	€ 91,41
1	Solid state drives	Samsung 970 Evo Plus 1TB	€ 51,81	€ 51,81
1	Solid state drives	Samsung 980 Pro (zonder heatsink) 1TB	€ 76,21	€ 76,21
			Totaal	€ 1.156,95

Een van de SSD's is mijn Array cache, de ander wordt voor appdata gebruikt (ik gebruik momenteel geen VM's). Verder 8TB parity, 8TB opslag. BIOS is geupdate naar F12.

Momenteel heb ik in de bios wat instellingen aangepast voor de C-states, aangepaste instellingen voor turbo en devslp etc heb ik nog niet gedaan. Verder enkel nog powertop met `--auto-tune`.

Ik heb de server pas net in gebruik genomen dus ik heb slechts een paar docker containers draaien. Wanneer ik actief bestanden aan het overzetten ben is het gebruik (gemeten met een Shelly Plug S) zo'n 25,4w. Powertop geeft dan aan dat ik voornamelijk in C6 zit.

In idle, HDD's spun down, zit ik afgelopen uur zo rond de 13,2w, Powertop geeft voornamelijk C8 aan.

Ik heb Home Assistant draaien als container, maar nog geen Zigbee USB aangesloten. Als ik de berichten van alex3305 lees zal dit het gebruik wel wat verhogen.

[andru123]

andru123 schreef op vrijdag 21 juli 2023 @ 00:01:
- waarom het uitschakelen van het netwerk in BIOS schakelt de chip op het ene bord uit, maar maakt de chip extreem onzuinig op het andere?

Ok, tenminste geddeltelijk antwoord op deze vraag gevonden, denk ik. i210 chip heeft een speciale pin - DEV_OFF_N - om de hele chip programmatisch uitschakelen:
The I210 provides a mechanism to disable its LAN port and the PCIe function.
For a LOM design, it might be desirable for the system to provide BIOS-setup capability for selectively enabling or disabling LOM devices. This might allow the end-user more control over system resource- management; avoid conflicts with add-in NIC solutions, etc. The I210 provides support for selectively enabling or disabling it.
Ik denk dat i225/i226 dezelfde pin heeft.
Het is dan aan moederboard fabrikant om deze pin met BIOS verbinden.
Blijkbaar sommige fabrikanten - Gigabyte - doen dat netjes, en uitschakelen in BIOS daadwerkelijk de hele chip uitzet.
Anderen - Asus - doen dat niet.
Vraag is - als ik deze pin zelf met een stukje draad naar grond sluit, gaat het ook werken? Waarschijnlijk moet ook een bepaalde bit in de chip flash op 1 staan om deze functie te activeren.
Helaas heb ik geen pin assignment van i225, en het is anders dan i210. Ook op de moederboard het is bijna onmogelijk te traceren waar de pins naartoe gaan.

[andru123]

mrmrmr schreef op donderdag 10 augustus 2023 @ 23:45:
Een verschil tussen i210 en i211 is de ondersteuning voor intern flash geheugen (210) of extern flash geheugen (I210).

volgens deze product brief heeft i211-AT allen maar 2 transmit en receive queues.
Terwijl i210-T1 4 queues heeft.
Dat is contradictory met de andere documenten, maar ik dacht het was ook het grootste verschil (en waarom Intel i211 een “value” noemt)

[mrmrmr]

andru123 schreef op vrijdag 11 augustus 2023 @ 17:29:
[...]
volgens deze product brief heeft i211-AT allen maar 2 transmit en receive queues.
Terwijl i210-T1 4 queues heeft.
Dat is contradictory met de andere documenten, maar ik dacht het was ook het grootste verschil (en waarom Intel i211 een “value” noemt)

Ja, de I211 documentatie spreekt zichzelf tegen op diverse plekken, o.a. de queues.

I210 heeft meer hardware managability features die misschien van belang kunnen zijn bij virtualisatie. Maar dat kan ook in virtualisatiesoftware (§1.6.2 i211 datasheet). Daar merk je als gebruiker niets van vermoedelijk.

[mrmrmr]

@happylife

Bedankt voor je bericht met metingen! Het is gepind, als je iets nieuws meldt, mag dat (ook) in dat bericht zodat het makkelijk terug te vinden is.

Gegeven de configuratie, wat je nog zou kunnen doen om verbruik te verbeteren:
• USB2 ipv USB3 stick
• beeldscherm automatisch in standby (zie topic start: consoleblank).
• geheugen op JEDEC SPD profiel, geen XMP met hogere spanning dan standaard 1,2V
• grote SSD voor storage, of 1 grote 3.5" disk ipv meerdere disks met goed backup schema.
• PicoPSU voeding (met PL1/PL2 beperking)

[Mich]

happylife schreef op vrijdag 11 augustus 2023 @ 15:29:
Ik lees aandachtig mee met alex3305, aangezien ik hetzelfde moederbord en processor gebruik voor mijn Unraid server (Eerste build, ooit).

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 250,47	€ 250,47
1	Moederborden	Gigabyte B760M GAMING X DDR4	€ 122,-	€ 122,-
2	Interne harde schijven	WD Red Plus (128MB cache), 8TB	€ 184,-	€ 368,-
1	Behuizingen	Fractal Design Meshify 2	€ 139,15	€ 139,15
1	Usb-sticks	Sandisk Cruzer 16GB Zwart	€ 0,-	€ 0,-
1	Geheugen intern	Corsair Vengeance LPX CMK32GX4M2E3200C16	€ 57,90	€ 57,90
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 91,41	€ 91,41
1	Solid state drives	Samsung 970 Evo Plus 1TB	€ 51,81	€ 51,81
1	Solid state drives	Samsung 980 Pro (zonder heatsink) 1TB	€ 76,21	€ 76,21
			Totaal	€ 1.156,95

Een van de SSD's is mijn Array cache, de ander wordt voor appdata gebruikt (ik gebruik momenteel geen VM's). Verder 8TB parity, 8TB opslag. BIOS is geupdate naar F12.

Momenteel heb ik in de bios wat instellingen aangepast voor de C-states, aangepaste instellingen voor turbo en devslp etc heb ik nog niet gedaan. Verder enkel nog powertop met `--auto-tune`.

Ik heb de server pas net in gebruik genomen dus ik heb slechts een paar docker containers draaien. Wanneer ik actief bestanden aan het overzetten ben is het gebruik (gemeten met een Shelly Plug S) zo'n 25,4w. Powertop geeft dan aan dat ik voornamelijk in C6 zit.

In idle, HDD's spun down, zit ik afgelopen uur zo rond de 13,2w, Powertop geeft voornamelijk C8 aan.

Ik heb Home Assistant draaien als container, maar nog geen Zigbee USB aangesloten. Als ik de berichten van alex3305 lees zal dit het gebruik wel wat verhogen.

[Afbeelding]

[Afbeelding]

Mooi resultaat. C10 zal je denk ik nooit halen omdat een van de twee m2 schijven in het slot zit die direct aam de CPU hangt. De ander loopt via de chipset. De schijf direct aan de CPU verhinderd het systeem om naar c10 te gaan.

Edit: dat maakt verder niets uit maar ik dacht ik meld het voor het geval je gaat zoeken c10 te halen

[andru123]

Mich schreef op donderdag 10 augustus 2023 @ 10:51:
Ik zou voor deze gaan, misschien iets duurder maar succes gegarandeerd.


uitvoering: Intel Ethernet Server Adapter I210-T1

Ik heb er 2 in gebruik. Elke kaart voegt zo een 0.2 a 0.3W in verbruik toe.

Heb je toevallig een foto?
Ik heb een van ebay gekocht en probeer te analyseren welke ICs erop zitten.
Tot mijn verbazing, lijkt dat er zijn wel Efficient DC-DC converter van Texas Instruments, en andere componenten, maar die zijn niet in gebruik ? Ik heb geen idee waarom Intel unused componenten op de board plaatst.(update: zijn wel gebruikt om 3,3V dat via PCIe komt, te “stabielezeren”) Andere OEMs doen dat niet en bord werkt ook prima. Die componenten zijn ook niet nodig, de chip zelf heeft een internal Voltage Regulator.
Op de fotos kan je zien:
- i210 in de center
- links een Ethernet port with integrated magnetic network isolation transformer van UDE
- winbond flash geheugen chip (bottom)
- TI low power voltage detector TPS3803 (https://www.ti.com/product/TPS3803) middle right
- TI buck-boost converter TPS6303 (https://www.ti.com/lit/ds...3030.pdf?ts=1691719718933) on the top, marked CEE

Maar… wat ik zie de DC converter is nergens aangesloten? (Update: wel is aangesloten op 3.3 V input pins van i210)

[sinuz]

Heb je de contactpunten doorgepiept? Het zou zomaar kunnen dat hij via een van de binneste pcb-lagen is aangesloten. Het board heeft er 6 zo te zien dus het kan best dat er verbindingen lopen dir je niet ziet van buiten.

[Mars Warrior]

@andru123 , mogelijk een meerlaags PCB. Dan kan de + en - ook op een andere plane zitten.

[mrmrmr]

andru123 schreef op zaterdag 12 augustus 2023 @ 18:08:
- TI buck-boost converter TPS6303 (https://www.ti.com/lit/ds...3030.pdf?ts=1691719718933) on the top, marked CEE

Maar… wat ik zie de DC converter is nergens aangesloten?

Ik zie lijnen lopen van de converter naar spoel, condensatoren en de i210-AT chip.

Plaatje van een andere pcb:
https://cdn11.bigcommerce..._45205.1672477630.jpg?c=1

Zo te zien dezelfde layout met spoel.

[andru123]

Volgens Intel, er is allen maar 3,3V nodig voor internal Voltage Regulator van de chip.


Of, als internal VR niet gebruikt, dan 0,9V, 1,5V en 3.3V.

3,3V komt binnen via PCIe pins.
De buck converter maakt of 0,9 of 1,5V van 3.3V, neem ik aan. Dan nog een spanning moet ergens vandaan komen.

@sinuz Hoe zie je dat het is een 6 laags PCB? Waarom, er zit weinig aan…
i210 kost 5$, connector met isolation transformer 1$, alle andere componenten bij elkaar max 5$.. en toch het adviesprijs van Intel is 45$.
@mrmrmr de adapter in je link zit ook vol met componenten. Dezelfde adapter van HP heeft helemaal geen ICs.

Beetje offtopic, ik wilde gewoon analyseren welke zuinige componenten Intel gebruikt.

Update:
Ok, net doorgepipt met een multimeter. Ik zie dat pin 39 is met 47 verbonden, en 38 met 32,11, 42, 59.
Dus i210 gebruikt wel internal Voltage Regulator.

Vout van TI DC converter is verbonden met 3,3V input pins van i210. Waarom, eigenlijk, 3.3V toch van PCIe slot komt?

[ Voor 7% gewijzigd door andru123 op 12-08-2023 19:44 ]

[mca2]

Momenteel draai ik een zfs2 setup met 6x 5.25”. Ivm dalende kosten kijk ik naar SSD. Omdat deze wel betaalbaar zijn maar nog steeds vrij duur, zal het een zfs1 setup worden.

Mijn mobo heeft wel de nodige sata600 connectors maar slechts 1nvme connector. Dit zal waarschijnlijk de disk voor het OS worden.

Nu dus de vraag of ik voor een pcie nvme kaart ga of 2.5” sata600 ssd. Kwa kosten inloopt dit elkaar niet veel, nvme is sneller (boeiend?) maar kwa energieverbruik heb ik geen idee.

Kortom, wat doet een nvme pcie kaart met het vermogen?

[Raven]

@mca2 6x 5.25" .... zo groot heb ik de hdd's al jaren niet meer gezien

[andru123]

andru123 schreef op zaterdag 12 augustus 2023 @ 19:02:
Vout van TI DC converter is verbonden met 3,3V input pins van i210. Waarom, eigenlijk, 3.3V toch van PCIe slot komt?

Blijkt dat waarschijnlijk de extra DC converter en andere componenten zijn er om de 3.3V, dat via PCIe komt, stabiel te maken. Niet echt nodig, maar wel netjes van Intel.
@mrmrmr @Mars Warrior @sinuz bedankt. Toch weer iets nieuws geleerd!

[ Voor 32% gewijzigd door andru123 op 12-08-2023 19:57 ]

[sinuz]

andru123 schreef op zaterdag 12 augustus 2023 @ 19:02:
@sinuz Hoe zie je dat het is een 6 laags PCB? Waarom, er zit weinig aan…

Op twee van de foto's zie boven naast de stickers een tabelletje met cijfers van 1 tot 6. De 1 staat op de onderste laag en de 6 op de bovenste. De tussenliggende cijfertjes kan je ook zien als je met een zaklamp door het board schijnt. Waarom ze hem met zoveel lagen ontworpen hebben, geen idee.

[RobertMe]

mca2 schreef op zaterdag 12 augustus 2023 @ 19:33:
Momenteel draai ik een zfs2 setup met 6x 5.25”. Ivm dalende kosten kijk ik naar SSD. Omdat deze wel betaalbaar zijn maar nog steeds vrij duur, zal het een zfs1 setup worden.

Mijn mobo heeft wel de nodige sata600 connectors maar slechts 1nvme connector. Dit zal waarschijnlijk de disk voor het OS worden.

Nu dus de vraag of ik voor een pcie nvme kaart ga of 2.5” sata600 ssd. Kwa kosten inloopt dit elkaar niet veel, nvme is sneller (boeiend?) maar kwa energieverbruik heb ik geen idee.

Kortom, wat doet een nvme pcie kaart met het vermogen?

Ik zou beginnen met controleren of het moederbord dat je gebruikt uberhaupt bifurbication ondersteund. Anders gaat een PCIe kaart waar je meerdere NVME drives op kunt plaatsen niet eens werken (of werkt maar één drive?).

Daarnaast zou ik lekker OpenZFS 2 blijven gebruiken en niet downgraden naar ZFS 1. Of je zraid2 of zraid1 wilt gebruiken zul je zelf moeten beoordelen.

Raven schreef op zaterdag 12 augustus 2023 @ 19:48:
@mca2 6x 5.25" .... zo groot heb ik de hdd's al jaren niet meer gezien

Moet ook een forse kast zijn dan. Kunt al blij zijn als je nog een kast vindt met 1 5.25" slot, laat staan 6. Mijn Silverstone kast met 8x 2.5" / 3.5" hotswap waa al lastig genoeg te vinden. Maar 6x 5.25"? Zal dan wel een kast van 15 jaar oud zijn :x

[sinuz]

andru123 schreef op woensdag 21 juni 2023 @ 01:29:
Over Asrock moederborden met socket 1700 gesproken: er zijn meldingen op Japanse forums dat deze generatie van Asrock borden onzuinig zijn:
ASRock: all I tested are high wattage (10W〜). They (possibly?) decided to disable some of C-State feature in LGA1700 platform?
Komt overeen met mijn, @Mich en @XyRuS ervaring. Ik heb nog geen enkele zuinige Asrock socket 1700 mb gezien.

Dank voor de heads-up! Helaas is er niet enorm veel keuze in het goedkope segment. Zou dit Asus board beter presteren?

Daarnaast lijkt het goedkope geheugen toch ook best vaak XMP te hebben, is dat niet uit te zetten in het BIOS?

Bijgewerkt bestellijstje is als volgt:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-13100 Boxed	€ 150,68	€ 150,68
1	Moederborden	ASUS Prime B660M-A D4	€ 104,89	€ 104,89
1	Geheugen intern	G.Skill Aegis F4-3200C16S-16GIS	€ 26,79	€ 26,79
2	Solid state drives	Lexar NM710 2TB	€ 85,79	€ 171,58
Bekijk collectie Importeer producten			Totaal	€ 453,94

Voeding gebruik ik tijdelijk van mijn oude pc, dan kan ik een idee krijgen wat voor vermogen er nodig is zodat ik in 1x de juiste PicoPSU kan aanschaffen.

[andru123]

sinuz schreef op zaterdag 12 augustus 2023 @ 21:10:
Dank voor de heads-up! Helaas is er niet enorm veel keuze in het goedkope segment. Zou dit Asus board beter presteren?

B660 op mijn Asus is vrij zuinig, en verder er zit een zuinig intel netwerk chip, dus ja, kan wel goed bord zijn.
Ik zou echt i3-12100 aanraden, het is identiek aan 13100 en 30€ goedkoeper.

[sinuz]

Dan ga ik het proberen! CPU heb ik al liggen, die kwam 2e hands erg betaalbaar voorbij

[mrmrmr]

andru123 schreef op zaterdag 12 augustus 2023 @ 19:55:
[...]
Blijkt dat waarschijnlijk de extra DC converter en andere componenten zijn er om de 3.3V, dat via PCIe komt, stabiel te maken. Niet echt nodig, maar wel netjes van Intel.
@mrmrmr @Mars Warrior @sinuz bedankt. Toch weer iets nieuws geleerd!

De lijn gaat richting VDD3p3 (3,3V) denk ik op het plaatje dat je toonde. Ik vind het interessant omdat het verder het verbruik zou kunnen verlagen zonder die extra componenten. Het zou theoretisch kunnen dat men zowel bij Intel als bij andere bedrijven gewoon een oude layout een beetje aangepast heeft zonder rekening te houden met de capaciteiten van de IC. Dat HP het zonder de extra's doet zegt wel iets. Ze hebben er kennelijk vertrouwen in.

De layout van de pcb verschilt op twee punten met het Intel ontwerp: de signaaltransformator en de DC-DC voeding.

Dit zijn er een aantal op Amazon sites:
https://www.amazon.nl/IST...Accessoires/dp/B0CCKGNYJG
https://www.amazon.nl/GIG...profielhoek/dp/B095XBWG69
https://www.amazon.nl/ROT...nodigdheden/dp/B0CBMRXP29
https://www.amazon.nl/Aug...Accessoires/dp/B0CC4JGQM2
https://www.amazon.nl/Tso...Accessoires/dp/B0CBJD9JWQ
https://www.amazon.nl/Ant...-Onderdelen/dp/B0CC989H8J

Wat opvalt is het grote afvallogo op de pcb waar geen componenten zitten. Ik heb niet kunnen vinden waar deze gemaakt worden, vermoedelijk China. Het lijkt op een ontwerp dat maximaal profiteert van de geintegreerde componenten van de i210. Er is overeenkomst met sommige kaarten met Realtek chip (RLT8111E).

[mca2]

Raven schreef op zaterdag 12 augustus 2023 @ 19:48:
@mca2 6x 5.25" .... zo groot heb ik de hdd's al jaren niet meer gezien

Excuses, 3.5"

RobertMe schreef op zaterdag 12 augustus 2023 @ 20:29:
[...]
Ik zou beginnen met controleren of het moederbord dat je gebruikt uberhaupt bifurbication ondersteund. Anders gaat een PCIe kaart waar je meerdere NVME drives op kunt plaatsen niet eens werken (of werkt maar één drive?).

Dat is een goed punt, thanks. Ik gebruik een Asus Prime B250M-K, dus dat lijkt niet te werken.

Daarnaast zou ik lekker OpenZFS 2 blijven gebruiken en niet downgraden naar ZFS 1. Of je zraid2 of zraid1 wilt gebruiken zul je zelf moeten beoordelen.

Mijn fout. Raidz2 bedoelde ik inderdaad. Dat zal waarschijnlijk een downgrade worden naar raidz1

Moet ook een forse kast zijn dan. Kunt al blij zijn als je nog een kast vindt met 1 5.25" slot, laat staan 6. Mijn Silverstone kast met 8x 2.5" / 3.5" hotswap waa al lastig genoeg te vinden. Maar 6x 5.25"? Zal dan wel een kast van 15 jaar oud zijn :x

Coolermaster centurion 5 en met een setje van deze uitvoering: Sharkoon SATA QuickPort Intern 3-Bay past daar een hoop in

[Raven]

RobertMe schreef op zaterdag 12 augustus 2023 @ 20:29:
[...]

Moet ook een forse kast zijn dan. Kunt al blij zijn als je nog een kast vindt met 1 5.25" slot, laat staan 6. Mijn Silverstone kast met 8x 2.5" / 3.5" hotswap waa al lastig genoeg te vinden. Maar 6x 5.25"? Zal dan wel een kast van 15 jaar oud zijn :x

STC-T01, 11 5.25" bays, 12 als je de frontpanel eruit schroeft
* Raven heeft er 2 van staan

[RobertMe]

mca2 schreef op zondag 13 augustus 2023 @ 00:15:
[...]

Coolermaster centurion 5 en met een setje van deze uitvoering: Sharkoon SATA QuickPort Intern 3-Bay past daar een hoop in

Die heeft maar 4x 5.25", je schreef 6x 5.25"

Raven schreef op zondag 13 augustus 2023 @ 08:41:
[...]

STC-T01, 11 5.25" bays, 12 als je de frontpanel eruit schroeft
* Raven heeft er 2 van staan

"Laatste prijs bekend: 25 maart 2007".
Zat ik toch goed met dat zo'n kast toch wel 15 jaar oud zal zijn

[Mich]

andru123 schreef op zaterdag 12 augustus 2023 @ 18:08:
[...]
Heb je toevallig een foto?
Ik heb een van ebay gekocht en probeer te analyseren welke ICs erop zitten.
Tot mijn verbazing, lijkt dat er zijn wel Efficient DC-DC converter van Texas Instruments, en andere componenten, maar die zijn niet in gebruik ? Ik heb geen idee waarom Intel unused componenten op de board plaatst.(update: zijn wel gebruikt om 3,3V dat via PCIe komt, te “stabielezeren”) Andere OEMs doen dat niet en bord werkt ook prima. Die componenten zijn ook niet nodig, de chip zelf heeft een internal Voltage Regulator.
Op de fotos kan je zien:
- i210 in de center
- links een Ethernet port with integrated magnetic network isolation transformer van UDE
- winbond flash geheugen chip (bottom)
- TI low power voltage detector TPS3803 (https://www.ti.com/product/TPS3803) middle right
- TI buck-boost converter TPS6303 (https://www.ti.com/lit/ds...3030.pdf?ts=1691719718933) on the top, marked CEE

Maar… wat ik zie de DC converter is nergens aangesloten? (Update: wel is aangesloten op 3.3 V input pins van i210)

[Afbeelding]

[Afbeelding]

[Afbeelding]

[andru123]

mrmrmr schreef op zaterdag 12 augustus 2023 @ 22:23:
De lijn gaat richting VDD3p3 (3,3V) denk ik op het plaatje dat je toonde. Ik vind het interessant omdat het verder het verbruik zou kunnen verlagen zonder die extra componenten. Het zou theoretisch kunnen dat men zowel bij Intel als bij andere bedrijven gewoon een oude layout een beetje aangepast heeft zonder rekening te houden met de capaciteiten van de IC. Dat HP het zonder de extra's doet zegt wel iets. Ze hebben er kennelijk vertrouwen in.

Voor de geïnteresseerde: ik heb ook op electronica forums gevraagd, en lijkt dat het inderdaad een oudere ontwerp van 82574 chip. En er zijn inderdaad meerdere lagen ter afscherming van RF, etc, dat is wel netjes.

Ik heb de kaart in mijn Asus B660 in de enige PCIe slot (PEG) getest. Als verwacht, gaat de CPU package state niet hoger dan C2, en steeg het idle verbruik meteen van 5W naar 11W. Ik denk er niet dat van de kaart zelf, maar omdat de package niet meer naar C8 gaat.
Nog een bevestiging dat voor een zuinige server PEG slot nooit mag worden gebruikt.

[ Voor 3% gewijzigd door andru123 op 13-08-2023 19:01 ]

[Mich]

RobertMe schreef op dinsdag 8 augustus 2023 @ 11:29:
[...]

Ik ben daar op een gegeven moment dieper in gedoken en heb dat ook beschreven in dit topic. Ik zag exact hetzelfde gedrag met een plain Debian installatie met de Proxmox kernel (maar dus zonder Proxmox software). Uiteindelijk (b)leek dit te komen door de firmware (niet driver dus) voor de Intel iGPU. Dit gedrag van continu die piekjes in verbruik kon ik toen ook reproduceren met plain Debian met ook de originele kernel, maar wel het package met de firmware voor de iGPU geïnstalleerd. Deed ik vervolgens met dat package geïnstalleerd handmatig de iGPU firmware file verwijderen dan was het gedrag weer weg (en dus stabiel laag verbruik). Wat dus ook bevestigd dat het door die specifieke firmware komt (en bv niet een firmware voor wifi/bluetooth chip of netwerk chip).

Ik heb vandaag nog eens gekeken naar dit vraagstuk. Ik kwam eigenlijk weer tot de conclusie dat het aan services van proxmox zelf ligt. Misschien was jou cpu gebruik ook wel veel minder stabiel als bij mij. Bij mij gaat het per seconde of 4,5.

Als ik de pvestatd service stop dan wordt het verbruik al veel stabieler. Stop ik alle services die je maar kan stoppen en ook mijn VM's dan zit ik bijna aan het zelfde stabiel lage verbruik als Debian.

code:

systemctl stop pvestatd pve-ha-crm pve-ha-lrm pve-firewall pvefw-logger corosync spiceproxy

Met bovenstaand commando werkt eigenlijk alles nog (als je geen cluser gebruikt) behalve de status van je containers. Met onderstaand commando werkt ook de web page niet meer, maar draaien je vm's nog wel.

code:

systemctl stop pveproxy pvedaemon pvebanner

Over de pvestatd service zijn tientallen topics te vinden van problemen dat de harde schijven niet in spin down gaan. Deze service checkt ook om de zoveel seconden hoeveel schijf ruimte er nog vrij is enzo. Dit kan je met bepaalde trucs ook weer uitzetten.

Ik laat het er maar bij. Ik denk dat ik de pvestatd service ook uitzet, ik gebruik die monitoring toch niet. Als een VM niet draait merk ik dat toch direct.


----------

Na wat testen in mijn VM met docker kom ik erachter dat DSMR reader voor veel belasting zorgt. P1 monitor net zo. Gebruik ik Home Assistant direct om de P1 meter uit te lezen is het verbruik wel laag. Misschien dat DSMR reader en P1 monitor veel vebruik nodig hebben om dingen in een database weg te schrijven. Ik laat ze sowieso maar elke 10 seconden uitlezen. En om de 10 seconden zie je precies een piek in het verbruik.

edit: Ik gebruik DSMR reader alleen om alle metingen op MQTT te krijgen. Mocht iemand iets simpelers weten hou ik mij aanbevolen

[Mars Warrior]

Mich schreef op zondag 13 augustus 2023 @ 19:41:
[...]
Na wat testen in mijn VM met docker kom ik erachter dat DSMR reader voor veel belasting zorgt. P1 monitor net zo. Gebruik ik Home Assistant direct om de P1 meter uit te lezen is het verbruik wel laag. Misschien dat DSMR reader en P1 monitor veel vebruik nodig hebben om dingen in een database weg te schrijven. Ik laat ze sowieso maar elke 10 seconden uitlezen. En om de 10 seconden zie je precies een piek in het verbruik.

edit: Ik gebruik DSMR reader alleen om alle metingen op MQTT te krijgen. Mocht iemand iets simpelers weten hou ik mij aanbevolen

Ik zie die pieken van DSMR Reader niet, maar ik gebruik ook geen P1 Monitor, of gebruik je ze niet tegelijk?

Ik gebruik ser2net voor DSMR Reader.

[Mich]

Mars Warrior schreef op zondag 13 augustus 2023 @ 20:03:
[...]

Ik zie die pieken van DSMR Reader niet, maar ik gebruik ook geen P1 Monitor, of gebruik je ze niet tegelijk?

Ik gebruik ser2net voor DSMR Reader.

Ik heb dezelfde situatie. DSMR reader + ser2net. (P1 monitor was om te testen, draaien niet tegelijk)

Gebruik jij de docker van xirixiz/dsmr-reader-docker of ualex73/dsmr-reader-docker.



Zo ziet het er een beetje uit.

[ Voor 3% gewijzigd door Mich op 13-08-2023 20:18 ]

[RobertMe]

Mich schreef op zondag 13 augustus 2023 @ 19:41:
[...]


Ik heb vandaag nog eens gekeken naar dit vraagstuk. Ik kwam eigenlijk weer tot de conclusie dat het aan services van proxmox zelf ligt. Misschien was jou cpu gebruik ook wel veel minder stabiel als bij mij. Bij mij gaat het per seconde of 4,5.

Een kale Debian installatie waarbij processen met enige regelmaat er voor zorgen dat het stroomverbruik als een malle klappert? Welk proces dan? En waarom niet continu? Hij kon perfect een uur lang een laag verbruik hebben, en dan uit het niets steeks piekjes die een paar W hoger lagen, en na een tijd dan weer een flatline op het lage verbruik. En dat dus puur op een kale Debian installatie met de non-free (Intel) firmware. Dat kan echt niet aan processen/software liggen. Of in ieder geval niet iets dat ik zelf "bewust" draai. Want dat is er niet (op SSH daemon na).

Als ik de pvestatd service stop dan wordt het verbruik al veel stabieler. Stop ik alle services die je maar kan stoppen en ook mijn VM's dan zit ik bijna aan het zelfde stabiel lage verbruik als Debian.

Dat is natuurlijk logisch dat zo'n zaken iets van verbruik geven. Of dat nu de PVE software is of Prometheus of Influx + Telegraf etc.. Allemaal software die periodiek iets doet.

code:

systemctl stop pvestatd pve-ha-crm pve-ha-lrm pve-firewall pvefw-logger corosync spiceproxy

Met bovenstaand commando werkt eigenlijk alles nog (als je geen cluser gebruikt) behalve de status van je containers. Met onderstaand commando werkt ook de web page niet meer, maar draaien je vm's nog wel.

code:

systemctl stop pveproxy pvedaemon pvebanner

Volgens mij zijn die services al best vaak voorbij gekomen in dit topic als zijnde "kun je veilig stoppen".

Na wat testen in mijn VM met docker kom ik erachter dat DSMR reader voor veel belasting zorgt. P1 monitor net zo. Gebruik ik Home Assistant direct om de P1 meter uit te lezen is het verbruik wel laag. Misschien dat DSMR reader en P1 monitor veel vebruik nodig hebben om dingen in een database weg te schrijven. Ik laat ze sowieso maar elke 10 seconden uitlezen. En om de 10 seconden zie je precies een piek in het verbruik.

Dat merk ik zelf totaal niet. Of de plug reageert te langzaam DSMRReader connect daarbij zelf over tcp/ip naar een ESPtje die de serial data één op één doorzet. Dus ik draai niet expliciet ser2net, als jij dat wel zou doen. Maar dus wel aan de meter kant iets dat AFAIK identiek is. Dus tcp/ip => virtueel serial device => DSMRReader die het virtuele serial device uitleest is niet nodig.

[M@NIC]

Ik heb al zoveel tijd gestoken in de zoektocht naar een nieuwe server, maar ik ben er bijna. Misschien kan iemand nog bevestigen dat ik nu inderdaad op het goede pad zit.

Ik wil graag een relatief zuinige server (40W+ is echt prima) waarop ik Proxmox (circa 4 VM's waaronder Docker met circa 10 containers) ga draaien. Ik heb een iGPU nodig voor mijn Plex server en wil mijn Synology langzaam uitfaseren naar (virtueel) TrueNas (daarom minimaal 4 sata poorten). Daarom wil ik toch echt ECC geheugen zodat ik 's avonds beter slaap en niet hoef te dromen over corrupte datapools. Ik kom met deze wensen dan al snel op een Intel en zover ik weet is de laatste CPU die ECC ondersteunt is de i3-9100. Een Fujitsu D3644-B past daar wel mooi bij door de ECC ondersteuning al had ik liever 2x M2 gehad.

Wat mij doet twijfelen is dat ik eerst op de i5-12400 (met B660 moederbord) zat en daarmee wat meer toekomst gericht was. De i3-9100 is al 2 a 3 jaar oud? Ik zou wel wat moderners willen maar volgens mij bestaat die optie helemaal niet. Zie ik nog een goed alternatief over het hoofd of is dit het inderdaad wel?

[Radiance]

Mich schreef op zondag 13 augustus 2023 @ 20:17:
[...]


Ik heb dezelfde situatie. DSMR reader + ser2net. (P1 monitor was om te testen, draaien niet tegelijk)

Gebruik jij de docker van xirixiz/dsmr-reader-docker of ualex73/dsmr-reader-docker.

[Afbeelding]

Zo ziet het er een beetje uit.

Ik gebruik xirixiz/dsmr-reader-docker en merk inderdaad ook dat om de zoveel seconde het cpu verbruik van dmsr ineens omhoog schiet. Ik gebruik een esp die rechtstreeks op de P1 poort aangesloten zit en hier ook zijn voeding vandaan haalt.

[ Voor 7% gewijzigd door Radiance op 14-08-2023 14:01 ]