Het grote zuinige server topic - deel 3

[dcm360]

Een tijdje terug had ik al eens beloofd nog het één en ander aan verbruik te meten van wat spullen die ik hier heb liggen. De motivatie om dat eens in een post om te zetten ontbrak alleen nog een beetje, maar bij deze Ondanks dat het energieverbruik voor mij het secundaire doel was (primaire doel was een router bouwen die sneller kon routen de oude) zitten er denk ik wel interessante data voor dit topic in.

Meetmethode
Alle metingen in deze post zijn uitgevoerd met de welbekende Brennenstuhl PM231E. Alle metingen zijn gedaan met dezelfde Linux-installatie van OpenSuse Tumbleweed die op dat moment kwam met kernel 6.3.1-2-default. De aangesloten hardware is met alle metingen minimaal: 1 netwerkkabel en 1 hdmi-kabel. Door middel van consoleblank=15 wordt de GPU zo min mogelijk belast, en na het starten is altijd powertop --auto-tune uitgevoerd. Zodra de metingen stabiel bleven is de waarde van de meter afgelezen.

Hardware
Systeem 1 (E3940):

#	Category	Product	Prijs	Subtotaal
1	Moederborden	Supermicro A2SAV-L	€ 0,-	€ 0,-
1	Geheugen intern	Crucial CT102472BF160B	€ 0,-	€ 0,-
1	Solid state drives	Intel 600p 512GB	€ 0,-	€ 0,-

Systeem 2 (5650GE):

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 Pro 5650GE Tray	€ 452,70	€ 452,70
1	Moederborden	Biostar Racing B350GTN	€ 0,-	€ 0,-
1	Processorkoeling	Noctua NH-L12S	€ 59,90	€ 59,90
2	Geheugen intern	Crucial CT8G4WFD8266	€ 0,-	€ 0,-
1	Solid state drives	Intel 600p 512GB	€ 0,-	€ 0,-

Netwerkadapters:

#	Category	Product	Prijs	Subtotaal	Naam
1	Netwerkadapters	ASUS XG-C100F	€ 86,53	€ 86,53	AQ
1	Netwerkadapters	HP HPE NC522SFP Dual Port 10GbE Gigabit Server Adapter - (468349-001)	€ 239,58	€ 239,58	NC522
1	Netwerkadapters	Intel X710-DA2	€ 385,99	€ 385,99	X710

Deze 3 netwerkkaarten zijn aangesloten met een DAC kabel van 3M van 10Gtek. Bij de metingen zonder 1 van deze netwerkkaarten waren de systemen met 2M Cat6 aangesloten op een uitvoering: TP-Link TL-SG105E-Gigabit (5-poorts) .
PSU's:

#	Category	Product	Prijs	Subtotaal
1	Voedingen	Corsair SF450	€ 0,-	€ 0,-
1	Voedingen	Inter-Tech PicoPSU 120 watt	€ 0,-	€ 0,-
1	Voedingen	Mini-box picoPSU 90	€ 36,47	€ 36,47
1	Voedingen	Seasonic G-series 360 watt	€ 0,-	€ 0,-

Gebruikte adapters zijn een Leicke NT33402 (90W), de adapter van de uitvoering: Inter-Tech ITX A60 (60W) en een adapter van een uitvoering: Seagate Backup Plus Hub 8TB Zwart (36W). Voor de SF450 had ik toevallig een '12VO-converter' liggen (daarmee zet je praktisch een picoPSU tussen de 12V-lijn van de PSU en het moederbord, dat scheelt vooral een berg kabels), dus die heb ik in 1 geval mee gemeten.

Metingen

	SSR-360GP	SF450	Inter-Tech + 60W	Inter-Tech + 36W
E3940	9,3	8,9	4,7	4,4
E3940 + NC522	27,8	27	25,7	23,7

	SSR-360GP	SF450	SF450 12VO	PicoPSU + 90W
5650GE	18	17,5	18,5	13,2
5650GE + X710	21,3	20,8	-	16,7
5650GE + AQ	-	-	-	14,7

Opmerkingen
Voordat ik begon had ik eigenlijk de verwachting dat mijn oude systeem (E3940 + NC522 + Inter-Tech + 60W) zuiniger zou zijn dan de nieuwe (5650GE + X710 + PicoPSU + 90W). Hieruit blijkt dat het voor een 10Gb netwerk vooral belangrijk is om te zoeken naar relatief recente hardware, zelfs een flink prijsverschil is terug te verdienen met het verschil in ernergieverbruik.
Overige noemenswaardige dingetjes:

• De chipset op het B350-moederbord voelt aardig warm aan, en is potentieel de grootverbruiker van dat systeem
• Op het E3940-bord kwam ik niet verder dan 6Gb/s (vanwege de PCIe-lanes)...
• ... maar als er ook nog iets met de data gedaan moet worden zoals routing stopt het bij 500Mb/s

[andru123]

@dcm360 wat is 5650 + AQ?
Seagate adapter is zuiniger dan Intertech.. is er markering op.
500 mbps is met 10Gbit netwerk?

[Raven]

andru123 schreef op zondag 11 juni 2023 @ 16:48:
@Raven @dcm360 leuke adapter, daarmee kan je mogelijk een willekeurige PCI kaart gebruiken. Vrij prijzig voor 50€, zelfs op ali 15$, er zit geen electronica op, alleen maar draadjes 1-1.

PCI gaat niet passen , maar kunnen die van Ali wel daadwerkelijk PCIe 3.0 of 4.0 aan? Dat is daar volgens mij nog wel eens de vraag.

[dcm360]

andru123 schreef op zondag 11 juni 2023 @ 17:35:
@dcm360 wat is 5650 + AQ?
Seagate adapter is zuiniger dan Intertech.. is er markering op.
500 mbps is met 10Gbit netwerk?

De AQ is de Asus netwerkadapter, daar zit een netwerkchip van Aquantia op (ik had misschien wat duidelijker moeten vermelden dat de tabel met netwerkkaarten in de laatste kolom mijn afkortingen heeft staan).
De adapter van Inter-Tech heeft praktisch geen markeringen, het typenummer is LD120050. De adapter geleverd door Seagate is een ADS-40RJ-12 12036E, en heeft efficiency level VI op het label staan.
De gemeten doorvoer van 500Mb/s met routing was inderdaad met 10Gbit netwerk (de NC522 in systeem 1). Met iperf als client kwam ik ook niet hoger dan 1Gb/s (ander systeem met de AQ of X710 aan de andere kant), en met iperf als server (dat is minder werk blijkbaar) kwam ik op het maximum van 6Gb/s.

[ Voor 4% gewijzigd door dcm360 op 11-06-2023 17:58 ]

[andru123]

@Raven pcie 3.0 of 4.0 wordt door de moederbord bepaald, niet door de adapter toch? Adapter is gewoon een andere form factor, de draadjes van M.2 slot pins direct 1-1 naar PCIe slot pins gaan, zonder enige aanpassing.

@dcm360 je tests laten zien dat 10Gb netwerk kaart kan wel zuinig zijn: +1W voor Asus en +3W voor Intel kaart. (+20W voor HP). Leuk, ik dacht 10Gb is no go voor zuinige thuisnetwerk.

[Airw0lf]

andru123 schreef op zondag 11 juni 2023 @ 19:07:

@dcm360 je tests laten zien dat 10Gb netwerk kaart kan wel zuinig zijn: +1W voor Asus en +3W voor Intel kaart. (+20W voor HP). Leuk, ik dacht 10Gb is no go voor zuinige thuisnetwerk.

Maakt glas op koper dan nog wat uit? Iemand een idee?

[ Voor 23% gewijzigd door Airw0lf op 11-06-2023 19:23 ]

[Mich]

andru123 schreef op zondag 11 juni 2023 @ 16:48:
[...]
Ja de beugel zat erbij. De slot is M.2 key A slot, waar WiFi kaart was. Deze “WiFi” slot is vrij common, zit bijna op elke moederbord, inclusief toptons.
@Raven @dcm360 leuke adapter, daarmee kan je mogelijk een willekeurige PCI kaart gebruiken. Vrij prijzig voor 50€, zelfs op ali 15$, er zit geen electronica op, alleen maar draadjes 1-1.

Past het koelblok er dan weer op of niet?

[dcm360]

andru123 schreef op zondag 11 juni 2023 @ 19:07:
@Raven pcie 3.0 of 4.0 wordt door de moederbord bepaald, niet door de adapter toch? Adapter is gewoon een andere form factor, de draadjes van M.2 slot pins direct 1-1 naar PCIe slot pins gaan, zonder enige aanpassing.

De draadjes moeten wel goed genoeg zijn om het signaal heel aan de andere kant te laten komen. Iedere volgende PCIe-generatie worden de eisen groter.

@dcm360 je tests laten zien dat 10Gb netwerk kaart kan wel zuinig zijn: +1W voor Asus en +3W voor Intel kaart. (+20W voor HP). Leuk, ik dacht 10Gb is no go voor zuinige thuisnetwerk.

Het valt inderdaad redelijk mee. Let er wel op dat de 10Gb kaartjes er door mijn testmethode gunstig uit komen: de kabel uit een onboard netwerkpoort halen zorgt er voor dat die minder gaat gebruiken. Op het B350-moederbord gebruikte de Realtek netwerkkaart zonder kabel ongeveer 2-3W minder (uit mijn hoofd, helaas vergeten te noteren tijdens het testen). De Intel-netwerkkaarten op het Supermicro-moederbord doen het beter, daar scheelt het 0.5W (zojuist gemeten, die ligt nog op mijn bureau).

Airw0lf schreef op zondag 11 juni 2023 @ 19:22:
[...]


Maakt glas op koper dan nog wat uit? Iemand een idee?

Als ik op fs.com spiek, zouden DAC-kabels het minste verbruik moeten hebben, met minder dan 0.1W. Tranceivers voor glas komen op maximaal 1W, maar dat is gok ik zo wel pas tegen de maximale kabellengte. En dan komen nog tranceivers voor RJ45 met verbruik daar weer boven. Maar dat is dus als je alleen kijkt naar SFP+, een vergelijking tussen bijvoorbeeld de ASUS XG-C100C en XG-C100F zou in dat opzicht ook wel meerwaarde toevoegen, maar helaas heb ik ze niet beiden liggen.

[GioStyle]

RobertMe schreef op vrijdag 9 juni 2023 @ 09:52:
Semi offtopic vraagje, maar ik meen dat het onderwerp hier wel eens langs is gekomen (specifiek door @GioStyle meen ik).
Nanelijk het combineren van adapters. Ik heb het Ziggo modem en de TopTon zelfbouw router bij elkaar hangen, een flink stuk van het stopcontact, en zou deze graag vanaf 1 adapter voeden (beide zijn 12V). Op een Amazon zijn 1000-en-1 van die DC splitter cables te vinden. Alleen zijn deze of ongespecificeerd of doen max 2A (in het midden latende of dat voor of na de split is). Alleen heb ik (maximaal) meer nodig, die TopTon is meen ik 4A max, en Ziggo modem zal ook wel max 2A of 3A zijn. Dus ik moet een voldoende dikke kabel hebben hiervoor met dus 8A aan de "invoer" kant en 4A aan de "uitvoer" kant. Iemand tips daarvoor?

Ik gebruik hier een Leicke 12V5A adapter en aan deze voeding hangt het volgende:

- NTU (KPN)
- Edgerouter X
- Odroid H2+
- 12V naar USB converter (om 3x YouLess te voeden)

In mijn geval zijn alle pinnen (uit mijn hoofd) 5.5/2.1mm. Ik heb een simpele 4 weg dc splitter gekocht op Ali en deze tussen de voedingsdapter en apparaten gezet plus eventuele verlangkabeltjes. Gewoon standaard gekocht, niets zelf gefabriceerd.

Jouw Ziggo modem heeft dacht ik uit mijn hoofd sowieso een andere pin, dus daar zal je ook een verloopje moeten verzinnen.

Ik heb het overigens niet gedaan voor de efficiëntie, maar voor het minimaliseren van de kabels. Zulke dc kabeltjes zijn veel fijner/kleiner dan de lompe ac stekkers plus voedingsadapters. Mijn 'core' netwerk heeft maar 2 stopcontacten nodig. Bovenstaande setup voor de ene helft, PoE switch voor de andere helft. En dan nog twee adapters voor de overige drie Odroids.

[Airw0lf]

dcm360 schreef op zondag 11 juni 2023 @ 20:58:

Als ik op fs.com spiek, zouden DAC-kabels het minste verbruik moeten hebben, met minder dan 0.1W. Tranceivers voor glas komen op maximaal 1W, maar dat is gok ik zo wel pas tegen de maximale kabellengte.

Was me ook al opgevallen - en een DAC is feitelijke kabel plus twee transceivers. En dan maar 0,1W - klinkt als (te?) "weinig".

Bij glastransceivers heb je er twee nodig om er iets werkends van te maken. Wat dan neer komt op 2W - klinkt als "veel".

Wat zou kunnen is dat een glastransceiver moet versterken - en een DAC-kabel niet.

Maar goed - ik zou niet weten hoe je zoiets meet...

[ Voor 6% gewijzigd door Airw0lf op 11-06-2023 21:43 ]

[RobertMe]

Airw0lf schreef op zondag 11 juni 2023 @ 21:38:
[...]


Was me ook al opgevallen - en een DAC is feitelijke kabel plus twee transceivers. En dan maar 0,1W - klinkt als (te?) "weinig".

Bij glastransceivers heb je er twee nodig om er iets werkends van te maken. Wat dan neer komt op 2W - klinkt als "veel".

Wat zou kunnen is dat een glastransceiver moet versterken - en een DAC-kabel niet.

Maar goed - ik zou niet weten hoe je zoiets meet...

Maar een DAC is een DAC? En glasvezel en RJ45 niet.
Als in: een router/switch moet een SFP(+) signaal genereren en een SFP module moet dit weer omzetten. Bij DAC zal er geen omzetting zijn? Omdat beide apparaten dan "SFP met elkaar babbelen"? Dus er valt dan een heel protocol, en daarmee omzetting weg. Want het SFP signaal is er altijd, onafhankelijk van het type module, alleen is er bij glas/RJ45 ook nog een extra signaal, en dat geeft een overhead.

[latka]

andru123 schreef op zaterdag 10 juni 2023 @ 18:28:
[...]
De echte Intel netwerk card ziet vrij complex eruit met heleboel electronica op. Wat doet het, geen idee, en waarom op een kleine kaart zo weinig op zit.

Heb ik me ook afgevraagd. Fujitsu I350 kaart is echt veel eenvoudiger.

[latka]

Airw0lf schreef op zondag 11 juni 2023 @ 21:38:
[...]

Was me ook al opgevallen - en een DAC is feitelijke kabel plus twee transceivers. En dan maar 0,1W - klinkt als (te?) "weinig".

Bij glastransceivers heb je er twee nodig om er iets werkends van te maken. Wat dan neer komt op 2W - klinkt als "veel".

Wat zou kunnen is dat een glastransceiver moet versterken - en een DAC-kabel niet.

Maar goed - ik zou niet weten hoe je zoiets meet...

Een DAC cable is max. 5 meter lang. Hier wordt niet versterkt en ook niet omgezet van electrisch naar optisch oid. Transceivers naar glas klinkt 1W reeel. En RJ45 transceivers loopt het op tot 5-6W omdat er een versterkt electrisch signaal nodig is wat heel snel van 0 naar 1 kan schakelen wat bij hoge snelheden op lange afstanden serieus onzuinig is. 10Gbe met DAC voor de korte afstanden is maar een klein beetje onzuiniger dan een 1Gbe link over RJ45.

[andru123]

Mich schreef op zondag 11 juni 2023 @ 20:04:
Past het koelblok er dan weer op of niet?

Ja. Qua afmetingen de kaart zelf is geen probleem. Het is geen koelblok, maar decoratieve plastic omhulsing dat bovenop zit. Koelblok is apart, alles met schroeven aan elkaar.
De flex kabel netjes leiden is een beetje moijelijk. Ik zou het liever met een gewone kabel vervangen.
Op de plaatjes staat de koelblok nog niet in. (Om koelblok terug te zetten, moet ik CPU cooler afhalen, en met Intel’s patented push pins heb ik weinig zin om dit zonder goede reden te doen. Ik gebruik het al maanden zonder koelblok, heeft weinig zin met i3, het wordt nooit warm.)

Trouwens, ik was benieuwd waar crystal oscillator is, hij is nodig voor de chip. Hij zit gewoon onder de sticker:

[ Voor 10% gewijzigd door andru123 op 12-06-2023 02:23 ]

[andru123]

Ik heb picoPSU 160 xt getest met de bijgeleverde Edac adapter uit andru123 in "Het grote zuinige server topic - deel 3"
Resultaten zijn ..
Mijn systeem met Asus B660i doet met Rm550x in idle ~ 5.2W (springt af en toe naar 5.8, 6.1, 5.2, ..), maar meestal zit het bij de 5.2.

Met picoPSU-160-XT en de Edac EA11803A-120:
- Min. - 5.2W (eens 5.0 gezien) - maar meestaal gaat niet lager dan 5.6
- Avg. - 7.5W
Probleem 1 - het vermogen veranderd constant 5.6, 7.8 6.0 9.2 6.5 5.8 8.8 …. Echt grote sprongen. Avg. 7.5 of zo.
Probleem 2 - verbruikt 1.7 - 2.6W in uit stand. Bij Rm550x met PC uit - het is 0W met af en toe 0.1W.

Ik heb dan de power adapter apart gemeten zonder load. en ik zie precies hetzelfde gedrag - het vermogen springt elke seconde tussen 0,6 W en 1,4 W. PF tussen 1,0 en 0,03 en VA 0 tot 7,7.
Inderdaad een slechte adapter, @mrmrmr was right.
Nou, ik heb een leuke FSP op ebay voor 10$ bemachtigd, geen probleem, dacht ik. Ik ga er gewoon mee testen.
maar - tot mijn grote verbazing en teleurstelling - past de connector niet!
Dit is FSP:

Blijkt dat het geen 5.5x2.5 connector heeft, maar iets groter. Hij past gewoon niet, en ik kan nergens een verloopstuk vinden. Die bestaan niet!
Hier de connector van deze FSP naast een 5.5x2.5mm verloopstuk:

Na zoeken, blijkt dat inderdaad Sparkle power maakt heleboel bizarre connectors, zonder duidelijk vermelden van types, etc. Of, misschien heb ik niet goed opgelet. Goedkoop, duurkoop.
Nu of ik moet een nieuwe adapter zoeken, of ga ik gewoon de connector afsnijden en zelf de draden aan de juiste connector bevestigen. Verloopstukjes zijn nergens te vinden. Ik denk ik deze 6.5mm connector heb:

[XyRuS]

Ik ben ook begonnen aan het bouwen van een nieuwe server, alleen het energie verbruik valt met 27 watt idle behoorlijk tegen. Het lukt niet om in een lagere package state dan C3 te komen.

Het energieverbruik na een schone install van debian 12 schommelt rond de 27 watt. Gemeten met twee verschillende energie meters. Een zigbee plug (geleend van mij fiets opladers, vandaar de naam) en een PZEM-004T. De laatste vertrouw ik meer dan de zigbee meter.

In Windows 11 & Ubuntu behaal ik dezelfde resultaten. Windows lukt het niet om onder de 30 watt te komen, Ubuntu is gelijk aan Debian qua stroom verbruik.

In de UEFI instellingen heb ik voor mijn gevoel elk mogelijke combinatie geprobeerd. In elk geval zijn alle C states, package C states en ASPM geactiveerd. Intel turbo boost aan of uit maakt geen verschil. Onboard audio of SATA controller in of uitgeschakeld doet ook niks, verder zit er niks op het moederbord wat ik kan uitschakelen.

Daarnaast een test gedaan met maar 1 SSD, in beide slots getest. Ook zonder HDMI kabel, geen toetsenbord geen verschil.

Op het forum van Unraid is er ook een topic te vinden waar mensen een laag verbruik najagen. Daar vind ik posts over zelfde problemen:

https://forums.unraid.net.../page/14/#comment-1256812
https://forums.unraid.net.../page/14/#comment-1256827

Dit is de hardware die ik heb aangekocht:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13400 Boxed	€ 233,82	€ 233,82
1	Moederborden	ASRock B760M PG Riptide	€ 139,90	€ 139,90
1	Behuizingen	Nox Forte	€ 30,08	€ 30,08
1	Geheugen intern	Corsair Vengeance CMK32GX5M2B5600C36	€ 94,90	€ 94,90
1	Voedingen	Sharkoon WPM Gold ZERO	€ 69,-	€ 69,-
1	Solid state drives	Samsung 970 Evo Plus 2TB	€ 104,-	€ 104,-
1	Solid state drives	Samsung 980 1TB	€ 55,41	€ 55,41
			Totaal	€ 727,11

PZEM-004T metingen, elke 3 sec.



Zigbee plug, elke minuut



Ik heb powertop 2.15 gecompiled omdat 2.14 de 13th gen Intel nog niet ondersteund. Ik zie in powertop dat de package state niet hoger komt dan C3. Uiteraard alle tuneables op good gezet en daarnaast ook --auto-tune uitgevoerd. Maakt geen verschil.



Met commando watch -n3 "cpufreq-info | grep 'current CPU'" zie ik dat ook alle cores op 2.5ghz blijven plakken.



Commando lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )' laat zien dat ASPM is geactiveerd.



In de UEFI instelling heb ik al diverse combinaties geprobeerd, naar mijn idee staat alles goed.

Overclock CPU settings >
Intel turbo boost aan of uit, geen verschil.


CPU settings >
Alle CPU C states op enabled en auto geprobeerd, geen verschil.
Package C state op enabled of auto, geen verschil.


ASPM settings>


ACPI settings >
Alles op default settings, volgens mij hebben deze instellingen geen effect.


Wie heeft de gouden tip, ik ben nu 4 dagen aan het stoeien en in staat om als test een ander moederbord te kopen omdat ik deze verdenk.

[GioStyle]

Probeer eens een ander OS, zoals Debian of Windows. Dan kan je uitsluiten of het aan de hardware ligt of aan het OS, en ik vermoed stiekem beiden...

[XyRuS]

GioStyle schreef op maandag 12 juni 2023 @ 22:30:
Probeer eens een ander OS, zoals Debian of Windows. Dan kan je uitsluiten of het aan de hardware ligt of aan het OS, en ik vermoed stiekem beiden...

XyRuS schreef op maandag 12 juni 2023 @ 22:19:
In Windows 11 & Ubuntu behaal ik dezelfde resultaten. Windows lukt het niet om onder de 30 watt te komen, Ubuntu is gelijk aan Debian qua stroom verbruik.

Windows 11 en Ubuntu al geprobeerd, maar ik sta open voor suggesties

[GioStyle]

Never mind, ik heb daar overheen gelezen. Ik zag alleen Unraid staan.

[gekkie]

XyRuS schreef op maandag 12 juni 2023 @ 22:36:
[...]


[...]


Windows 11 en Ubuntu al geprobeerd, maar ik sta open voor suggesties

Nieuwere kernel (je hebt immers een aardig nieuwe CPU, 6.4 komt al bijna weer uit), stock debian 12 zal wel de 6.1 LTS kernel hebben.
Andere scheduler / govenor, al zou je misschien hopen dat powertop je daar al goed over doet adviseeren ?

[XyRuS]

gekkie schreef op maandag 12 juni 2023 @ 22:41:
[...]

Nieuwere kernel (je hebt immers een aardig nieuwe CPU, 6.4 komt al bijna weer uit), stock debian 12 zal wel de 6.1 LTS kernel hebben.
Andere scheduler / govenor, al zou je misschien hopen dat powertop je daar al goed over doet adviseeren ?

Ik heb getest met 6.1.27-1 en omdat daar het stroom verbruik nog hoog is, en ik later proxmox wil draaien, heb ik ook de proxmox kernel getest 6.2.16-1-pve met hetzelfde stroom verbruik al resultaat.

Om 6.4 te draaien moet ik die denk ik zelf compileren vermoed ik? Dat ga ik onderzoeken of dat verschil maakt.

CPU govenor zojuist ingesteld op powersave met cpupower frequency-set -g powersave en ik zie nu wel een paar cores terug klokken naar 800 mhz. Ongeveer 1 watt winst

[gekkie]

XyRuS schreef op maandag 12 juni 2023 @ 22:57:
[...]
Ik heb getest met 6.1.27-1 en omdat daar het stroom verbruik nog hoog is, en ik later proxmox wil draaien, heb ik ook de proxmox kernel getest 6.2.16-1-pve met hetzelfde stroom verbruik al resultaat.

Om 6.4 te draaien moet ik die denk ik zelf compileren vermoed ik? Dat ga ik onderzoeken of dat verschil maakt.

Nu zeker, aangezien men pas bij release candidate 6 is, misschien dat hij uiteindelijk ook wel via debian-backports beschikbaar komt. Maar ook duurt soms wel even.

CPU govenor zojuist ingesteld op powersave met cpupower frequency-set -g powersave en ik zie nu wel een paar cores terug klokken naar 800 mhz. Ongeveer 1 watt winst

Hmm hoe idle is idle dan vraag ik me af, als hij niet echt verder wil zakken op meer cores.

[XyRuS]

gekkie schreef op maandag 12 juni 2023 @ 23:15:
[...]

Nu zeker, aangezien men pas bij release candidate 6 is, misschien dat hij uiteindelijk ook wel via debian-backports beschikbaar komt. Maar ook duurt soms wel even.

Oke, mooi studie projectje, nog nooit eerder gedaan.

gekkie schreef op maandag 12 juni 2023 @ 23:15:
[...]

Hmm hoe idle is idle dan vraag ik me af, als hij niet echt verder wil zakken op meer cores.

Mm, vermoedelijk is mijn vorige waarneming niet juist. Via powertop zie ik meer cores op 800mhz, en de rest ook een stuk lager. Hoe idle het echt is, in elk geval geen software of services geinstalleerd na een verse install. Ik zie gemiddeld 160 wakeups, volgens mij niet veel toch?

[andru123]

Ik zou proberen Turbo Boost en Thermal voltage optimizations uitzetten, en ook RTC wake up.
En ook misschien proberen netwerk helemaal uitzetten in bios? Van de error zie ik in een voorbeeld dat er is een andere driver voor Realtek card. Trouwens, zie ik geen regels: ASPM_L1.2- in de output? Filtreer je te veel?

[XyRuS]

andru123 schreef op maandag 12 juni 2023 @ 23:38:
Ik zou proberen Turbo Boost en Thermal voltage optimizations uitzetten, en ook RTC wake up.
En ook misschien proberen netwerk helemaal uitzetten in bios?

Bedankt, die instellingen ga ik morgen aanpassen, kom ik op terug. In de bios kan ik de netwerk chip niet uitschakelen. Zou het effect het zelfde zijn als ik voorkom dat de driver word ingeladen?

andru123 schreef op maandag 12 juni 2023 @ 23:38:
Van de error zie ik in een voorbeeld dat er is een andere driver voor Realtek card. Trouwens, zie ik geen regels: ASPM_L1.2- in de output? Filtreer je te veel?

Ik filter teveel, hier een pastebin waar ik ASPM_L1.2- zie terugkomen. Kan je de andere driver toelichten, die begrijp ik niet helemaal.

[mrmrmr]

XyRuS schreef op maandag 12 juni 2023 @ 22:57:

Ik heb getest met 6.1.27-1 en omdat daar het stroom verbruik nog hoog is, en ik later proxmox wil draaien, heb ik ook de proxmox kernel getest 6.2.16-1-pve met hetzelfde stroom verbruik al resultaat.

Om 6.4 te draaien moet ik die denk ik zelf compileren vermoed ik? Dat ga ik onderzoeken of dat verschil maakt.

Ja, je hebt de allerlaatste kernel nodig voor de laatste support van nieuwe processoren. ACPI_C3 toont powertop als die de nieuwe processor nog niet kent. Maar het betekent niet dat cores niet in C8 of C10 draaien. Het is dan alleen een weergave probleem.

Package C2/C3 is een probleem. Meestal doordat een onderdeel ASPM niet of niet volledig wordt ondersteund.

CPU govenor zojuist ingesteld op powersave met cpupower frequency-set -g powersave en ik zie nu wel een paar cores terug klokken naar 800 mhz. Ongeveer 1 watt winst

800 MHz is standaard idle voor veel processors.

Riptide een overklokkers/gamers bord, die is niet gemaakt om zuinig te zijn.

Zet het geheugen in SPD standaard waarde, geen XMP. Dat kan tamelijk laag uitvallen, maar voor de test kun je dit doen. Gebruik geen BCLK overklok of andere overklok.

Test in standaard configuratie (ssd, netwerk, bedraad toetsenbord/muis, monitor in slaapstand, zie topic start). Zonder extra's zoals hard disks, USB devices e.d.

Verwijder eventueel een aanwezige WiFi module.

Intel Turbo Boost Technology: disabled
Intel Turbo Boost Max Technology 3.0: test disabled
PL1/PL2 beperken
CPU C States Support: enabled
Enhanced Halt State (C1E): enabled
CPU C6 State Support: enabled
CPU C7 State Support: enabled
Package C State Support: enabled
C6DRAM: enabled (test)
C.A.M (Clever Access Memory): disabled (test)
DMI Link Speed: Gen3
PCIE1/2/3/ Link Speed: Gen3 als het in gebruik is, anders auto
PCI Express Native Control: enabled
PCIE ASPM Support: L0sL1
PCH PCIE ASPM Support: Auto (test: L1)
DMI ASPM Support: enabled
PCH DMI ASPM Support: enabled
Realtek RTL8125BG: disabled
Intel(R) Ethernet Connection I219-V: enabled
Intel(R) Ethernet Connection I226-V: enabled (of disabled als I219-V al aan staat)
Killer E3100G: disabled
Onboard HD Audio: auto
Front Panel: HD
Onboard WAN Device: disabled


SATA Mode Selection: AHCI (geen RAID)
SATA Aggressive Link Power Management: enabled
Discrete Thunderbolt(TM) Support: disabled
PS2 Y-Cable: auto
PCIE Devices Power On: disabled

RTC Alarm Power On: disabled
USB Keyboard/Remote Power On: enabled (om iets te hebben om een machine uit slaapstand te krijgen)
USB Mouse Power On: disabled
Legacy USB Support: auto
XHCI Hand-off: disabled (probeer auto)
Auto Driver Installer: disabled (Windows)

Zijn er fans aangesloten? Ontkoppel die behalve de fan voor de processor.

ASPM:
NVMe SSD Controller 980: L1 PM substates zijn allemaal uitgeschakeld.
NVMe SSD Controller SM981/PM981/PM983: L1 PM substates zijn allemaal uitgeschakeld.
RTL8125 2.5GbE Controller: L1 PM substates zijn allemaal uitgeschakeld.

Dat is waarschijnlijk de oorzaak voor Package C3.

Probeer 1 SSD in apart in elk een van de twee slots. Soms is een tweede M.2 slot niet in staat om ASPM volledig te ondersteunen. Gebruik voor de test de Realtek netwerkaansluiting niet.

Gebruik een eventueel aanwezige Intel NIC.

Maar dan nog denk ik dat je niet zo hoog zou moeten meten. Kijk je naar het VA verbruik of naar het netto verbruik na power factor correctie?

[N8w8]

@XyRuS, Siduction heeft nieuwere kernels, die heb ik ooit wel met succes gebruikt icm Debian.
Hier kan je debs ervan downloaden, o.a. Linux 6.4-rc5 zie ik.
Of je kan mss "deb https://packages.siduction.org/extra unstable main" toevoegen aan je sources.list.

Overigens heeft Debian zelf (naast stable/testing/unstable) nog een "experimental" suite, daarin kan je Linux 6.3.5 vinden, zie hier.

[mrmrmr]

mrmrmr schreef op dinsdag 13 juni 2023 @ 00:30:
[...]


Ja, je hebt de allerlaatste kernel nodig voor de laatste support van nieuwe processoren. ACPI_C3 toont powertop als die de nieuwe processor nog niet kent. Maar het betekent niet dat cores niet in C8 of C10 draaien. Het is dan alleen een weergave probleem.

Het meest voor de hand liggende vergeet ik nog: de firmware-non-free packages installeren, en het uitschakelen van de monitor met consoleblank (voor command line instalaties, of voor zo verder nodig xset). Zie de topic start voor uitleg.

[XyRuS]

gekkie schreef op maandag 12 juni 2023 @ 22:41:
[...]

Nieuwere kernel (je hebt immers een aardig nieuwe CPU, 6.4 komt al bijna weer uit), stock debian 12 zal wel de 6.1 LTS kernel hebben.

mrmrmr schreef op dinsdag 13 juni 2023 @ 00:30:
Ja, je hebt de allerlaatste kernel nodig voor de laatste support van nieuwe processoren. ACPI_C3 toont powertop als die de nieuwe processor nog niet kent. Maar het betekent niet dat cores niet in C8 of C10 draaien. Het is dan alleen een weergave probleem.

N8w8 schreef op dinsdag 13 juni 2023 @ 01:06:
@XyRuS, Siduction heeft nieuwere kernels, die heb ik ooit wel met succes gebruikt icm Debian.
Hier kan je debs ervan downloaden, o.a. Linux 6.4-rc5 zie ik.
Of je kan mss "deb https://packages.siduction.org/extra unstable main" toevoegen aan je sources.list.

Overigens heeft Debian zelf (naast stable/testing/unstable) nog een "experimental" suite, daarin kan je Linux 6.3.5 vinden, zie hier.

Vanuit de debian experimental repo heb ik 6.3.0-0-amd64 geinstalleerd, maakt geen verschil. Daarna 6.4.0-rc6-siduction-amd64 helaas ook zonder resultaat.

andru123 schreef op maandag 12 juni 2023 @ 23:38:
Ik zou proberen Turbo Boost en Thermal voltage optimizations uitzetten, en ook RTC wake up.
En ook misschien proberen netwerk helemaal uitzetten in bios?

Thermal boost, thermal voltage, audio en netwerk chip uitgeschakeld in bios maar geen verbetering in package state.

mrmrmr schreef op dinsdag 13 juni 2023 @ 00:30:
Zet het geheugen in SPD standaard waarde, geen XMP. Dat kan tamelijk laag uitvallen, maar voor de test kun je dit doen. Gebruik geen BCLK overklok of andere overklok.

Test in standaard configuratie (ssd, netwerk, bedraad toetsenbord/muis, monitor in slaapstand, zie topic start). Zonder extra's zoals hard disks, USB devices e.d.

Verwijder eventueel een aanwezige WiFi module.

Heb geen overclock profiel geladen, geheugen draait op standaard snelheid. Heb getest met zo min mogelijk devices en nu ook met netwerk en audio uitgeschakeld in bios. Ook al geprobeerd zonder monitor, toetsenbord of usb sticks aangesloten en via putty ingelogd. Wifi zit niet op het bord.

mrmrmr schreef op dinsdag 13 juni 2023 @ 00:30:
ASPM:
NVMe SSD Controller 980: L1 PM substates zijn allemaal uitgeschakeld.
NVMe SSD Controller SM981/PM981/PM983: L1 PM substates zijn allemaal uitgeschakeld.
RTL8125 2.5GbE Controller: L1 PM substates zijn allemaal uitgeschakeld.

Dat is waarschijnlijk de oorzaak voor Package C3.

Probeer 1 SSD in apart in elk een van de twee slots. Soms is een tweede M.2 slot niet in staat om ASPM volledig te ondersteunen. Gebruik voor de test de Realtek netwerkaansluiting niet.

Gebruik een eventueel aanwezige Intel NIC.

Maar dan nog denk ik dat je niet zo hoog zou moeten meten. Kijk je naar het VA verbruik of naar het netto verbruik na power factor correctie?

Ik kan zo alle NVME's eruit halen en booten naar een ubuntu live omgeving. Dat zou de disks kunnen uitsluiten. Zoals gezegd heb ik de netwerk chip al uitgeschakeld, maar eventueel heb ik nog wel een Intel pci-e nic liggen.

Ik meet het verbruik naar de PF correctie. Ik kan het ook terug zien in de slimme meter. Sluipverbruik is snachts 160 watt maar met de server aan is de bodem vannacht 190 watt geweest.

mrmrmr schreef op dinsdag 13 juni 2023 @ 00:30:
Intel Turbo Boost Technology: disabled
Intel Turbo Boost Max Technology 3.0: test disabled
PL1/PL2 beperken
CPU C States Support: enabled
Enhanced Halt State (C1E): enabled
CPU C6 State Support: enabled
CPU C7 State Support: enabled
Package C State Support: enabled
C6DRAM: enabled (test)
C.A.M (Clever Access Memory): disabled (test)
DMI Link Speed: Gen3
PCIE1/2/3/ Link Speed: Gen3 als het in gebruik is, anders auto
PCI Express Native Control: enabled
PCIE ASPM Support: L0sL1
PCH PCIE ASPM Support: Auto (test: L1)
DMI ASPM Support: enabled
PCH DMI ASPM Support: enabled
Realtek RTL8125BG: disabled
Intel(R) Ethernet Connection I219-V: enabled
Intel(R) Ethernet Connection I226-V: enabled (of disabled als I219-V al aan staat)
Killer E3100G: disabled
Onboard HD Audio: auto
Front Panel: HD
Onboard WAN Device: disabled


SATA Mode Selection: AHCI (geen RAID)
SATA Aggressive Link Power Management: enabled
Discrete Thunderbolt(TM) Support: disabled
PS2 Y-Cable: auto
PCIE Devices Power On: disabled

RTC Alarm Power On: disabled
USB Keyboard/Remote Power On: enabled (om iets te hebben om een machine uit slaapstand te krijgen)
USB Mouse Power On: disabled
Legacy USB Support: auto
XHCI Hand-off: disabled (probeer auto)
Auto Driver Installer: disabled (Windows)

Voor zover mijn bios overeenkomt alle instellingen overgenomen, helaas nog niet.

mrmrmr schreef op dinsdag 13 juni 2023 @ 08:52:
[...]


Het meest voor de hand liggende vergeet ik nog: de firmware-non-free packages installeren, en het uitschakelen van de monitor met consoleblank (voor command line instalaties, of voor zo verder nodig xset). Zie de topic start voor uitleg.

Debian bookworm heeft tegenwoordig firmware-non-free standaard geinstalleerd/enabled. Uiteraard wel gecontroleerd en package firmware-misc-nonfree is geinstalleerd. Console blank op 1 minuut, geen resultaat.



Wel enorm bedankt voor het meedenken allemaal! Ik ga nu een live ubuntu testen zonder NVME's. Als dat niks oplost zit ik eraan te denken om een ander board te kopen. Iemand daarin suggesties? In elk geval mATX, DDR5 en socket 1700 & 2* M2. Zou dit wat kunnen zijn of zou het verstandig zijn om voor een andere chipset te gaan? https://www.msi.com/Motherboard/PRO-B760M-P/Specification

[Mich]

XyRuS schreef op dinsdag 13 juni 2023 @ 11:11:
[...]


[...]


[...]


Vanuit de debian experimental repo heb ik 6.3.0-0-amd64 geinstalleerd, maakt geen verschil. Daarna 6.4.0-rc6-siduction-amd64 helaas ook zonder resultaat.


[...]


Thermal boost, thermal voltage, audio en netwerk chip uitgeschakeld in bios maar geen verbetering in package state.


[...]


Heb geen overclock profiel geladen, geheugen draait op standaard snelheid. Heb getest met zo min mogelijk devices en nu ook met netwerk en audio uitgeschakeld in bios. Ook al geprobeerd zonder monitor, toetsenbord of usb sticks aangesloten en via putty ingelogd. Wifi zit niet op het bord.


[...]


Ik kan zo alle NVME's eruit halen en booten naar een ubuntu live omgeving. Dat zou de disks kunnen uitsluiten. Zoals gezegd heb ik de netwerk chip al uitgeschakeld, maar eventueel heb ik nog wel een Intel pci-e nic liggen.

Ik meet het verbruik naar de PF correctie. Ik kan het ook terug zien in de slimme meter. Sluipverbruik is snachts 160 watt maar met de server aan is de bodem vannacht 190 watt geweest.


[...]


Voor zover mijn bios overeenkomt alle instellingen overgenomen, helaas nog niet.


[...]


Debian bookworm heeft tegenwoordig firmware-non-free standaard geinstalleerd/enabled. Uiteraard wel gecontroleerd en package firmware-misc-nonfree is geinstalleerd. Console blank op 1 minuut, geen resultaat.



Wel enorm bedankt voor het meedenken allemaal! Ik ga nu een live ubuntu testen zonder NVME's. Als dat niks oplost zit ik eraan te denken om een ander board te kopen. Iemand daarin suggesties? In elk geval mATX, DDR5 en socket 1700 & 2* M2. Zou dit wat kunnen zijn of zou het verstandig zijn om voor een andere chipset te gaan? https://www.msi.com/Motherboard/PRO-B760M-P/Specification

Ik heb begin dit jaar ook een bord gehad van asrock. Een mini ITX met een Z760 chipset. Ik kwam toen met geen mogelijkheid lager dan 8 of 9 W ( en dit met veel pijn en moeite, normaal was rond 12). Toen ingeruild voor een Asus en daar kwam ik zonder toeters en bellen al de helft lager uit.

[mrmrmr]

@XyRuS Een voeding kan ook veel invloed hebben, ongeacht welke 80plus categorie het valt. Een gewone ATX voeding heeft bij laag verbruik een flinke overhead. Minder dan 50% efficientie is niet ongebruikelijk bij minder dan 10W, dan valt het verbruik dus 2x hoger uit dan het systeem opneemt.

Ik weet niet hoe de efficientie van jouw voeding is.

Als je een moederbord zoekt, kijk dan altijd of de netwerkchip een Intel is. Die heeft het minste moeite om ASPM goed te ondersteunen. Ga er van uit dat een tweede M.2 slot in de weg zit bij het bereiken van een hoge package C state. Dat kan meerdere Watts schelen.

Een Kontron K3843-B is zeer zuinig, maar momenteel niet in voorraad (behalve bij bicker.de, misschien kun je hen eens contacteren als je een bedrijf hebt).

Wel in voorraad is een K3842-Q uit dezelfde serie. Hoe zuinig die is, is nog onbekend, maar eerder presteerde dergelijke moederborden ongeveer hetzelfde (D3643-B, D3642, D3644). De meeste aanbieders van deze borden zitten in Duitsland.

Sommige Asus borden zoals die van @Mich zijn inderdaad zuinig. Het is niet altijd van te voren duidelijk welke precies, Asus heeft nogal veel borden en varianten.

[ Voor 3% gewijzigd door mrmrmr op 13-06-2023 13:40 ]

[XyRuS]

Mich schreef op dinsdag 13 juni 2023 @ 13:11:
[...]


Ik heb begin dit jaar ook een bord gehad van asrock. Een mini ITX met een Z760 chipset. Ik kwam toen met geen mogelijkheid lager dan 8 of 9 W ( en dit met veel pijn en moeite, normaal was rond 12). Toen ingeruild voor een Asus en daar kwam ik zonder toeters en bellen al de helft lager uit.

Met 12 watt zou ik al blij zijn Ik ben al een beetje aan het rond kijken naar een ander board, ik zie Asus ook al eerder terug komen in het topic waar er met een 13th gen succes is geboekt. Ik kan een MSI bord van iemand lenen om mee te testen, dus dat word mijn volgende stap.

Alvast vooruit denkend en een beetje offtopic. Mocht een ander board de oplossing zijn, zou het dan gerechtvaardigd zijn om de huidige terug te sturen? Een beetje tegen mijn principe in maar feitelijk doet het niet wat het moet doen?

mrmrmr schreef op dinsdag 13 juni 2023 @ 13:37:
@XyRuS Een voeding kan ook veel invloed hebben, ongeacht welke 80plus categorie het valt. Een gewone ATX voeding heeft bij laag verbruik een flinke overhead. Minder dan 50% efficientie is niet ongebruikelijk bij minder dan 10W, dan valt het verbruik dus 2x hoger uit dan het systeem opneemt.

Ik weet niet hoe de efficientie van jouw voeding is.

Als je een moederbord zoekt, kijk dan altijd of de netwerkchip een Intel is. Die heeft het minste moeite om ASPM goed te ondersteunen. Ga er van uit dat een tweede M.2 slot in de weg zit bij het bereiken van een hoge package C state. Dat kan meerdere Watts schelen.

Een Kontron K3843-B is zeer zuinig, maar momenteel niet in voorraad (behalve bij bicker.de, misschien kun je hen eens contacteren als je een bedrijf hebt).

Wel in voorraad is een K3842-Q uit dezelfde serie. Hoe zuinig die is, is nog onbekend, maar eerder presteerde dergelijke moederborden ongeveer hetzelfde (D3643-B, D3642, D3644). De meeste aanbieders van deze borden zitten in Duitsland.

Sommige Asus borden zoals die van @Mich zijn inderdaad zuinig. Het is niet altijd van te voren duidelijk welke precies, Asus heeft nogal veel borden en varianten.

Goed punt betreft de voeding, stel hij zou maar 50% efficiënt zijn dan zou de 12 watt die @Mich vernoemd al resulteren in 24 watt , wat in de buurt van mijn metingen komt. Al verklaard dat nog niet waarom ik in powertop niet boven C3 uit komt toch?

Zou ik de 12v lijn kunnen na meten met een stroomtang op de ATX en CPU12v stekker om een idee te krijgen? Of moet ik dan ook alle 5v en 3.3v lijnen meten?

Hoe zou je opslag adviseren met 1 m2 slot? De rest via sata ssd's? De interne netwerk chip in de bios uitschakelen en een intel pcei kaart toevoegen is dus de moeite waard om te proberen, die heb ik liggen. Uitschakelen en geen enkele netwerk kaart heeft op AStock in elk geval geen effect.

Ik hoop van de week het MSI bord te kunnen lenen en mocht dat niet het gewenste resultaat hebben ga ik kijken of ik ergens zo'n mooi kontron bord kan kopen. Helaas geen eigen bedrijf maar mogelijk wel via een kennis mogelijk.

[ Voor 54% gewijzigd door XyRuS op 13-06-2023 13:47 ]

[mrmrmr]

XyRuS schreef op dinsdag 13 juni 2023 @ 13:37:
Met 12 watt zou ik al blij zijn Ik ben al een beetje aan het rond kijken naar een ander board, ik zie Asus ook al eerder terug komen in het topic waar er met een 13th gen succes is geboekt. Ik kan een MSI bord van iemand lenen om mee te testen, dus dat word mijn volgende stap.

Alvast vooruit denkend en een beetje offtopic. Mocht een ander board de oplossing zijn, zou het dan gerechtvaardigd zijn om de huidige terug te sturen? Een beetje tegen mijn principe in maar feitelijk doet het niet wat het moet doen?

Het is sowieso een hoog verbruik, dus dat lijkt me overeenkomstig wetgeving die stelt dat het product moet voldoen aan de verwachtingen. 27W na optimalisatie lijkt me wel onverwacht veel. Als je dat kan bevestigen met een andere voeding.

Goed punt betreft de voeding, stel hij zou maar 50% efficiënt zijn dan zou de 12 watt die @Mich vernoemd al resulteren in 24 watt , wat in de buurt van mijn metingen komt. Al verklaard dat nog niet waarom ik in powertop niet boven C3 uit komt toch?

We hebben hier wel eens oude voedingen gezien die meer dan 10W overhead hadden vanaf nul, maar dat verwacht ik niet meer bij moderne voedingen.

Zou ik de 12v lijn kunnen na meten met een stroomtang op de ATX en CPU12v stekker om een idee te krijgen? Of moet ik dan ook alle 5v en 3.3v lijnen meten?

Eigenlijk wel ja. Maar 12V is een goed begin. 12V is vooral de cpu, 5W wordt gebruikt voor geheugen, 3.3V voor pcie.

Hoe zou je opslag adviseren met 1 m2 slot? De rest via sata ssd's? De interne netwerk chip in de bios uitschakelen en een intel pcei kaart toevoegen is dus de moeite waard om te proberen, die heb ik liggen. Uitschakelen en geen enkele netwerk kaart heeft op AStock in elk geval geen effect.

Als uitschakelen niet werkt, maakt dat het moederbord wel een ongewenst meerverbruik heeft. Het is soms wel mogelijk om vanuit het besturingssysteem ongebruikte onderdelen in een low power stand te zetten.

Ik hoop van de week het MSI bord te kunnen lenen en mocht dat niet het gewenste resultaat hebben ga ik kijken of ik ergens zo'n mooi kontron bord kan kopen. Helaas geen eigen bedrijf maar mogelijk wel via een kennis mogelijk.

MSI staat niet bekend als een zuinige moederbordenproducent. Het zal wel iets lager uitvallen zou ik hopen.

[mrmrmr]

@XyRuS Dit bericht op het Unraid forum is van iemand die twee andere voedingen heeft gebruikt en ongeveer op jouw verbruik komt. Het lijkt erop dat het aan het moederbord ligt.

[andru123]

@XyRuS als het helpt niet, beter alle devices (behalve audio, misch.) enablen in BIOS. Mijn eigen test toont dat netwerk kaart in BIOS uitzetten doet meteen +10W in Linux. Trouwens wat is je verbruik in BIOS? Bij min Asus, in BIOS is 20W, en als Linux/Win geladen is, daalt het naar ~6W.
Neem ik aan dat je hebt al geprobeerd aspm te forceren via parameters? Wat ik zie in je output is dat veel ASPM sub-opties disabled zijn. Dat zie ik hier regelmatig voorkomen met andere mensen. Ik weet niet waarom. Bij mij staan die opties aan, en ik heb niks in linux gedaan behalve powertop. Ik vermoed dat verschillende mensen werken met exotische versies van linux . Mijn advies - probeer met iets echt simpel dat 100% bekend is om te weken. Ik zelf was in 30 min klaar met linux mint op zijn eigen partitie, en ik heb nooit linux gebruikt. Als dat doet dan weet je zeker dat HW goed is, en dan ligt het aan software.
(Jammer dat Asrock B760 onzuinig lijkt - ik was van plan om dit board uitproberen).
Als een product niet voldoet aan verwachtingen - dan heb je (ook morele) recht om het retourneren. Fabrikant heeft slechte product gemaakt - waarom moet je voor dit betalen?
Ook moederbord kan netjes in ongebruikte staat terug verpakt worden. (Met CPU is iets andere verhaal). Dus doe je tests snel binnen de retour termijn, en kies de juiste board voor meerdere jaren

[ Voor 16% gewijzigd door andru123 op 13-06-2023 18:34 ]

[Mich]

XyRuS schreef op dinsdag 13 juni 2023 @ 13:37:
[...]


Met 12 watt zou ik al blij zijn Ik ben al een beetje aan het rond kijken naar een ander board, ik zie Asus ook al eerder terug komen in het topic waar er met een 13th gen succes is geboekt. Ik kan een MSI bord van iemand lenen om mee te testen, dus dat word mijn volgende stap.

Alvast vooruit denkend en een beetje offtopic. Mocht een ander board de oplossing zijn, zou het dan gerechtvaardigd zijn om de huidige terug te sturen? Een beetje tegen mijn principe in maar feitelijk doet het niet wat het moet doen?


[...]


Goed punt betreft de voeding, stel hij zou maar 50% efficiënt zijn dan zou de 12 watt die @Mich vernoemd al resulteren in 24 watt , wat in de buurt van mijn metingen komt. Al verklaard dat nog niet waarom ik in powertop niet boven C3 uit komt toch?

Zou ik de 12v lijn kunnen na meten met een stroomtang op de ATX en CPU12v stekker om een idee te krijgen? Of moet ik dan ook alle 5v en 3.3v lijnen meten?

Hoe zou je opslag adviseren met 1 m2 slot? De rest via sata ssd's? De interne netwerk chip in de bios uitschakelen en een intel pcei kaart toevoegen is dus de moeite waard om te proberen, die heb ik liggen. Uitschakelen en geen enkele netwerk kaart heeft op AStock in elk geval geen effect.

Ik hoop van de week het MSI bord te kunnen lenen en mocht dat niet het gewenste resultaat hebben ga ik kijken of ik ergens zo'n mooi kontron bord kan kopen. Helaas geen eigen bedrijf maar mogelijk wel via een kennis mogelijk.

Je zou voor je realtek kaart nog deze driver kunnen proberen:

https://github.com/awesometic/realtek-r8125-dkms

Ik heb volgens mij wel eens een test gedaan met een 2.5 GB realtek kaart en deze driver haalde het verbruik wel iets omlaag.

Ik zou het eerst proef ondervinderlijk eens proberen met je M2 sloten. Over het algemeen zitten er 2 M2 sloten op. Eentje aangestuurd direct door de CPU. En een aangestuurd door de chipset. De M2 schijf die door de CPU wordt aangestuurd zorgde er bij mij voor dat de CPU niet in C10 state kwam maar in C8 bleef hangen. Nu scheelde dat bij mij toen qua verbruik niet zo heel veel (toen ik dit testte op mijn asus rog B660i moederboord).

edit:

Je zou voor je i915 (onboard graphics) dit nog kunnen proberen.

Een file 915.conf maken in /etc/modprobe.d

/etc/modprobe.d/i915.conf

Daar deze tekst in zetten:

options i915 enable_dc=4 enable_fbc=1 enable_psr=2 enable_guc=3

vervolgens opslaan en dit commando draaien:

update-initramfs -u -k all

[ Voor 6% gewijzigd door Mich op 13-06-2023 20:10 ]

[Calamor]

andru123 schreef op zondag 11 juni 2023 @ 19:07:
@Raven pcie 3.0 of 4.0 wordt door de moederbord bepaald, niet door de adapter toch? Adapter is gewoon een andere form factor, de draadjes van M.2 slot pins direct 1-1 naar PCIe slot pins gaan, zonder enige aanpassing.

@dcm360 je tests laten zien dat 10Gb netwerk kaart kan wel zuinig zijn: +1W voor Asus en +3W voor Intel kaart. (+20W voor HP). Leuk, ik dacht 10Gb is no go voor zuinige thuisnetwerk.

Het is geen netwerk kaard maar een dac verbinding. Die gebruiken SPF(+) en dat is zuiniger en ook nog eens sneller. Er is minder vertaling nodig. Een tijd terug had ik een youtube filmpje er van gezien. Daar dezen ze verschillende testen.

[MuVo]

Mars Warrior schreef op woensdag 19 april 2023 @ 20:33:
[...]

De metingen die je ziet zijn elke keer van het CPU Package Power (CPP). Die zit nu gemiddeld weer rond de 900mW nadat ik AdGuard lekker laat cachen en de minimale TTL op 600 heb gezet

Systeem als geheel doet minimaal 4W. Met 3 schijven zeg 7W en ik vermoed met een CPP van 2W dat het geheel ca 10W uit het stopcontact trekt.

Ik heb het volgende actief in gebruik (19 containers):

• AdGuard + Unbound, ca 26.000 DNS requests / dag
• MkDocs (2x) - documentatie
• WikiJS + Postgres15 - documentatie
• aaPanel (2x) - hosting
• Caddy - web proxy
• Crashplan - backup
• Gotify + Pushtify - notificaties
• SftpGo - sftp en webdav
• Wireguard - VPN
• Telegraf + InfluxDB - metrics monitoring
• Plugsy - simple dashboard
• Portainer - beheer containers
• Vaultwarden - lokale wachtwoorden

De domotica stack draait wel, maar doet nog niks. Draait nog actief op een NUC en is nog niet gemigreerd naar de nieuwe server (7 containers):

• Home Assistant + Postgres15 + InfluxDB
• Dsmr + Postgres15, P1 via ser2net op een RPI - P1 energie
• NanoMQ - mult-threaded MQTT broker
• Zigbee2Mqtt, zigbee stick via ser2net op een RPI - Zigbee devices

En nog wat mogelijke uitbreidingen waar ik nog niet helemaal uit ben (5 containers)

• Janitor en/of Healtchecks.io voor alerting als er iets mis is
• Photoprism - fotobeheer / gallerij
• Adminer - database beheer
• Filerun - file toegang

Toekomst:

• Frigate (dan zal het verbruik van ca 1W wel over zijn )

Met Frigate meegerekend 32 containers.

De 19 actieve en 7 passieve (geen dataverwerking nog) doen dus ca 900mW gemiddeld als je naar het historgram kijkt van de afgelopen 3 uur.

[Afbeelding]

Ik ben onder de indruk van het totaal verbruik en wat er dan op draait. Ik ben momenteel opzoek naar een nieuwe energie zuinige server. Bereik je het bovenstaande met de volgende server "Server Intel 12gen mATX D5 32GB (2023)" uit jouw inventaris?

Of heb je nog een zuinigere server draaien?

[Mars Warrior]

MuVo schreef op donderdag 15 juni 2023 @ 09:54:
[...]
Ik ben onder de indruk van het toaal verbruik en wat er dan op draait. Ik ben momenteel opzoek naar een nieuwe energie zuinige server. Bereik je het bovenstaande met de volgende server "Server Intel 12gen mATX D5 32GB (2023)" uit jouw inventaris?

Yep, dat is mijn huidige server die ik vanaf februari heb opgebouwd

Of heb je nog een zuinigere server draaien?

Nee. Ik heb nu maar 1 server. Ik had er 3. De nieuwe heeft ze allemaal vervangen.

[MuVo]

Mars Warrior schreef op donderdag 15 juni 2023 @ 10:21:
[...]

Yep, dat is mijn huidige server die ik vanaf februari heb opgebouwd

[...]

Nee. Ik heb nu maar 1 server. Ik had er 3. De nieuwe heeft ze allemaal vervangen.

Goed om te lezen, ik vraag me alleen af: hoe heb je de Intel Core i7-12700K Boxed energie zuinig gekregen? Deze cpu heeft toch een vrij hoog idle verbruik op basis van een hoge TDP van 125?

Nu las ik in het topic dat het verbruik aangepast kan worden door bios instellingen aan te passen, maar als ik jouw idle verbuik lees dan is het wel een groot verschil. Heb je dat alleen met bios aanpassingen voor elkaar gekregen?

[dcm360]

MuVo schreef op donderdag 15 juni 2023 @ 10:43:
[...]


Goed om te lezen, ik vraag me alleen af: hoe heb je de Intel Core i7-12700K Boxed energie zuinig gekregen? Deze cpu heeft toch een vrij hoog idle verbruik op basis van een hoge TDP van 125?

Het TDP is het gespecificeerde koelvermogen, en is meer gerelateerd aan (maar zeker niet gelijk aan) het maximale verbruik van een CPU. Het is niet gerelateerd aan het afgenomen vermogen in idle (waardoor T-processors ook onzinnig zijn voor het optimaliseren van idle-verbruik).

[Mars Warrior]

MuVo schreef op donderdag 15 juni 2023 @ 10:43:
[...]
Goed om te lezen, ik vraag me alleen af: hoe heb je de Intel Core i7-12700K Boxed energie zuinig gekregen? Deze cpu heeft toch een vrij hoog idle verbruik op basis van een hoge TDP van 125?

Ik heb niks bijzonders gedaan. Intel is iha idle gewoon erg zuinig, en dat is onafhankelijk van de TDP.

Nu las ik in het topic dat het verbruik aangepast kan worden door bios instellingen aan te passen, maar als ik jouw idle verbuik lees dan is het wel een groot verschil. Heb je dat alleen met bios aanpassingen voor elkaar gekregen?

Wat ik wel heb gedaan is de max frequentie van de P en E-cores aangepast zodat ze maximaal efficient draaien.

Dat doet niks met het idle verbruik, maar wel met het overall verbruik als er werk te doen is.

De meeste docker containers draaien op de E-cores @2.5Ghz. Die doen daardoor wel wat langer over de taken, maar verbruiken aanzienlijk minder energie.

Een aantal interactieve docker containers draaien op snelle P-cores @4.5Ghz. Andere interactieve containers draaien op 2.5Ghz en 3.5Ghz P-cores.

Zo heb ik een mooie balans gevonden tussen energieverbruik en benodigde performance. De gezamenlijke TDP komt uit rond de 80W, wat ca 110W is uit het stopcontact. Met de standaard instellingen (125/180W) is dat ca 230W.

In de grafiek hieronder kun je eea zien. Een P-core op 2.5Ghz verbruikt voor een 7-zip taak 2.000 Joule. Dezelfde taak op 5Ghz kost bijna 6.000 Joule. Dezelfde dingen zie je voor de E-cores.

[Mich]

Mars Warrior schreef op donderdag 15 juni 2023 @ 11:28:
[...]

Ik heb niks bijzonders gedaan. Intel is iha idle gewoon erg zuinig, en dat is onafhankelijk van de TDP.

[...]

Wat ik wel heb gedaan is de max frequentie van de P en E-cores aangepast zodat ze maximaal efficient draaien.

Dat doet niks met het idle verbruik, maar wel met het overall verbruik als er werk te doen is.

De meeste docker containers draaien op de E-cores @2.5Ghz. Die doen daardoor wel wat langer over de taken, maar verbruiken aanzienlijk minder energie.

Een aantal interactieve docker containers draaien op snelle P-cores @4.5Ghz. Andere interactieve containers draaien op 2.5Ghz en 3.5Ghz P-cores.

Zo heb ik een mooie balans gevonden tussen energieverbruik en benodigde performance. De gezamenlijke TDP komt uit rond de 80W, wat ca 110W is uit het stopcontact. Met de standaard instellingen (125/180W) is dat ca 230W.

In de grafiek hieronder kun je eea zien. Een P-core op 2.5Ghz verbruikt voor een 7-zip taak 2.000 Joule. Dezelfde taak op 5Ghz kost bijna 6.000 Joule. Dezelfde dingen zie je voor de E-cores.

[Afbeelding]

Is het bij zo een test ook niet belangrijk hoe lang de taak er over doet? Als de taak er met 5000 joule 2 seconden over doet en op 1000 joule 11 seconden dan is die 5000 toch nog voordeliger. Of interpreteer ik het onjuist?

[RobertMe]

Mich schreef op donderdag 15 juni 2023 @ 14:50:
[...]


Is het bij zo een test ook niet belangrijk hoe lang de taak er over doet? Als de taak er met 5000 joule 2 seconden over doet en op 1000 joule 11 seconden dan is die 5000 toch nog voordeliger. Of interpreteer ik het onjuist?

Je moet dan ook weer rekening er mee houden wat je erna doet. PC afsluiten? Of blijft die idle draaien? Want wat jij zegt past bij "daarna afsluiten". Maar in deze gaat het om "idle blijven". Dus voor het tijdverschil dat de P cores sneller zijn moet je ook nog het idle verbruik er bij tellen. Eigenlijk moet je dus eerst de test op de E-cores doen en verbruik meten + timen, en daarna de test met de P-cores en verbruik meten voor de identieke tijdsduur (ook al is die dan al klaar).

[Remc0_]

Mich schreef op donderdag 15 juni 2023 @ 14:50:
[...]


Is het bij zo een test ook niet belangrijk hoe lang de taak er over doet? Als de taak er met 5000 joule 2 seconden over doet en op 1000 joule 11 seconden dan is die 5000 toch nog voordeliger. Of interpreteer ik het onjuist?

Ik schat in dat het ook heel erg afhangt van hoeveel je de p-cores limiteert, want het is al vaker gebleken dat een verdubbelling in stroom verbruik vaak geen verdubbelling van performance oplevert. Dus ik vraag me af in hoeveel situaties jouw voorbeeld ook daadwerkelijk voorkomt.

[andru123]

Mich schreef op donderdag 15 juni 2023 @ 14:50:
Is het bij zo een test ook niet belangrijk hoe lang de taak er over doet? Als de taak er met 5000 joule 2 seconden over doet en op 1000 joule 11 seconden dan is die 5000 toch nog voordeliger. Of interpreteer ik het onjuist?

Joule is eenheid van energy, dus de redenering van boven is voor Watt, dat is eenheid van vermogen. Tijd zit al ingebakken, dus als je Joule zegt, maakt niet uit hoe lang het duurt. Ik denk dat is wat @Mars Warrior gemeten. J = W x seconden
dus je kan wel zeggen 5000 Watt over 2 seconden vs 1000 W over 11 sec.
(5000 x 2 =) 10000 Joule vs (1000 x 11 =) 11000 Joules
Het eerste geval is efficiënter. (nalaten dat de CPU mogelijk warmer wordt, en dan langer afkoelt met hogere ventilator toeren)

[Mars Warrior]

Joule is inderdaad Watt * Seconde, dus de tijdseenheid is inbegrepen. Het is daadwerkelijk het energieverbruik van een taak op de CPU, gemeten via 1 van de RAPL registers die energieverbruik in micro-Joule meet.

Het idle verbruik uit het stopcontact staat hier dus los van.

Als je zoekt op 12700K in dit forum, dan vind je de hele berg aan grafieken die de resultaten van al mijn testen en metingen laten zien.

Ik ben nog steeds erg tevreden met deze built.

[andru123]

@Mars Warrior na verwijzing naar jouw inventaris, heb ik de volgende opmerking daar gemerkt:
Let op dat je voor muis en toetsenbord NIET de 2 linkse USB poorten gebruikt: daarmee gaat bij mij het verbruik met 7W omhoog.
Dat gebeurt alleen in Windows neem ik aan? Ik heb vergelijkbaar problem op Asus board, dat verbruik hoger is, vanwege USB 3.2 ports. Alleen in Windows. Nooit de oorzak gevonden.

[Mars Warrior]

andru123 schreef op donderdag 15 juni 2023 @ 21:43:
@Mars Warrior na verwijzing naar jouw inventaris, heb ik de volgende opmerking daar gemerkt:
Let op dat je voor muis en toetsenbord NIET de 2 linkse USB poorten gebruikt: daarmee gaat bij mij het verbruik met 7W omhoog.
Dat gebeurt alleen in Windows neem ik aan? Ik heb vergelijkbaar problem op Asus board, dat verbruik hoger is, vanwege USB 3.2 ports. Alleen in Windows. Nooit de oorzak gevonden.

Het AMD systeem heeft altijd op W11 gedraaid, dus nooit vergeleken met Linux.

[MuVo]

dcm360 schreef op donderdag 15 juni 2023 @ 11:23:
[...]

Het TDP is het gespecificeerde koelvermogen, en is meer gerelateerd aan (maar zeker niet gelijk aan) het maximale verbruik van een CPU. Het is niet gerelateerd aan het afgenomen vermogen in idle (waardoor T-processors ook onzinnig zijn voor het optimaliseren van idle-verbruik).

Goed om te weten, bedankt.

Mars Warrior schreef op donderdag 15 juni 2023 @ 11:28:
[...]

Ik heb niks bijzonders gedaan. Intel is iha idle gewoon erg zuinig, en dat is onafhankelijk van de TDP.

[...]

Wat ik wel heb gedaan is de max frequentie van de P en E-cores aangepast zodat ze maximaal efficient draaien.

Dat doet niks met het idle verbruik, maar wel met het overall verbruik als er werk te doen is.

De meeste docker containers draaien op de E-cores @2.5Ghz. Die doen daardoor wel wat langer over de taken, maar verbruiken aanzienlijk minder energie.

Een aantal interactieve docker containers draaien op snelle P-cores @4.5Ghz. Andere interactieve containers draaien op 2.5Ghz en 3.5Ghz P-cores.

Zo heb ik een mooie balans gevonden tussen energieverbruik en benodigde performance. De gezamenlijke TDP komt uit rond de 80W, wat ca 110W is uit het stopcontact. Met de standaard instellingen (125/180W) is dat ca 230W.

In de grafiek hieronder kun je eea zien. Een P-core op 2.5Ghz verbruikt voor een 7-zip taak 2.000 Joule. Dezelfde taak op 5Ghz kost bijna 6.000 Joule. Dezelfde dingen zie je voor de E-cores.

[Afbeelding]

De efficient verbeteren door de frequentie aan te passen is een goede zet.

Slim om de e-cores en de p-cores gericht aan een container te koppelen!

Goed om in de grafiek het verbruiksverschil tussen een e-core en p-core te zien.

Bedankt!

[we_are_borg]

Ik heb de Zimaboard besteld de 8GB geheugen met 32 GB opslag. Mijn plan voor deze is een server met genoeg opslag (Zimaboard heeft 2 SATA aansluitingen en een PCIe x4 aansluiting) en dan een log server ervan maken. Nu zijn mijn logs op verschillende systemen en ik wil dit op één systeem en netjes alles in zien. Voor de log server ben ik aan het kijken voor Graylog of dit aan mijn eisen voldoet.

[LittleKiller]

Mars Warrior schreef op donderdag 15 juni 2023 @ 21:10:
Joule is inderdaad Watt * Seconde, dus de tijdseenheid is inbegrepen. Het is daadwerkelijk het energieverbruik van een taak op de CPU, gemeten via 1 van de RAPL registers die energieverbruik in micro-Joule meet.

Het idle verbruik uit het stopcontact staat hier dus los van.

Als je zoekt op 12700K in dit forum, dan vind je de hele berg aan grafieken die de resultaten van al mijn testen en metingen laten zien.

Ik ben nog steeds erg tevreden met deze built.

*knip* nvm

[ Voor 7% gewijzigd door LittleKiller op 16-06-2023 11:54 ]

[Church of Noise]

Gezien m'n aparte topic érg windstil blijft, toch hier nog eens mijn vraag: op mijn HP 260 G3 (intel i3-7130u, SK Hynix BC501 NVMe, Realtek RTL8111HGS) met Debian, geraakt mijn Pkg C-state niet verder dan C3. (het systeempje draait enkel Home Assistant Supervised)

Ik heb al het halve internet (incl. GoT) doorgespit, en verschillende stappen gezet (incl. de r8168 driver voor de Realtek NIC bvb), allen zonder impact daarop.

Ik las o.a. in dit topic dat een aantal leden goede stappen hadden gezet (maar zal hen uit beleefdheid niet taggen).

[FireDrunk]

Church of Noise schreef op vrijdag 16 juni 2023 @ 16:49:
Gezien m'n aparte topic érg windstil blijft, toch hier nog eens mijn vraag: op mijn HP 260 G3 (intel i3-7130u, SK Hynix BC501 NVMe, Realtek RTL8111HGS) met Debian, geraakt mijn Pkg C-state niet verder dan C3. (het systeempje draait enkel Home Assistant Supervised)

Ik heb al het halve internet (incl. GoT) doorgespit, en verschillende stappen gezet (incl. de r8168 driver voor de Realtek NIC bvb), allen zonder impact daarop.

Ik las o.a. in dit topic dat een aantal leden goede stappen hadden gezet (maar zal hen uit beleefdheid niet taggen).

Heb je *alle* overbodige hardware en software uitgezet en toen met PowerTop gekeken?

_{Ik kan onder je user geen topic vinden?}

[Church of Noise]

FireDrunk schreef op vrijdag 16 juni 2023 @ 17:06:
[...]

Heb je *alle* overbodige hardware en software uitgezet en toen met PowerTop gekeken?

_{Ik kan onder je user geen topic vinden?}

Jawel - het systeem draait nu zonder enige connectie (behalve stroom en netwerkkabel he ), heb Powertop gebruikt om te kijken (versie 2.15 om zeker te zijn dat m'n processor gekend is erdoor)
Home Assistant draait nog wel door momenteel.

code:

          Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 2
                    |                     | C0 active   0.9%        0.7%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.2%    0.4 ms  0.7%    0.9 ms
C2 (pc2)    2.0%    |                     |
C3 (pc3)   62.4%    | C3 (cc3)    2.7%    | C3          0.0%    0.0 ms  0.0%    0.1 ms
C6 (pc6)    0.0%    | C6 (cc6)    0.9%    | C6          0.7%    0.7 ms  1.0%    0.5 ms
C7 (pc7)    0.0%    | C7 (cc7)   79.2%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
C8 (pc8)    0.0%    |                     | C8          8.7%    2.9 ms  8.9%    1.2 ms
C9 (pc9)    0.0%    |                     | C9          1.5%    5.2 ms  0.1%    0.1 ms
C10 (pc10)  0.0%    |                     |
                    |                     | C10        81.7%   14.6 ms 80.1%    3.8 ms
                    |                     | C1E         4.1%    1.5 ms  6.9%    0.5 ms

                    |            Core(HW) |            CPU(OS) 1   CPU(OS) 3
                    |                     | C0 active   7.3%        0.2%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.3%    1.2 ms  0.0%    0.0 ms
                    |                     |
                    | C3 (cc3)    0.1%    | C3          0.0%    0.0 ms  0.1%    0.2 ms
                    | C6 (cc6)    0.1%    | C6          0.1%    0.3 ms  0.2%    0.3 ms
                    | C7 (cc7)   74.2%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C8          0.5%    1.1 ms  5.3%    2.5 ms
                    |                     | C9          0.0%    0.0 ms  0.0%    0.0 ms
                    |                     |
                    |                     | C10        74.8%   28.2 ms 93.3%   35.1 ms
                    |                     | C1E         0.0%    0.0 ms  0.5%    0.3 ms

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |

en dit is zonder Home Assitant:

code:

          Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 2
                    |                     | C0 active   0.0%        0.1%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.6%    1.0 ms  0.1%    0.7 ms
C2 (pc2)    0.7%    |                     |
C3 (pc3)   93.9%    | C3 (cc3)    0.1%    | C3          0.0%    0.0 ms  0.1%    0.3 ms
C6 (pc6)    0.0%    | C6 (cc6)    0.4%    | C6          0.0%    0.0 ms  0.5%    0.3 ms
C7 (pc7)    0.0%    | C7 (cc7)   94.3%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
C8 (pc8)    0.0%    |                     | C8          0.3%    0.5 ms  2.5%    1.4 ms
C9 (pc9)    0.0%    |                     | C9          0.0%    0.0 ms  0.0%    0.0 ms
C10 (pc10)  0.0%    |                     |
                    |                     | C10        96.9%   47.0 ms 93.7%   38.2 ms
                    |                     | C1E         2.1%    1.4 ms  2.6%    1.6 ms

                    |            Core(HW) |            CPU(OS) 1   CPU(OS) 3
                    |                     | C0 active   0.3%        0.0%
                    |                     | POLL        0.1%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.4%    0.4 ms  0.7%    0.9 ms
                    |                     |
                    | C3 (cc3)    0.1%    | C3          0.5%    1.7 ms  0.0%    0.0 ms
                    | C6 (cc6)    0.3%    | C6          0.1%    0.3 ms  0.2%    1.0 ms
                    | C7 (cc7)   97.7%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C8          1.3%    0.8 ms  1.3%    2.7 ms
                    |                     | C9          0.0%    0.0 ms  0.0%    0.0 ms
                    |                     |
                    |                     | C10        97.1%   61.7 ms 97.5%   99.1 ms
                    |                     | C1E         0.0%    0.0 ms  0.0%    0.0 ms

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |

(geen diepere C states maw, bij een totale CPU load van 1.6% volgens PowerTop)

Verder draai ik TLP met een aantal opties, nl de cpu governor op 'powersave', de energy perf policy op 'power', turbo boost uitgeschakeld en PCIE ASPM op 'powersupersave'.
In de GRUB config heb ik volgende staan:

code:

GRUB_CMDLINE_LINUX_DEFAULT="systemd.unified_cgroup_hierarchy=false consoleblank=0 pcie_aspm=force pcie_port_pm=force pcie_aspm.policy=powersave"

De geluidkaart is uitgeschakeld.

(initiële topic staat hier: topic en is inderdaad vreemd genoeg niet via m'n profiel te vinden)

[ Voor 26% gewijzigd door Church of Noise op 16-06-2023 18:20 ]

[Mars Warrior]

@Church of Noise . Ziet er uit als een ASPM oid probleem. Immers, je CPU's halen C10, je Core haalt C7, maar de package komt niet verder dan C3.

[Mich]

Church of Noise schreef op vrijdag 16 juni 2023 @ 17:21:
[...]

Jawel - het systeem draait nu zonder enige connectie (behalve stroom en netwerkkabel he ), heb Powertop gebruikt om te kijken (versie 2.15 om zeker te zijn dat m'n processor gekend is erdoor)
Home Assistant draait nog wel door momenteel.

code:

          Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 2
                    |                     | C0 active   0.9%        0.7%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.2%    0.4 ms  0.7%    0.9 ms
C2 (pc2)    2.0%    |                     |
C3 (pc3)   62.4%    | C3 (cc3)    2.7%    | C3          0.0%    0.0 ms  0.0%    0.1 ms
C6 (pc6)    0.0%    | C6 (cc6)    0.9%    | C6          0.7%    0.7 ms  1.0%    0.5 ms
C7 (pc7)    0.0%    | C7 (cc7)   79.2%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
C8 (pc8)    0.0%    |                     | C8          8.7%    2.9 ms  8.9%    1.2 ms
C9 (pc9)    0.0%    |                     | C9          1.5%    5.2 ms  0.1%    0.1 ms
C10 (pc10)  0.0%    |                     |
                    |                     | C10        81.7%   14.6 ms 80.1%    3.8 ms
                    |                     | C1E         4.1%    1.5 ms  6.9%    0.5 ms

                    |            Core(HW) |            CPU(OS) 1   CPU(OS) 3
                    |                     | C0 active   7.3%        0.2%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.3%    1.2 ms  0.0%    0.0 ms
                    |                     |
                    | C3 (cc3)    0.1%    | C3          0.0%    0.0 ms  0.1%    0.2 ms
                    | C6 (cc6)    0.1%    | C6          0.1%    0.3 ms  0.2%    0.3 ms
                    | C7 (cc7)   74.2%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C8          0.5%    1.1 ms  5.3%    2.5 ms
                    |                     | C9          0.0%    0.0 ms  0.0%    0.0 ms
                    |                     |
                    |                     | C10        74.8%   28.2 ms 93.3%   35.1 ms
                    |                     | C1E         0.0%    0.0 ms  0.5%    0.3 ms

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |

en dit is zonder Home Assitant:

code:

          Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 2
                    |                     | C0 active   0.0%        0.1%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.6%    1.0 ms  0.1%    0.7 ms
C2 (pc2)    0.7%    |                     |
C3 (pc3)   93.9%    | C3 (cc3)    0.1%    | C3          0.0%    0.0 ms  0.1%    0.3 ms
C6 (pc6)    0.0%    | C6 (cc6)    0.4%    | C6          0.0%    0.0 ms  0.5%    0.3 ms
C7 (pc7)    0.0%    | C7 (cc7)   94.3%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
C8 (pc8)    0.0%    |                     | C8          0.3%    0.5 ms  2.5%    1.4 ms
C9 (pc9)    0.0%    |                     | C9          0.0%    0.0 ms  0.0%    0.0 ms
C10 (pc10)  0.0%    |                     |
                    |                     | C10        96.9%   47.0 ms 93.7%   38.2 ms
                    |                     | C1E         2.1%    1.4 ms  2.6%    1.6 ms

                    |            Core(HW) |            CPU(OS) 1   CPU(OS) 3
                    |                     | C0 active   0.3%        0.0%
                    |                     | POLL        0.1%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.4%    0.4 ms  0.7%    0.9 ms
                    |                     |
                    | C3 (cc3)    0.1%    | C3          0.5%    1.7 ms  0.0%    0.0 ms
                    | C6 (cc6)    0.3%    | C6          0.1%    0.3 ms  0.2%    1.0 ms
                    | C7 (cc7)   97.7%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C8          1.3%    0.8 ms  1.3%    2.7 ms
                    |                     | C9          0.0%    0.0 ms  0.0%    0.0 ms
                    |                     |
                    |                     | C10        97.1%   61.7 ms 97.5%   99.1 ms
                    |                     | C1E         0.0%    0.0 ms  0.0%    0.0 ms

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |

(geen diepere C states maw, bij een totale CPU load van 1.6% volgens PowerTop)

Verder draai ik TLP met een aantal opties, nl de cpu governor op 'powersave', de energy perf policy op 'power', turbo boost uitgeschakeld en PCIE ASPM op 'powersupersave'.
In de GRUB config heb ik volgende staan:

code:

GRUB_CMDLINE_LINUX_DEFAULT="systemd.unified_cgroup_hierarchy=false consoleblank=0 pcie_aspm=force pcie_port_pm=force pcie_aspm.policy=powersave"

De geluidkaart is uitgeschakeld.

(initiële topic staat hier: topic en is inderdaad vreemd genoeg niet via m'n profiel te vinden)

Zou je heel de output van dit commando willen posten?

sudo lspci -vvvnnPPDq

[Church of Noise]

Ajb:

code:

0000:00:00.0 Host bridge [0600]: Intel Corporation Xeon E3-1200 v6/7th Gen Core Processor Host Bridge/DRAM Registers [8086:5904] (rev 02)
        Subsystem: Hewlett-Packard Company Xeon E3-1200 v6/7th Gen Core Processor Host Bridge/DRAM Registers [103c:84f5]
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx-
        Status: Cap+ 66MHz- UDF- FastB2B+ ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0
        IOMMU group: 0
        Capabilities: [e0] Vendor Specific Information: Len=10 <?>
        Kernel driver in use: skl_uncore

0000:00:02.0 VGA compatible controller [0300]: Intel Corporation HD Graphics 620 [8086:5916] (rev 02) (prog-if 00 [VGA controller])
        DeviceName:  Onboard IGD
        Subsystem: Hewlett-Packard Company HD Graphics 620 [103c:84f5]
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 134
        IOMMU group: 1
        Region 0: Memory at de000000 (64-bit, non-prefetchable) [size=16M]
        Region 2: Memory at c0000000 (64-bit, prefetchable) [size=256M]
        Region 4: I/O ports at f000 [size=64]
        Expansion ROM at 000c0000 [virtual] [disabled] [size=128K]
        Capabilities: [40] Vendor Specific Information: Len=0c <?>
        Capabilities: [70] Express (v2) Root Complex Integrated Endpoint, MSI 00
                DevCap: MaxPayload 128 bytes, PhantFunc 0
                        ExtTag- RBE+ FLReset+
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop- FLReset-
                        MaxPayload 128 bytes, MaxReadReq 128 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr- TransPend-
                DevCap2: Completion Timeout: Not Supported, TimeoutDis- NROPrPrP- LTR-
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
        Capabilities: [ac] MSI: Enable+ Count=1/1 Maskable- 64bit-
                Address: fee00018  Data: 0000
        Capabilities: [d0] Power Management version 2
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
                Status: D3 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [100 v1] Process Address Space ID (PASID)
                PASIDCap: Exec- Priv-, Max PASID Width: 14
                PASIDCtl: Enable- Exec- Priv-
        Capabilities: [200 v1] Address Translation Service (ATS)
                ATSCap: Invalidate Queue Depth: 00
                ATSCtl: Enable-, Smallest Translation Unit: 00
        Capabilities: [300 v1] Page Request Interface (PRI)
                PRICtl: Enable- Reset-
                PRISta: RF- UPRGI- Stopped+
                Page Request Capacity: 00008000, Page Request Allocation: 00000000
        Kernel driver in use: i915
        Kernel modules: i915

0000:00:14.0 USB controller [0c03]: Intel Corporation Sunrise Point-LP USB 3.0 xHCI Controller [8086:9d2f] (rev 21) (prog-if 30 [XHCI])
        Subsystem: Hewlett-Packard Company Sunrise Point-LP USB 3.0 xHCI Controller [103c:84f5]
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B+ ParErr- DEVSEL=medium >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0
        Interrupt: pin A routed to IRQ 127
        IOMMU group: 2
        Region 0: Memory at df210000 (64-bit, non-prefetchable) [size=64K]
        Capabilities: [70] Power Management version 2
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=375mA PME(D0-,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [80] MSI: Enable+ Count=1/8 Maskable- 64bit+
                Address: 00000000fee002d8  Data: 0000
        Kernel driver in use: xhci_hcd
        Kernel modules: xhci_pci

0000:00:16.0 Communication controller [0780]: Intel Corporation Sunrise Point-LP CSME HECI #1 [8086:9d3a] (rev 21)
        Subsystem: Hewlett-Packard Company Sunrise Point-LP CSME HECI [103c:84f5]
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0
        Interrupt: pin A routed to IRQ 133
        IOMMU group: 3
        Region 0: Memory at df22d000 (64-bit, non-prefetchable) [size=4K]
        Capabilities: [50] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot+,D3cold-)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [8c] MSI: Enable+ Count=1/1 Maskable- 64bit+
                Address: 00000000fee00398  Data: 0000
        Kernel driver in use: mei_me
        Kernel modules: mei_me

0000:00:17.0 SATA controller [0106]: Intel Corporation Sunrise Point-LP SATA Controller [AHCI mode] [8086:9d03] (rev 21) (prog-if 01 [AHCI 1.0])
        Subsystem: Hewlett-Packard Company Sunrise Point-LP SATA Controller [AHCI mode] [103c:84f5]
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz+ UDF- FastB2B+ ParErr- DEVSEL=medium >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0
        Interrupt: pin A routed to IRQ 126
        IOMMU group: 4
        Region 0: Memory at df228000 (32-bit, non-prefetchable) [size=8K]
        Region 1: Memory at df22c000 (32-bit, non-prefetchable) [size=256]
        Region 2: I/O ports at f090 [size=8]
        Region 3: I/O ports at f080 [size=4]
        Region 4: I/O ports at f060 [size=32]
        Region 5: Memory at df22b000 (32-bit, non-prefetchable) [size=2K]
        Capabilities: [80] MSI: Enable+ Count=1/1 Maskable- 64bit-
                Address: fee002b8  Data: 0000
        Capabilities: [70] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot+,D3cold-)
                Status: D3 NoSoftRst+ PME-Enable+ DSel=0 DScale=0 PME-
        Capabilities: [a8] SATA HBA v1.0 BAR4 Offset=00000004
        Kernel driver in use: ahci
        Kernel modules: ahci

0000:00:1c.0 PCI bridge [0604]: Intel Corporation Sunrise Point-LP PCI Express Root Port #1 [8086:9d10] (rev f1) (prog-if 00 [Normal decode])
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 122
        IOMMU group: 5
        Bus: primary=00, secondary=01, subordinate=01, sec-latency=0
        I/O behind bridge: 00002000-00002fff [size=4K]
        Memory behind bridge: 8e800000-8e9fffff [size=2M]
        Prefetchable memory behind bridge: 000000008ea00000-000000008ebfffff [size=2M]
        Secondary status: 66MHz- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort+ <SERR- <PERR-
        BridgeCtl: Parity- SERR+ NoISA- VGA- VGA16+ MAbort- >Reset- FastB2B-
                PriDiscTmr- SecDiscTmr- DiscTmrStat- DiscTmrSERREn-
        Capabilities: [40] Express (v2) Root Port (Slot+), MSI 00
                DevCap: MaxPayload 256 bytes, PhantFunc 0
                        ExtTag- RBE+
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop-
                        MaxPayload 128 bytes, MaxReadReq 128 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <4us
                        ClockPM- Surprise- LLActRep+ BwNot+ ASPMOptComp+
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 2.5GT/s (downgraded), Width x0 (downgraded)
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                SltCap: AttnBtn- PwrCtrl- MRL- AttnInd- PwrInd- HotPlug+ Surprise+
                        Slot #0, PowerLimit 0.000W; Interlock- NoCompl+
                SltCtl: Enable: AttnBtn- PwrFlt- MRL- PresDet+ CmdCplt- HPIrq- LinkChg-
                        Control: AttnInd Unknown, PwrInd Unknown, Power- Interlock-
                SltSta: Status: AttnBtn- PowerFlt- MRL- CmdCplt- PresDet- Interlock-
                        Changed: MRL- PresDet- LinkState-
                RootCap: CRSVisible-
                RootCtl: ErrCorrectable- ErrNon-Fatal- ErrFatal- PMEIntEna+ CRSVisible-
                RootSta: PME ReqID 0000, PMEStatus- PMEPending-
                DevCap2: Completion Timeout: Range ABC, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Via WAKE#, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- LN System CLS Not Supported, TPHComp- ExtTPHComp- ARIFwd+
                         AtomicOpsCap: Routing- 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR- OBFF Disabled, ARIFwd-
                         AtomicOpsCtl: ReqEn- EgressBlck-
                LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink- Retimer- 2Retimers- DRS-
                LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance De-emphasis: -6dB
                LnkSta2: Current De-emphasis Level: -3.5dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [80] MSI: Enable+ Count=1/1 Maskable- 64bit-
                Address: fee00218  Data: 0000
        Capabilities: [90] Subsystem: Hewlett-Packard Company Sunrise Point-LP PCI Express Root Port [103c:84f5]
        Capabilities: [a0] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D3 NoSoftRst- PME-Enable+ DSel=0 DScale=0 PME-
        Kernel driver in use: pcieport

0000:00:1c.2 PCI bridge [0604]: Intel Corporation Sunrise Point-LP PCI Express Root Port #3 [8086:9d12] (rev f1) (prog-if 00 [Normal decode])
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin C routed to IRQ 123
        IOMMU group: 6
        Bus: primary=00, secondary=02, subordinate=02, sec-latency=0
        I/O behind bridge: 0000e000-0000efff [size=4K]
        Memory behind bridge: df100000-df1fffff [size=1M]
        Prefetchable memory behind bridge: 00000000fff00000-00000000000fffff [disabled]
        Secondary status: 66MHz- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort+ <SERR- <PERR-
        BridgeCtl: Parity- SERR+ NoISA- VGA- VGA16+ MAbort- >Reset- FastB2B-
                PriDiscTmr- SecDiscTmr- DiscTmrStat- DiscTmrSERREn-
        Capabilities: [40] Express (v2) Root Port (Slot+), MSI 00
                DevCap: MaxPayload 256 bytes, PhantFunc 0
                        ExtTag- RBE+
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop-
                        MaxPayload 128 bytes, MaxReadReq 128 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
                        ClockPM- Surprise- LLActRep+ BwNot+ ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 2.5GT/s (downgraded), Width x1 (ok)
                        TrErr- Train- SlotClk+ DLActive+ BWMgmt+ ABWMgmt-
                SltCap: AttnBtn- PwrCtrl- MRL- AttnInd- PwrInd- HotPlug- Surprise-
                        Slot #6, PowerLimit 10.000W; Interlock- NoCompl+
                SltCtl: Enable: AttnBtn- PwrFlt- MRL- PresDet- CmdCplt- HPIrq- LinkChg-
                        Control: AttnInd Unknown, PwrInd Unknown, Power- Interlock-
                SltSta: Status: AttnBtn- PowerFlt- MRL- CmdCplt- PresDet+ Interlock-
                        Changed: MRL- PresDet+ LinkState+
                RootCap: CRSVisible-
                RootCtl: ErrCorrectable- ErrNon-Fatal- ErrFatal- PMEIntEna+ CRSVisible-
                RootSta: PME ReqID 0000, PMEStatus- PMEPending-
                DevCap2: Completion Timeout: Range ABC, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- LN System CLS Not Supported, TPHComp- ExtTPHComp- ARIFwd+
                         AtomicOpsCap: Routing- 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ OBFF Disabled, ARIFwd-
                         AtomicOpsCtl: ReqEn- EgressBlck-
                LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink- Retimer- 2Retimers- DRS-
                LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance De-emphasis: -6dB
                LnkSta2: Current De-emphasis Level: -3.5dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [80] MSI: Enable+ Count=1/1 Maskable- 64bit-
                Address: fee00258  Data: 0000
        Capabilities: [90] Subsystem: Hewlett-Packard Company Sunrise Point-LP PCI Express Root Port [103c:84f5]
        Capabilities: [a0] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [100 v0] Null
        Capabilities: [140 v1] Access Control Services
                ACSCap: SrcValid+ TransBlk+ ReqRedir+ CmpltRedir+ UpstreamFwd- EgressCtrl- DirectTrans-
                ACSCtl: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
        Capabilities: [220 v1] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn- PerformEqu-
                LaneErrStat: 0
        Kernel driver in use: pcieport

0000:00:1d.0 PCI bridge [0604]: Intel Corporation Sunrise Point-LP PCI Express Root Port #9 [8086:9d18] (rev f1) (prog-if 00 [Normal decode])
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 124
        IOMMU group: 7
        Bus: primary=00, secondary=03, subordinate=03, sec-latency=0
        I/O behind bridge: 0000f000-00000fff [disabled]
        Memory behind bridge: df000000-df0fffff [size=1M]
        Prefetchable memory behind bridge: 00000000fff00000-00000000000fffff [disabled]
        Secondary status: 66MHz- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort+ <SERR- <PERR-
        BridgeCtl: Parity- SERR+ NoISA- VGA- VGA16+ MAbort- >Reset- FastB2B-
                PriDiscTmr- SecDiscTmr- DiscTmrStat- DiscTmrSERREn-
        Capabilities: [40] Express (v2) Root Port (Slot+), MSI 00
                DevCap: MaxPayload 256 bytes, PhantFunc 0
                        ExtTag- RBE+
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop-
                        MaxPayload 256 bytes, MaxReadReq 128 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #9, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                        ClockPM- Surprise- LLActRep+ BwNot+ ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s (ok), Width x2 (downgraded)
                        TrErr- Train- SlotClk+ DLActive+ BWMgmt+ ABWMgmt-
                SltCap: AttnBtn- PwrCtrl- MRL- AttnInd- PwrInd- HotPlug- Surprise-
                        Slot #12, PowerLimit 25.000W; Interlock- NoCompl+
                SltCtl: Enable: AttnBtn- PwrFlt- MRL- PresDet- CmdCplt- HPIrq- LinkChg-
                        Control: AttnInd Unknown, PwrInd Unknown, Power- Interlock-
                SltSta: Status: AttnBtn- PowerFlt- MRL- CmdCplt- PresDet+ Interlock-
                        Changed: MRL- PresDet- LinkState+
                RootCap: CRSVisible-
                RootCtl: ErrCorrectable- ErrNon-Fatal- ErrFatal- PMEIntEna+ CRSVisible-
                RootSta: PME ReqID 0000, PMEStatus- PMEPending-
                DevCap2: Completion Timeout: Range ABC, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- LN System CLS Not Supported, TPHComp- ExtTPHComp- ARIFwd+
                         AtomicOpsCap: Routing- 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ OBFF Disabled, ARIFwd-
                         AtomicOpsCtl: ReqEn- EgressBlck-
                LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink- Retimer- 2Retimers- DRS-
                LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance De-emphasis: -6dB
                LnkSta2: Current De-emphasis Level: -3.5dB, EqualizationComplete+ EqualizationPhase1+
                         EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [80] MSI: Enable+ Count=1/1 Maskable- 64bit-
                Address: fee00278  Data: 0000
        Capabilities: [90] Subsystem: Hewlett-Packard Company Sunrise Point-LP PCI Express Root Port [103c:84f5]
        Capabilities: [a0] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [100 v0] Null
        Capabilities: [140 v1] Access Control Services
                ACSCap: SrcValid+ TransBlk+ ReqRedir+ CmpltRedir+ UpstreamFwd- EgressCtrl- DirectTrans-
                ACSCtl: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
        Capabilities: [220 v1] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn- PerformEqu-
                LaneErrStat: 0
        Kernel driver in use: pcieport

0000:00:1f.0 ISA bridge [0601]: Intel Corporation Sunrise Point LPC Controller/eSPI Controller [8086:9d4e] (rev 21)
        Subsystem: Hewlett-Packard Company Sunrise Point LPC Controller/eSPI Controller [103c:84f5]
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx-
        Status: Cap- 66MHz- UDF- FastB2B- ParErr- DEVSEL=medium >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0
        IOMMU group: 8

0000:00:1f.2 Memory controller [0580]: Intel Corporation Sunrise Point-LP PMC [8086:9d21] (rev 21)
        Subsystem: Hewlett-Packard Company Sunrise Point-LP PMC [103c:84f5]
        Control: I/O- Mem- BusMaster- SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-
        Status: Cap- 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        IOMMU group: 8
        Region 0: Memory at df224000 (32-bit, non-prefetchable) [disabled] [size=16K]

0000:00:1f.3 Audio device [0403]: Intel Corporation Sunrise Point-LP HD Audio [8086:9d71] (rev 21)
        Subsystem: Hewlett-Packard Company Sunrise Point-LP HD Audio [103c:84f5]
        Control: I/O- Mem- BusMaster- SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx-
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Interrupt: pin A routed to IRQ 255
        IOMMU group: 8
        Region 0: Memory at df220000 (64-bit, non-prefetchable) [disabled] [size=16K]
        Region 4: Memory at df200000 (64-bit, non-prefetchable) [disabled] [size=64K]
        Capabilities: [50] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=55mA PME(D0-,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [60] MSI: Enable- Count=1/1 Maskable- 64bit+
                Address: 0000000000000000  Data: 0000
        Kernel modules: snd_hda_intel, snd_soc_skl

0000:00:1f.4 SMBus [0c05]: Intel Corporation Sunrise Point-LP SMBus [8086:9d23] (rev 21)
        Subsystem: Hewlett-Packard Company Sunrise Point-LP SMBus [103c:84f5]
        Control: I/O+ Mem+ BusMaster- SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx-
        Status: Cap- 66MHz- UDF- FastB2B+ ParErr- DEVSEL=medium >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Interrupt: pin A routed to IRQ 16
        IOMMU group: 8
        Region 0: Memory at df22a000 (64-bit, non-prefetchable) [size=256]
        Region 4: I/O ports at f040 [size=32]
        Kernel driver in use: i801_smbus
        Kernel modules: i2c_i801

0000:00:1c.2/02:00.0 Ethernet controller [0200]: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:8168] (rev 15)
        Subsystem: Hewlett-Packard Company RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [103c:84f5]
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 18
        IOMMU group: 9
        Region 0: I/O ports at e000 [size=256]
        Region 2: Memory at df104000 (64-bit, non-prefetchable) [size=4K]
        Region 4: Memory at df100000 (64-bit, non-prefetchable) [size=16K]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI- D1+ D2+ AuxCurrent=375mA PME(D0+,D1+,D2+,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable- 64bit+
                Address: 0000000000000000  Data: 0000
        Capabilities: [70] Express (v2) Endpoint, MSI 01
                DevCap: MaxPayload 128 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset- SlotPowerLimit 10.000W
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop-
                        MaxPayload 128 bytes, MaxReadReq 4096 bytes
                DevSta: CorrErr+ NonFatalErr- FatalErr- UnsupReq+ AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM+ AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 2.5GT/s (ok), Width x1 (ok)
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Via message/WAKE#, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCap2: Supported Link Speeds: 2.5GT/s, Crosslink- Retimer- 2Retimers- DRS-
                LnkCtl2: Target Link Speed: 2.5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance De-emphasis: -6dB
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [b0] MSI-X: Enable+ Count=4 Masked-
                Vector table: BAR=4 offset=00000000
                PBA: BAR=4 offset=00000800
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq+ ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Virtual Channel
                Caps:   LPEVC=0 RefClk=100ns PATEntryBits=1
                Arb:    Fixed- WRR32- WRR64- WRR128-
                Ctrl:   ArbSelect=Fixed
                Status: InProgress-
                VC0:    Caps:   PATOffset=00 MaxTimeSlots=1 RejSnoopTrans-
                        Arb:    Fixed- WRR32- WRR64- WRR128- TWRR128- WRR256-
                        Ctrl:   Enable+ ID=0 ArbSelect=Fixed TC/VC=ff
                        Status: NegoPending- InProgress-
        Capabilities: [160 v1] Device Serial Number 01-00-00-00-68-4c-e0-00
        Capabilities: [170 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [178 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=150us PortTPowerOnTime=150us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=0ns
                L1SubCtl2: T_PwrOn=150us
        Kernel driver in use: r8168
        Kernel modules: r8168

0000:00:1d.0/03:00.0 Non-Volatile memory controller [0108]: SK hynix BC501 NVMe Solid State Drive 512GB [1c5c:1327] (prog-if 02 [NVM Express])
        Subsystem: SK hynix BC501 NVMe Solid State Drive 512GB [1c5c:0000]
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 16
        NUMA node: 0
        IOMMU group: 10
        Region 0: Memory at df000000 (64-bit, non-prefetchable) [size=16K]
        Capabilities: [80] Power Management version 3
                Flags: PMEClk- DSI- D1+ D2- AuxCurrent=0mA PME(D0+,D1+,D2-,D3hot+,D3cold-)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [90] MSI: Enable- Count=1/32 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [b0] MSI-X: Enable+ Count=32 Masked-
                Vector table: BAR=0 offset=00002000
                PBA: BAR=0 offset=00003000
        Capabilities: [c0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 256 bytes, PhantFunc 0, Latency L0s unlimited, L1 unlimited
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 75.000W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr- TransPend-
                LnkCap: Port #0, Speed 8GT/s, Width x2, ASPM L1, Exit Latency L1 <64us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM+ AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s (ok), Width x2 (ok)
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range B, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt+ EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink- Retimer- 2Retimers- DRS-
                LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance De-emphasis: -6dB
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete+ EqualizationPhase1+
                         EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [150 v1] Device Serial Number 03-ba-01-90-00-2e-e4-ac
        Capabilities: [160 v1] Power Budgeting <?>
        Capabilities: [1b8 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [300 v1] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn- PerformEqu-
                LaneErrStat: 0
        Capabilities: [400 v1] Vendor Specific Information: ID=0001 Rev=1 Len=010 <?>
        Capabilities: [900 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=24us PortTPowerOnTime=26us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=0ns
                L1SubCtl2: T_PwrOn=44us
        Kernel driver in use: nvme
        Kernel modules: nvme

[mrmrmr]

@Church of Noise
Zorg er eerst voor dat je de laatst beschikbare kernel gebruikt en dat non-free firmware package geïnstalleerd is. Er mogen geen laadproblemen in dmesg output te zien zijn van bijvoorbeeld de i915 driver.

De kernel parameters zijn nu niet goed, die zorgen er waarschijnlijk voor dat nu ASPM is uitgeschakeld.

Een goede comand line is:
GRUB_CMDLINE_LINUX_DEFAULT="quiet consoleblank=15"

Activeer de wijziging:
update-grub

Herstart

Draai:
powertop --auto-tune

Draai:
sudo lspci -vvvnnPPDq

Deze output ergens neerzetten (Dropbox bijv.) en ernaar linken. Liever niet in dit topic omdat het een groot bestand is.

[Church of Noise]

Dank voor de snelle respons @mrmrmr !

Ter info, kernel was de laatste 5.10 (ik dacht 5.10.0-30) die samen met Debian 11 komt.
Deze heb ik nu geupgrade naar 6.1 die in de backports beschikbaar is (waarom geen Debian 12? omdat HA dat nog niet ondersteunt.............).

Effect: geen diepere C-states

Stap 2: kernel parameters opgeschoond (maar wel de 2 settings rond cgroup laten staan wegens Home Assistant)

Effect: geen diepere C-states

Stap 3: PowerTop settings genomen ipv TLP (main difference: VM writeback op 1500 bij PowerTop vs 6000ms bij TLP)

Effect: geen diepere C-states

Stap 3: Realtek drivers (die bij kernel upgrade terug vervangen waren naar de generieke r8169) terug naar r8168

Effect: geen diepere C-states

Hierbij de output van:

sudo lspci -vvvnnPPDq
tlp-stat

[mrmrmr]

De bedoeling was om een stabiele testomgeving te maken zonder allerlei (kernel) settings die e.e.a. nadelig kunnen beïnvloeden. De computer is een systeem met elkaar beinvloedende onderdelen. Allerlei componenten hebben invloed op hoe het werkt. Start dus zo kaal mogelijk. Koppel USB en pcie/M.2 devices los. Een modern USB bedraad keyboard is ok.

Gebruik voor deze test geen TLP instellingen. Reset eerst alles naar standaard. Powertop optimaliseert automatisch met --auto-tune (bij iedere herstart te laden). Die twee mixen kan ongewenste effecten hebben en voegt complexiteit toe waardoor een test geen betrouwbaar resultaat meer geeft. Probeer 1 ding tegelijk te doen bij elke test. Zodoende weet je wat invloed had op het resultaat en onstaan er geen nieuwe problemen.

De Realtek en de SK Hynix NVMe hebben ASPM uitgeschakeld. Daardoor kan package niet in een hoge package C state. Wat je kan doen is testen met de Realtek uitgeschakelen in BIOS en de SK Hynix NVMe uitnemen. Boot vanaf een SATA SSD voor de test, die komt met minder moeite in een low power state dan een pcie device. Wat gebeurt er met de package state?

Daarna: heb je een tweede M.2 slot? Probeer na deze tests dan de NVMe in dit slot en kijk wat het effect is op de package C state. Controllers kunnen soms een hoge package C state verhinderen.

Als de package C state niet omhoog is gegaan, test dan eens met pcie_aspm=force als kernel parameter. Dat zou ASPM moeten forceren ongeacht wat de BIOS doorgeeft.

Het is mogelijk dat de BIOS of moederbord niet geschikt is voor hogere package C states

Je hebt een HP 260 G3 met een Intel i3-7130u Kaby Lake processor. Welke BIOS versie heb je nu (nog niet updaten!)?

[Church of Noise]

Ik heb onlangs de allerlaatste BIOS versie geflasht (van de HP website gehaald)

Net even het systeempje geopend: er is maar 1 M2 slot.

ECHTER: met de realtek in het BIOS gedisabled gaat ie meteen tot pc9 (de NVMe 'schijf' had ik teruggeplaatst).
Realtek terug enabled -> dan vallen we terug op C3.

Volgende stap: r8168.aspm=1 toegevoegd aan de kernel parameters: nog steeds C3
Volgende stap: pcie_aspm=force toegevoegd aan de kernel parameters (en r8169.aspm=1 er uit gehaald): nog steeds C3.

Output van

sudo lspci -s 02:00.0 -v -v | grep -i aspm

is:

code:

                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-

Als ik dan

code:

setpci -s 02:00.00 0x80.B=0x43

run, dan geeft dit als resultaat van bovenstaand commando:

code:

                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-

Maar dus geen verschil in Pkg state...

[ Voor 215% gewijzigd door Church of Noise op 17-06-2023 13:56 ]

[mrmrmr]

@Church of Noise Realtek als merk is minder goed in low power dan Intel. Ze hebben soms wel een eigen driver.

De SK Hynix is wel een interessante NVMe, Anandtech heeft van dat merk wel eens SSD's getest die tamelijk zuinig waren, maar dit is waarschijnlijk een OEM versie.

Als het uitschakelen van de Realtek het verbruik niet verlaagt zou je kunnen overwegen het moederbord te modden en de chip los te solderen. Uiteraard heb je dan wel een risico dat het moederbord defect raakt.

Intel I210 of I211 chips zijn redelijk zuinig als insteekkaart, daarmee zou je de netwerkfunctie terug kunnen brengen. Deze I211 heb ik getest.

Het verbruik van zo'n verbinding is ongeveer 0,6W tot enkele tienden van een Watt.

[andru123]

mrmrmr schreef op zaterdag 17 juni 2023 @ 16:23:
Intel I210 of I211 chips zijn redelijk zuinig als insteekkaart, daarmee zou je de netwerkfunctie terug kunnen brengen. Deze I211 heb ik getest.

Lijkt dat deze board geen PCIe slot heeft. Wel een m.2 slot voor WiFi card. @Church of Noise kunt dan een i210 m.2 insteekkaart overwegen bijv. die ik heb onlangs getest. Let maar op dat er is de joust m.2 key slot is. Realtek kan dan blijven disabled in bios.

[ Voor 12% gewijzigd door andru123 op 17-06-2023 17:47 ]

[XyRuS]

@Mich @andru123 @mrmrmr @GioStyle @gekkie @N8w8

Een update over mijn systeem dat 27 watt in verbruikt. Ik zit nu op 8 watt!

Ik heb nu het moederbord uitgewisseld voor een MSI B760M-P, dit bracht enige verbetering, het energie verbruik daalde tot 22 watt idle. Nog steeds behoorlijk teleurstellend. Daarna heb ik direct een PicoPSU en een Leicke adapter besteld. Dit bleek de oplossing, zonder tuning, standaard bios instellingen, een verse debian install direct op 8 watt idle. Wat een ongelooflijk onzuinige voeding bleek ik toch te hebben aangekocht.

Mijn tip aan iedereen, ga voor een picopsu met een zuinige adapter als stroombron! Bedankt voor al jullie input, die ga ik gebruiken om het systeem verder te tunen om nog lager te komen. Ik ben nu al heel content!

[TRAXION]

Zo ik zou nog eens terug komen op mijn NUC 11 RNUC11PAHi5 idle kom ik nu op 8 watt, gekke is alleen dat ik geen C-states voor elkaar krijg op de package terwijl de cores 99.8% op c7 staan.

Idle
Nuc = 8 watt
Hd = 1 watt p/stuk x8
Hub = 0.2 watt zonder disks met disks 1 watt. x2
Fans = 1 watt x 4 (koeling voor de disks)

22 watt voor de complete set idle, met tiental dockers +/- 28 watt.

[Sakke1994]

Hoi,

Ben aan het kijken mijn huidige zelfbouw NAS te vervangen en een zuinig systeem in mekaar te prikken.

Ik zat zelf te kijken naar Unraid als OS oplossing, vereisten zijn zowat:
- Docker containers draaien, van Jellyfin tot websites en wat Home assistant stuff. Geen zéér zware toepassingen. Links of rechts misschien een game server a la Minecraft, 7 days, valheim..
- File storage

Ik zat zelf te kijken naar dit als oplossing:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-13100 Boxed	€ 146,53	€ 146,53
1	Moederborden	ASRock H610M-ITX/ac	€ 120,79	€ 120,79
4	Interne harde schijven	Seagate IronWolf, 6TB (256MB cache, 5400rpm, 4ms latency)	€ 138,-	€ 552,-
1	Behuizingen	Jonsbo N1	€ 0,-	€ 0,-
1	Processorkoeling	Noctua NH-L9i-17xx	€ 44,90	€ 44,90
1	Geheugen intern	Corsair Vengeance LPX CMK32GX4M2E3200C16	€ 64,90	€ 64,90
1	Voedingen	Fractal Design Ion SFX-L 500W Gold	€ 109,92	€ 109,92
1	Solid state drives	Samsung 970 Evo Plus 2TB	€ 79,-	€ 79,-
			Totaal	€ 1.118,04

Ik vroeg me af of er nog verbeteringen mogelijk zijn. De case limiteert me natuurlijk tot een ITX bord icm SFX voeding. Maar wil graag een compacte/mooi oplossing met optie tot 4/5 3.5" drives.

Ben zelf geen fan vd PicoPsu aangezien ik graag een clean oplossing wil waarin de voeding mooi volledig in de case zit.

De m2 ssd is aangezien het unraid is geen boot drive, maar een snellere/zuinige drive die gebruikt kan worden voor kleinere docker toepassingen om zo de hdd drives niet te moeten opspinnen als dat niet nodig is.

Alternatief had een Synology DS1522+ geweest, maar die valt uit de boot aangezien transcoding op de embedded R1600 quasi niet mogelijk is.

Eventueel kan de case ook iets als een Fractal Node 304 worden icm RM650x ofzo?

[ Voor 5% gewijzigd door Sakke1994 op 18-06-2023 16:00 ]

[Church of Noise]

andru123 schreef op zaterdag 17 juni 2023 @ 17:46:
[...]
Lijkt dat deze board geen PCIe slot heeft. Wel een m.2 slot voor WiFi card. @Church of Noise kunt dan een i210 m.2 insteekkaart overwegen bijv. die ik heb onlangs getest. Let maar op dat er is de joust m.2 key slot is. Realtek kan dan blijven disabled in bios.

Dank @mrmrmr en @andru123 .

Ik heb ondertussen de diepten van het internet nog verder verkend, en daaruit geleerd dat de Realtek RTL8111 wel degelijk ASPM kan, dat er in sommige systemen problemen waren met de stabiliteit van de verbinding, dat daarom ASPM is uitgeschakeld in de sturing en dat er nadien nooit een werkende 'toggle' is gerealiseerd (hoewel er dus wel die r8168.aspm parameter is voor de kernel). Er zijn initiatieven geweest van individuen die tijdelijk goed werkende drivers hebben opgeleverd maar die ondertussen al deprecated zijn.
Heel erg jammer, want dat zou natuurlijk de elegantste oplossing zijn.

Ondertussen heb ik een M2 kaartje obv i210 besteld, ik moet wel nog eens goed nadenken hoe ik de ethernetpoort dan netjes kan bevestigen (misschien soldeer ik de bestaande wel los, of ik verwijder de serial port en maak daar het gat passend...)

[BMW_Gizzmo]

Church of Noise schreef op zondag 18 juni 2023 @ 12:33:
[...]

Ondertussen heb ik een M2 kaartje obv i210 besteld, ik moet wel nog eens goed nadenken hoe ik de ethernetpoort dan netjes kan bevestigen (misschien soldeer ik de bestaande wel los, of ik verwijder de serial port en maak daar het gat passend...)

Ik heb dit op een vrij plekje in mijn systeem gezet. https://www.thomann.de/nl...DPgRfqweXijIaArBHEALw_wcB Voordeel, een enkel rond gat nodig. Verder geen modificatie aan een moederbord of wat dan ook.
(Linkje is een voorbeeld, zijn ook elders voor veel minder te koop)

[ Voor 4% gewijzigd door BMW_Gizzmo op 18-06-2023 13:01 ]

[tedjevanduuren]

Hoi,

Zoals iedereen in dit topic ben ik ook aan het kijken om mijn verschillende systemen samen te voegen tot een nieuwe server. Op dit moment heb ik een:
Dell R720 (Als esxi server met een Idle van ongeveer 225Watt)
- 8x 16GB geheugen voor totaal 128GB DDR
- 2x Intel(R) Xeon(R) CPU E5-2667 v2 @ 3.30GHz
- 8x een 4TB SAS
- 2x 495Watt voeding

Een intel Nuc 11 met een I5 waarop ik verschillende containers heb draaien
Een Dell machine van ongeveer 5 jaar oud om zaken te testen / kopieren
Ook nog een Qnap met 4x 3TB en 1x 2TB voor storage (Plex).

Nu ik inzicht in het verbruik heb kunnen zien is het toch wel nodig om het 1 en ander samen te voegen in een nieuwe server waar ik vanuit ga dat het in ieder geval zuiniger zal zijn. Na het lezen van dit deel van het topic ben ik gekomen op onderstaande producten (Mis nog wel geheugen).

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 260,83	€ 260,83
1	Moederborden	ASUS PRIME H610I-PLUS D4-CSM	€ 118,70	€ 118,70
1	Moederborden	ASUS Prime H610M-A D4-CSM	€ 94,39	€ 94,39
2	Interne harde schijven	HGST DC HC530 (SATA 6Gb/s, 512e SE), 14TB	€ 215,96	€ 431,92
4	Interne harde schijven	Seagate Barracuda Compute 2,5" (5400rpm), 5TB	€ 118,64	€ 474,56
1	Behuizingen	Fractal Design Pop Air Black Solid	€ 80,36	€ 80,36
1	Solid state drives	Solidigm 670p 2TB	€ 84,90	€ 84,90
Bekijk collectie Importeer producten			Totaal	€ 1.545,66

Nu heb ik eigenlijk wel een paar vragen:
- Kan ik beter gaan voor 4x 2,5" 5TB schijven of toch weer voor 3,5".
- De gekozen kast heeft plek voor 4x 2,5" en nog plaats voor 2x 5,25 waarin ik dan een 3x 3,5" hdd hotswap bay in wil plaatsen zodat ik zaken welke ik bewaren als cold storage naarmate de schijven vol raken (Heb nog een grote hoeveelheid SAS schijven dus er zal ook een LSI 4 poorts sas controller in gezet worden).
- Welke voeding is aan te raden aangezien de 550X niet meer of zeer moeilijk leverbaar is.
(Is dit geheel aan te sturen doormiddel van een PicoPSU wanneer ik de Hotswap bays vol heb met 3x 3,5" en 4x 2,5" )

[FooYoungHi]

Excuus voor de muur van tekst.
Het is eindelijk tijd om mijn energieslurpende Unraid server te vervangen.
Wat ik nu heb:

AMD FX8320
Gigabyte 990FXA-UD3 R5
16GB RAM
HBA card

1x 20TB HDD (Seagate Exos)
1x 12TB HDD (HGST)
1x 8TB HDD (WD Gold)
2x 256GB SSD
1x BD reader

Corsair RM 650X

Huidig idle verbruik: ±100W

Wat draai ik:
Unraid met o.a.
Dockers: Nextcloud, Jellyfin, torrents, reverse proxy setup, en nog wat andere simpele dockers.
VMs: Ubuntu Server, Home Assistant.

Wat zoek ik:
- Een systeem dat géén downgrade is (zal niet moeilijk zijn). Hoeft geen 'Firebreathing Dragon' te zijn, maar als dat niet veel scheelt in idle gebruik ben ik er niet op tegen. Tot nu toe doet mijn huidige CPU alles wat ik verlang, maar ik wil wel een beetje headroom hebben om meer te spelen met meer (niet constante) workloads op Dockers/VMs, dus extra cores zou leuk zijn. Ik transcode zelden met Jellyfin. Wanneer ik echt intensieve dingen wil gaan doen, dan bouw ik wel een ander systeem. 6c/12t zou méér dan genoeg moeten zijn. een iGPU/APU is wel een pré, als is met maar voor monitor aansluiting.
- Rond de 25-30W idle met HDDs in spin down. Lager is uiteraard prachtig. (is dit realistisch?)
- Minimaal 6x SATA
- Liefst 2x m.2, en níet gedeeld met SATA poorten; alles moet tegelijkertijd gebruikt kunnen worden.
- ECC RAM. Al lees ik ook vaak dat dit overkill is. (Wat denken jullie?) 16GB zou voldoende moeten zijn.
- Onboard NIC van Intel.
- mgmt poort/IPMI zou leuk zijn, maar optioneel
- Onboard USB3.0 poort zou leuk zijn, maar optioneel. (niet op de I/O, maar echt op het mobo)
- Budget: Maximaal €1000. Hoeft uiteraard niet op. Als ik een prima systeem heb voor de helft, des te beter. Gaat nu vooral om CPU, Mobo en RAM. PSU etc kan later worden geupgrade. Als het budget het toelaat wil ik de 8TB HDD vervangen met nog een 20TB HDD.

---
In de nieuwe build ga ik de HBA adapter er uit halen, want die is dan overbodig. Dit kan met mijn huidige board niet, omdat deze niet helemaal compatible is met mijn Samsung SSDs, en dan constant errors geeft.
Ik gebruik de BD-reader voor het rippen van mijn DVDs en BDs, dus die moet er in blijven. Als het veel uitmaakt is een externe kopen die ik aansluit als ik hem nodig heb eventueel ook een oplossing; maakt ook weer een SATA poort vrij.
Ik wil ook ten alle tijden alle SATA en M.2 poorten tegelijk kunnen gebruiken. Ik wil op termijn mijn 256GB SATA SSDs (cache) vervangen voor m.2, waardoor er weer 2 SATA poorten vrijkomen voor spinning rust.

Ik heb een beetje zitten zoeken, maar echt heel ver ben ik niet gekomen. Ik heb zitten kijken naar boards van ASROCK Rack, maar ik weet niet of dat overkill is voor wat ik er mee wil. Ook hebben de boards die ik van ze heb gezien 1 m.2 slot die gedeeld is met de PCI-e x1 en de LAN poorten. Wat dit met de snelheid doet weet ik niet.

Voor CPUs ben ik ook niet ver. Ik hoef geen lage idle-records te breken, dus kan zowel AMD als Intel, volgens mij. Intel heeft de voorkeur, omdat die beter zijn in idle. Of ik voor een 'budget' CPU zal gaan of een krachtigere zal afhangen van de prijs van het mobo en het verschil in stroomgebruik in idle.

Ik heb zitten denken aan een pico PSU, maar dat lijkt niet te gaan lukken met meerdere HDDs, dus dat valt af.

Het vaak aangeraden systeem met de i3 9100 en een Fujitsu bord is al op alle vlakken veel beter dan wat ik nu heb draaien, als ik de vergelijkings benchmarks mag geloven. Ik heb dan alleen weinig headroom om met meer cores te spelen. Ik heb het gevoel dat deze snel limiterend gaat worden.

Kunnen jullie mij op weg helpen?

[mrmrmr]

tedjevanduuren schreef op zondag 18 juni 2023 @ 16:12:
Nu heb ik eigenlijk wel een paar vragen:
- Kan ik beter gaan voor 4x 2,5" 5TB schijven of toch weer voor 3,5".

Zie het verbruik in de topic start. Je hebt in een zuinige server 3 keuzen:
1. SSD's, geen HDD's.
2. 2.5" HDD's, max. 5 TB per stuk.
3. grote 3.5" HDD's (20TB) zoals een Toshiba MG09 18TB. Optimaliseer het aantal TB's per Watt.

- De gekozen kast heeft plek voor 4x 2,5" en nog plaats voor 2x 5,25 waarin ik dan een 3x 3,5" hdd hotswap bay in wil plaatsen zodat ik zaken welke ik bewaren als cold storage naarmate de schijven vol raken

Het is altijd goed om schijven niet te laten draaien. Dat kan door extra storage, bijvoorbeeld voor backup, aan te sluiten via USB 3. Beter geen storage controllers bijplaatsen, die zijn vaak onzuinig of verlagen de SATA bandbreedte.

(Heb nog een grote hoeveelheid SAS schijven dus er zal ook een LSI 4 poorts sas controller in gezet worden).

SAS controllers hebben een hoog verbruik en "enterprise" schijven ook. Altijd vermijden, al krijg je het met geld toe.

- Welke voeding is aan te raden aangezien de 550X niet meer of zeer moeilijk leverbaar is.
(Is dit geheel aan te sturen doormiddel van een PicoPSU wanneer ik de Hotswap bays vol heb met 3x 3,5" en 4x 2,5" )

Met 2.5" is de limiet 6x SATA (10th gen platform) of 4x SATA (12/13th gen platform).

[tedjevanduuren]

mrmrmr schreef op zondag 18 juni 2023 @ 16:38:
[...]


Zie het verbruik in de topic start. Je hebt in een zuinige server 3 keuzen:
1. SSD's, geen HDD's.
2. 2.5" HDD's, max. 5 TB per stuk.
3. grote 3.5" HDD's (20TB) zoals een Toshiba MG09 18TB. Optimaliseer het aantal TB's per Watt.

[...]


Het is altijd goed om schijven niet te laten draaien. Dat kan door extra storage, bijvoorbeeld voor backup, aan te sluiten via USB 3. Beter geen storage controllers bijplaatsen, die zijn vaak onzuinig of verlagen de SATA bandbreedte.


[...]


SAS controllers hebben een hoog verbruik en "enterprise" schijven ook. Altijd vermijden, al krijg je het met geld toe.


[...]


Met 2.5" is de limiet 6x SATA (10th gen platform) of 4x SATA (12/13th gen platform).

Bedankt voor de input. Dan ga ik denk ik mijn "Enterprise" schijven op V&A gooien en vanuit daar een aantal grote 3,5" schijven halen. Scheelt inderdaad een SAS controller en een berg schijven.

Alleen wat zou dan een "goede" voeding zijn om het systeem te laten draaien aangezien ik met een PicoPSU een "gat" hou in de plaats van een ATX-Voeding. Of is er een behuizing waar ik overheen gekeken heb welke plek heeft voor 4x 2,5" inch.

[mrmrmr]

FooYoungHi schreef op zondag 18 juni 2023 @ 16:23:
Het is eindelijk tijd om mijn energieslurpende Unraid server te vervangen.
Wat ik nu heb:

AMD FX8320
Gigabyte 990FXA-UD3 R5
16GB RAM
HBA card

1x 20TB HDD (Seagate Exos)
1x 12TB HDD (HGST)
1x 8TB HDD (WD Gold)
2x 256GB SSD
1x BD reader


Corsair RM 650X

Huidig idle verbruik: ±100W

Wat draai ik:
Unraid met o.a.
Dockers: Nextcloud, Jellyfin, torrents, reverse proxy setup, en nog wat andere simpele dockers.
VMs: Ubuntu Server, Home Assistant.

Wat zoek ik:
- Een systeem dat géén downgrade is (zal niet moeilijk zijn). Hoeft geen 'Firebreathing Dragon' te zijn, maar als dat niet veel scheelt in idle gebruik ben ik er niet op tegen. Tot nu toe doet mijn huidige CPU alles wat ik verlang, maar ik wil wel een beetje headroom hebben om meer te spelen met meer (niet constante) workloads op Dockers/VMs, dus extra cores zou leuk zijn.

Software optimalisatie is het beste. Voorkomen van belasting is de beste methode. Vermijd dus die constante workloads. Meestal is het niet echt nodig om zoveel taken te doen, het gaat dan meestal om logging. Bij metingen wordt vaak teveel en te vaak gelogd. @Mars Warrior heeft dat flink teruggebracht.

Ik transcode zelden met Jellyfin. Wanneer ik echt intensieve dingen wil gaan doen, dan bouw ik wel een ander systeem. 6c/12t zou méér dan genoeg moeten zijn. een iGPU/APU is wel een pré, als is met maar voor monitor aansluiting.

Gebruik bij voorkeur Intel Quick Sync. Dat is veel efficienter en verbruikt minder.

- Rond de 25-30W idle met HDDs in spin down. Lager is uiteraard prachtig. (is dit realistisch?)

Zonder last moet een systeem minder dan 10W kunnen halen in idle.

- Minimaal 6x SATA

Dan ben je beperkt tot 10th gen.

- Liefst 2x m.2, en níet gedeeld met SATA poorten; alles moet tegelijkertijd gebruikt kunnen worden.

Tegenwoordig kom je nog weinig M.2 SATA poorten tegen. Het is meestal NVMe (pcie).

- ECC RAM. Al lees ik ook vaak dat dit overkill is. (Wat denken jullie?) 16GB zou voldoende moeten zijn.

ECC komt niet of nauwelijks meer voor bij moderne desktopsystemen.

- mgmt poort/IPMI zou leuk zijn, maar optioneel

Dat is een systeem in een systeem en dat komt met de overhead van 2 systemen. Je kan gewoon SSH gebruiken voor remote sessies.

- Onboard USB3.0 poort zou leuk zijn, maar optioneel. (niet op de I/O, maar echt op het mobo)

Als je van USB zou willen starten is USB2 de beste keuze. Die verbruikt veel minder. Dan kun je makkelijk vaststellen door te voelen of de stick warm wordt.

- Budget: Maximaal €1000. Hoeft uiteraard niet op. Als ik een prima systeem heb voor de helft, des te beter. Gaat nu vooral om CPU, Mobo en RAM. PSU etc kan later worden geupgrade. Als het budget het toelaat wil ik de 8TB HDD vervangen met nog een 20TB HDD.

Tegenwoordig is dit budget niet meer genoeg.

In de nieuwe build ga ik de HBA adapter er uit halen, want die is dan overbodig. Dit kan met mijn huidige board niet, omdat deze niet helemaal compatible is met mijn Samsung SSDs, en dan constant errors geeft.
Ik gebruik de BD-reader voor het rippen van mijn DVDs en BDs, dus die moet er in blijven. Als het veel uitmaakt is een externe kopen die ik aansluit als ik hem nodig heb eventueel ook een oplossing; maakt ook weer een SATA poort vrij.
Ik wil ook ten alle tijden alle SATA en M.2 poorten tegelijk kunnen gebruiken. Ik wil op termijn mijn 256GB SATA SSDs (cache) vervangen voor m.2, waardoor er weer 2 SATA poorten vrijkomen voor spinning rust.

Ik heb een beetje zitten zoeken, maar echt heel ver ben ik niet gekomen. Ik heb zitten kijken naar boards van ASROCK Rack, maar ik weet niet of dat overkill is voor wat ik er mee wil. Ook hebben de boards die ik van ze heb gezien 1 m.2 slot die gedeeld is met de PCI-e x1 en de LAN poorten. Wat dit met de snelheid doet weet ik niet.

Voor CPUs ben ik ook niet ver. Ik hoef geen lage idle-records te breken, dus kan zowel AMD als Intel, volgens mij. Intel heeft de voorkeur, omdat die beter zijn in idle. Of ik voor een 'budget' CPU zal gaan of een krachtigere zal afhangen van de prijs van het mobo en het verschil in stroomgebruik in idle.

Ik heb zitten denken aan een pico PSU, maar dat lijkt niet te gaan lukken met meerdere HDDs, dus dat valt af.

Het vaak aangeraden systeem met de i3 9100 en een Fujitsu bord is al op alle vlakken veel beter dan wat ik nu heb draaien, als ik de vergelijkings benchmarks mag geloven. Ik heb dan alleen weinig headroom om met meer cores te spelen. Ik heb het gevoel dat deze snel limiterend gaat worden.

Kunnen jullie mij op weg helpen?

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-12400 Boxed	€ 184,82	€ 184,82
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Interne harde schijven	Toshiba MG09 (SATA, Standard, 512e), 18TB	€ 273,20	€ 273,20
1	Geheugen intern	Samsung M323R2GA3BB0-CQK	€ 53,55	€ 53,55
1	Solid state drives	Samsung 980 1TB	€ 55,41	€ 55,41
			Totaal	€ 566,98

De Kontron K3843-B is momenteel verkrijgbaar in Duitsland.

De BD drive kun je beter niet in de server stoppen. Gebruik die op een computer die niet altijd aan staat.

Voor voeding kun je PicoPSU-160XT met een 160W adapter kiezen of een Corsair Shift RM750x (2023). test. @tedjevanduuren De Shift 750X is minder zuinig rondom 40W dan de RM550X. Dus vooral van toepassing als het systeem een normaal "idle" heeft van minder dan 40W.

Er zijn grofweg 3 optimalisatieëlementen voor een zuinige server:
1. Hardware + BIOS.
2. Besturingssysteem.
3. Inrichting en configuratie.

De hardware is in feite het minst moeilijk (bij dit moederbord), het zuinigste real-world besturingssysteem is Debian 11/12. Het belang van het laatste element wordt soms onderschat. Optimalisatie is absoluut een vereiste bij een aantal van de moderne apps. Dat betekent vermijden van processen die weinig nuttigs doen (zoals monitoren), minder data loggen, minder vaak loggen (verlaag frequentie tot wat nodig is) en zorgvuldig software selecteren. Draai zoveel mogelijk direct onder het besturingssysteem, als er geen alternatief is containers, en vermijd VM's zoveel mogelijk. Met elke VM voeg je de overhead van de hypervisor en een compleet besturingssysteem toe. Dat gaat ten koste van energieverbruik.

[Th3Eagle]

Beste mede tweakers,

Momenteel draai ik mijn plex server op eigen (gaming) pc. Omdat het gebruik flink omhoog is gegaan (en ik verwacht dat het verder zal stijgen) staat deze pc regelmatig halve tot hele dagen aan (gedurende de nacht uit). Om deze rede overweeg ik een zuinigere server te bouwen.

Mijn keuze valt momenteel op het onderstaande + max 4 SATA 3,5inch SATA schijven (niet in RAID):

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Celeron G6900 Boxed	€ 68,02	€ 68,02
1	Moederborden	Gigabyte B760M DS3H DDR4	€ 109,-	€ 109,-
1	Geheugen intern	Corsair Vengeance LPX CMK16GX4M2B3200C16	€ 39,-	€ 39,-
1	Solid state drives	WD Blue SN570 1TB	€ 45,66	€ 45,66
			Totaal	€ 261,68

Dit is geen desktop koopadvies thread, maar ik heb wel twee specifieke vragen van toepassing voor dit topic en verwacht dat men me hiernaartoe zal sturen voor advies:

1. Is er veel winst te halen met de Kontron K3843-B? Het is een behoorlijke investering tov andere bordjes, zeker met verzendkosten vanuit Duitsland en het duurdere geheugen.
2. Is het verstandig om voor een 160w PicoPSU te gaan gezien er max 4 SATA schijven worden aangesloten, of een 300-500W ATX PSU een betere keuze? (kwa totaal kosten ontloopt het elkaar niet zoveel)

[mrmrmr]

@Th3Eagle

Het verschil bij idle ligt doorgaans tussen 5 en 10W. Dat vertaalt zich naar € 75 tot € 150 als een systeem altijd aan staat (5 jaar, bij € 3 per Watt per jaar, 34,2 cent per kWh).

2.5" disks verbruiken weinig en dan is een PicoPSU-90 voeding geschikt, wat het geheel nog zuiniger maakt. Heb je meer dan 20TB opslag nodig, kun je het beste kiezen voor een zo'n laag mogelijk aantal grote 3.5" disks (~20TB per stuk). Elke Toshiba MG09 18TB disk voegt 4,18W toe als de disk draait.

[andru123]

@TRAXION @XyRuS leuk dat het gelukt! Is het mogelijk om een hele post maken met de lijst van onderdelen, het verbruik, met wat en hoe was gemeten, behaalde c-state etc. Dan gaat het bericht (mogelijk) naar de gepinnde posts (hall of fame ). Jammer dat het is niet gelukt met Asrock B760, dus weten wij niet of dat bord onder 10W kan.
@Church of Noise ik zou eerst het m.2 slot controleren welke formaat etc. Meestaal zijn WiFi slots key A, maar niet altijd. En dan kan de BIOS het uitschakelen, etc.

[FDMK]

mrmrmr schreef op zondag 18 juni 2023 @ 17:36:
[...]

Voor voeding kun je PicoPSU-160XT met een 160W adapter kiezen of een Corsair Shift RM750x (2023). test. @tedjevanduuren De Shift 750X is minder zuinig rondom 40W dan de RM550X. Dus vooral van toepassing als het systeem een normaal "idle" heeft van minder dan 40W.

Ergo er is een vervanger voor de RM550x voor de systemen die nu ongeveer 15-25watt doen in idle?

[MuVo]

Hierbij een voeding prestatie lijst welke regelmatig word bijgewerkt (source) (Ziet er naar uit dat deze niet eerder is gepost in deze topic reeks):
PSU Tier List en de volledige excel met onderbouwing.

Zelf ben ik net als @FDMK ook op zoek naar een waardige vervanger voor de RM550x (2021), voor een Intel Series 12/13 unraid systeem.

[mrmrmr]

@FDMK

Een vervanger is het niet echt, vanwege die diepe dip bij 40W. De RM550x (2021) is wat dat betreft beter.

RM550X (2021)


RM750X Shift (2023)


De dip heeft misschien iets te maken met het punt waarop power factor correction wordt ingeschakeld.

[KDamen]

Hoi,

Zojuist mijn eerste huis gekocht. Ik draai nu Home Assistant op een Raspberry Pi4, een losse router (TP-Link AX73) en een desktop PC die een Plex servertje host, maar wil in het nieuwe huis alles goed gaan aanpakken. Nu kan ik wel wat tips gebruiken van mensen met meer ervaring.

Vraag 1: Is het verstandig om al mijn systemen te virtualiseren in één apparaat?
Het idee is om de router van KPN te vervangen voor een PFSense ondergebracht in Proxmox waar ook Home Assistant en een NAS naast gaat draaien.

Vraag 2: Ik kan een Optiplex 3060 met i5 8500 via via krijgen om hiervoor in te gaan zetten of is het verstandiger om iets van een TopTon N200 hiervoor te gaan gebruiken? Denkend aan de zuinigheid van de server.

Alle andere ideeën of adviezen zijn natuurlijk ook van harte welkom.

Alvast bedankt!

[Mich]

Ik heb Kontron nog maar eens een mail gestuurd over hun nieuwe bios voor de K3846-B (met 13th gen support). De vorige keer zeiden ze dat het kwestie van weken was voor de update uit kwam, maar dat was in April. Nu is het eind Juni geworden. Hopelijk komt hij dan ook de komende weken want mijn vakantie begint ook bijna. Kan ik eindelijk mijn server gaan inrichten

edit:

Dit is nog een openstaand puntje ook, hopelijk is die ook gelijk gefixt. Ook al is C10 niet echt een probleem. Alle beetjes helpen.

[ Voor 39% gewijzigd door Mich op 19-06-2023 11:48 ]

[krijn1985]

KDamen schreef op maandag 19 juni 2023 @ 11:39:
Hoi,

Zojuist mijn eerste huis gekocht. Ik draai nu Home Assistant op een Raspberry Pi4, een losse router (TP-Link AX73) en een desktop PC die een Plex servertje host, maar wil in het nieuwe huis alles goed gaan aanpakken. Nu kan ik wel wat tips gebruiken van mensen met meer ervaring.

Vraag 1: Is het verstandig om al mijn systemen te virtualiseren in één apparaat?
Het idee is om de router van KPN te vervangen voor een PFSense ondergebracht in Proxmox waar ook Home Assistant en een NAS naast gaat draaien.

Alle andere ideeën of adviezen zijn natuurlijk ook van harte welkom.

Alvast bedankt!

Om op vraag 1 in te gaan: ik zou mijn router/netwerk los houden hiervan, kapotte server = geen internet. Is het verstandig te rest te combineren? Naar mijn idee kan dat prima. Ik heb hier thuis een "server" met proxmox waarop ik een VM heb voor dockers, een VM voor mijn desktop omgeving (met GPU passthrough) en nog wat andere VM's/LXC's. Verder zit mijn opslag hier ook in. Ik denk dat het zuiniger is/was dan dat ik iedere dag ernaast ook nog een desktop zou opstarten. Inmiddels draait dit alweer 5,5 jaar en weinig problemen gehad.
Ik heb in mijn docker VM dus ook homeassistant als docker draaien + zigbee2mqtt en nog vele andere containers en werkt allemaal super.

Zou ik bij nieuwe server weer mijn desktop erin stoppen, weet ik nog niet. Sinds ik deze server gebouwd heb ben ik ook meer naar dockers gegaan dus ook best kans dat ik bij vervanging misschien iets met docker swarm ga uitvoeren en aparte NAS.

[KDamen]

krijn1985 schreef op maandag 19 juni 2023 @ 12:57:
[...]


Om op vraag 1 in te gaan: ik zou mijn router/netwerk los houden hiervan, kapotte server = geen internet. Is het verstandig te rest te combineren? Naar mijn idee kan dat prima. Ik heb hier thuis een "server" met proxmox waarop ik een VM heb voor dockers, een VM voor mijn desktop omgeving (met GPU passthrough) en nog wat andere VM's/LXC's. Verder zit mijn opslag hier ook in. Ik denk dat het zuiniger is/was dan dat ik iedere dag ernaast ook nog een desktop zou opstarten. Inmiddels draait dit alweer 5,5 jaar en weinig problemen gehad.
Ik heb in mijn docker VM dus ook homeassistant als docker draaien + zigbee2mqtt en nog vele andere containers en werkt allemaal super.

Zou ik bij nieuwe server weer mijn desktop erin stoppen, weet ik nog niet. Sinds ik deze server gebouwd heb ben ik ook meer naar dockers gegaan dus ook best kans dat ik bij vervanging misschien iets met docker swarm ga uitvoeren en aparte NAS.

Dat is waar inderdaad wat betreft router in de server virtualiseren. Heb je nog tips qua hardware voor losse routers? Of is het verstandig om gewoon de AX73 te blijven gebruiken?

Game je zelf veel via je desktop? Ben benieuwd wat de performance is als je GPU Passthrought doet en dan gaan gamen.

[krijn1985]

KDamen schreef op maandag 19 juni 2023 @ 13:16:
[...]


Dat is waar inderdaad wat betreft router in de server virtualiseren. Heb je nog tips qua hardware voor losse routers? Of is het verstandig om gewoon de AX73 te blijven gebruiken?

Game je zelf veel via je desktop? Ben benieuwd wat de performance is als je GPU Passthrought doet en dan gaan gamen.

Ik zou gewoon kijken of de AX73 voor jou blijft voldoen. Ik heb zelf router en AP losgetrokken en allemaal hardware gekocht waarop OpenWRT kan zodat ik meer mogelijkheden heb qua instellen.

Ik game zelf (bijna) nooit en zit ook simpel kaartje, GT1030 zonder fans, in maar heb er wel eens een spelletje opgespeeld. Over het algemeen is er bijna geen verlies bij het gebruik van een passthrough GPU zover ik weet. Als je veel gamed zou ik persoonlijk toch aparte desktop daarvoor gebruiken.
Ik weet niet hoe het tegenwoordig is, maar ik weet dat het 5,5 jaar geleden wel een beetje gok was of je moederbord geschikt was om netjes je GPU in passthrough te krijgen. In mijn geval heb ik dus een iGPU welke ik niet echt gebruik (console van proxmox zou daar op te zien zijn) en een GPU omdat ik niet wist hoe makkelijk het was om de enige gpu door te geven aan een VM. Vanuit zuinigheid dus ook niet het beste.

[KDamen]

krijn1985 schreef op maandag 19 juni 2023 @ 13:38:
[...]

Ik zou gewoon kijken of de AX73 voor jou blijft voldoen. Ik heb zelf router en AP losgetrokken en allemaal hardware gekocht waarop OpenWRT kan zodat ik meer mogelijkheden heb qua instellen.

Ik game zelf (bijna) nooit en zit ook simpel kaartje, GT1030 zonder fans, in maar heb er wel eens een spelletje opgespeeld. Over het algemeen is er bijna geen verlies bij het gebruik van een passthrough GPU zover ik weet. Als je veel gamed zou ik persoonlijk toch aparte desktop daarvoor gebruiken.
Ik weet niet hoe het tegenwoordig is, maar ik weet dat het 5,5 jaar geleden wel een beetje gok was of je moederbord geschikt was om netjes je GPU in passthrough te krijgen. In mijn geval heb ik dus een iGPU welke ik niet echt gebruik (console van proxmox zou daar op te zien zijn) en een GPU omdat ik niet wist hoe makkelijk het was om de enige gpu door te geven aan een VM. Vanuit zuinigheid dus ook niet het beste.

Dank voor de info! Ik ga het denk gewoon rustig aanpakken. Eerst zorgen dat de boel werkt en blijft werken, dat is natuurlijk het aller belangrijkst.

[mrmrmr]

@KDamen

Het is simpel: virtualisatie kost energie. Dat is vreemd want een van de originele redenen voor virtualisatie was juist om energie te besparen door minder systemen te draaien. Maar dat gaat al lang niet meer op. Er zijn nu meer energiezuinige systemen die veel minder verbruiken dan de 100W+ monsters van meer dan 15 jaar geleden.

Virtualisatie kost energie door de overhead van de hypervisor (vaak zonder goede low power drivers, zoals ESXi) en door de overhead van het besturingssysteem.

Het kan best zo zijn dat meerdere kleine systemen minder energie verbruiken.

Begin daarom bij het begin: wat verbruiken mijn apparaten nu? Er zijn een aantal energiemeters genoemd in de topic start. Als je eenmaal weet wat het verbruik nu is, kunnen we inschatten of het zin heeft daar een of meer onderdelen van te vervangen.

[Mich]

mrmrmr schreef op maandag 19 juni 2023 @ 15:08:
@KDamen

Het is simpel: virtualisatie kost energie. Dat is vreemd want een van de originele redenen voor virtualisatie was juist om energie te besparen door minder systemen te draaien. Maar dat gaat al lang niet meer op. Er zijn nu meer energiezuinige systemen die veel minder verbruiken dan de 100W+ monsters van meer dan 15 jaar geleden.

Virtualisatie kost energie door de overhead van de hypervisor (vaak zonder goede low power drivers, zoals ESXi) en door de overhead van het besturingssysteem.

Het kan best zo zijn dat meerdere kleine systemen minder energie verbruiken.

Begin daarom bij het begin: wat verbruiken mijn apparaten nu? Er zijn een aantal energiemeters genoemd in de topic start. Als je eenmaal weet wat het verbruik nu is, kunnen we inschatten of het zin heeft daar een of meer onderdelen van te vervangen.

Virtualisatie kost energie ja. Ook al merk ik dat het nog best mee valt. Ik heb nu 6 VM's draaien in Proxmox waarvan 1 met OPNsense en de rest Debian. Op eentje draait nextcloud en op eentje home assistant,de rest niets. Ze doen allemaal eigenlijk nog niets omdat ik ze niet actief gebruik. het verbruik na het starten van de 6 vm's neemt toe van 3.2W naar ongeveer 8.5-9.2 W. Dit is nog zonder dat ik de VM's ook maar iets geoptimaliseerd heb (voor zover dat kan). Proxmox zelf heb ik wel geoptimaliseerd.

Als de bios update van Kontron er is kan ik de juiste CPU gebruiken en alles overzetten, dan weet ik daadwerkelijk wat het gebruik is en wat ik er mee bespaart heb.

@KDamen Ik zou zelf wel je pfsense/opnsense op je server draaien. Kans op hardware falen heb je mijn inziens altijd. Grote voordeel van een vm is dat je backups/snapshots kan maken voor een grote update en juist weer snel online bent mocht de update mislukken.

[ Voor 7% gewijzigd door Mich op 19-06-2023 16:36 ]

[andru123]

Mich schreef op maandag 19 juni 2023 @ 16:33:
Ook al merk ik dat het nog best mee valt. Ik heb nu 6 VM's draaien in Proxmox waarvan 1 met OPNsense en de rest Debian. Op eentje draait nextcloud en op eentje home assistant,de rest niets. Ze doen allemaal eigenlijk nog niets omdat ik ze niet actief gebruik. het verbruik na het starten van de 6 vm's neemt toe van 3.2W naar ongeveer 8.5-9.2 W.

wow, ik dacht dat met proxmox het zou efficienter kunnen. +6W voor VMs die niks doen? Als dezelfde services bare metal op het systeem draaien, zou het verbruik veel minder geweest? Is het overhead van “VM” of echt verbruik van de services?

[Church of Noise]

Nog 'n kleine update: vandaag geprobeerd welke Pkg state mijn systeempje zou bereiken met een goedkope USB-to-Ethernet adapter (die'k ooit gebruikte toen ik Pi-Hole nog op een RPi Zero draaide).

Observaties:
- Pkg state tot C9

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 2
                    |                     | C0 active   0.4%        1.2%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.3%    0.9 ms  0.1%    0.3 ms
C2 (pc2)    5.7%    |                     |
C3 (pc3)    0.0%    | C3 (cc3)    0.0%    | C3          0.0%    0.1 ms  0.0%    0.2 ms
C6 (pc6)    0.8%    | C6 (cc6)    1.0%    | C6          0.4%    0.6 ms  0.9%    0.6 ms
C7 (pc7)    0.0%    | C7 (cc7)   92.8%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
C8 (pc8)   12.7%    |                     | C8          2.6%    1.9 ms 11.0%    2.0 ms
C9 (pc9)   70.1%    |                     | C9          0.3%    8.4 ms  3.9%    4.2 ms
C10 (pc10)  0.0%    |                     |
                    |                     | C10        94.9%   23.5 ms 80.6%   11.1 ms
                    |                     | C1E         0.4%    0.5 ms  0.2%    0.4 ms

                    |            Core(HW) |            CPU(OS) 1   CPU(OS) 3
                    |                     | C0 active   0.8%        0.6%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.6%    0.7 ms  0.0%    0.7 ms
                    |                     |
                    | C3 (cc3)    0.0%    | C3          0.0%    0.1 ms  0.0%    0.2 ms
                    | C6 (cc6)    0.4%    | C6          0.3%    0.6 ms  0.2%    0.6 ms
                    | C7 (cc7)   93.3%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C8          5.5%    2.2 ms  5.0%    2.4 ms
                    |                     | C9          0.0%    3.1 ms  0.0%    4.2 ms
                    |                     |
                    |                     | C10        91.1%   24.7 ms 92.0%   36.4 ms
                    |                     | C1E         0.1%    0.2 ms  0.9%    0.7 ms

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |
                    | RC6pp       0.0%    |

- Netto impact op verbruik: ongeveer 1 Watt meer (netto), vermoedelijk omdat die adapter niet zo heel zuinig is (nu vind ik online terug dat die dingen ongeveer 1-1.5 Watt verbruiken, dus het netto effect op mijn systeem van C9 lijkt momenteel beperkt)

Ik laat meer weten eens de i210 kaart getest is

[ Voor 50% gewijzigd door Church of Noise op 19-06-2023 22:39 ]

[KDamen]

Mich schreef op maandag 19 juni 2023 @ 16:33:
[...]


Virtualisatie kost energie ja. Ook al merk ik dat het nog best mee valt. Ik heb nu 6 VM's draaien in Proxmox waarvan 1 met OPNsense en de rest Debian. Op eentje draait nextcloud en op eentje home assistant,de rest niets. Ze doen allemaal eigenlijk nog niets omdat ik ze niet actief gebruik. het verbruik na het starten van de 6 vm's neemt toe van 3.2W naar ongeveer 8.5-9.2 W. Dit is nog zonder dat ik de VM's ook maar iets geoptimaliseerd heb (voor zover dat kan). Proxmox zelf heb ik wel geoptimaliseerd.

Als de bios update van Kontron er is kan ik de juiste CPU gebruiken en alles overzetten, dan weet ik daadwerkelijk wat het gebruik is en wat ik er mee bespaart heb.

@KDamen Ik zou zelf wel je pfsense/opnsense op je server draaien. Kans op hardware falen heb je mijn inziens altijd. Grote voordeel van een vm is dat je backups/snapshots kan maken voor een grote update en juist weer snel online bent mocht de update mislukken.

En welke hardware gebruik je hier precies voor als ik vragen mag? De Optiplex 3060 die ik kan gaan gebruiken zou ongeveer 22w idle draaien met windows zonder optimalisatie.

[andru123]

@Church of Noise ik heb ook 2 adapters getest (tweede)
Beiden had Realtek chip, en beiden opgehangen na executie van powertop auto-tune. Niet optimaal, dus.
Eentje had wel redelijk idle en doorvoer, blijft wel mogelijke keuze.

[Mich]

andru123 schreef op maandag 19 juni 2023 @ 17:06:
[...]
wow, ik dacht dat met proxmox het zou efficienter kunnen. +6W voor VMs die niks doen? Als dezelfde services bare metal op het systeem draaien, zou het verbruik veel minder geweest? Is het overhead van “VM” of echt verbruik van de services?

Ik heb speciaal voor jou even getest. Ik heb nu alleen 4 debian VM's draaien die niets doen en het verbruik is 5.2W. Dus nog geen 1.5W erbij.

OPNsense verbruikt wel veel resources, Nextcloud ook, ook al weet ik daarvan nog niet precies waar het in zit. Dat moest ik nog eens uitzoeken. Maar goed, ik heb ze alle 2 nodig en ze draaien nu ook alle 2 hier op stand alone systemen dus het kan alleen maar beter worden

KDamen schreef op maandag 19 juni 2023 @ 18:31:
[...]


En welke hardware gebruik je hier precies voor als ik vragen mag? De Optiplex 3060 die ik kan gaan gebruiken zou ongeveer 22w idle draaien met windows zonder optimalisatie.

Dit is mijn inventaris: inventaris: Itx

[andru123]

@Mich waarom “itx” terwijl kontron microAtx is?
Dus een debian VM “kost” 0.4W in proxmox.

[ Voor 9% gewijzigd door andru123 op 19-06-2023 23:02 ]

[Mich]

andru123 schreef op maandag 19 juni 2023 @ 21:54:
@Mich waarom “itx” terwijl kontron microAtx is?
Dus VM “kost” 0.25W in proxmox dan.

Omdat dat mijn vorige moederbord was (die asus) en ik de naam niet heb aangepast

[andru123]

Over Asrock moederborden met socket 1700 gesproken: er zijn meldingen op Japanse forums dat deze generatie van Asrock borden onzuinig zijn:
ASRock: all I tested are high wattage (10W〜). They (possibly?) decided to disable some of C-State feature in LGA1700 platform?

Komt overeen met mijn, @Mich en @XyRuS ervaring. Ik heb nog geen enkele zuinige Asrock socket 1700 mb gezien.

[R3m3d7]

KDamen schreef op maandag 19 juni 2023 @ 11:39:
Hoi,

Zojuist mijn eerste huis gekocht. Ik draai nu Home Assistant op een Raspberry Pi4, een losse router (TP-Link AX73) en een desktop PC die een Plex servertje host, maar wil in het nieuwe huis alles goed gaan aanpakken. Nu kan ik wel wat tips gebruiken van mensen met meer ervaring.

Vraag 1: Is het verstandig om al mijn systemen te virtualiseren in één apparaat?
Het idee is om de router van KPN te vervangen voor een PFSense ondergebracht in Proxmox waar ook Home Assistant en een NAS naast gaat draaien.

Vraag 2: Ik kan een Optiplex 3060 met i5 8500 via via krijgen om hiervoor in te gaan zetten of is het verstandiger om iets van een TopTon N200 hiervoor te gaan gebruiken? Denkend aan de zuinigheid van de server.

Alle andere ideeën of adviezen zijn natuurlijk ook van harte welkom.

Alvast bedankt!

Ik kan wel even mij recente ervaring met de Topton N100 delen, wellicht dat dit je helpt.

Ik heb sinds 2 weken een Topton N100 draaien met opnsense (het model met de Y koelribben), home assistant (beide VM's) en nog wat containers (zoals wireguard) onder Proxmox. 16GB geheugen erin gedaan en een iets oudere 250GB NVME SSD. Alles loopt als een malle en is super stabiel. Zonder de motioneye container rond de 5-7% CPU, met motioneye loopt het op tot iets van 15% maar dat vraagt dan ook wel wat rekenwerk met motion detection. Ik heb er nog een Windows 10 VM naast gezet zodat ik na het opzetten van VPN daar een eigen windows systeempje heb draaien waar ik via RDP op kan. Zelfs die loopt met 2 cores eigenlijk prima voor licht desktop werk. Volgens mij is de N200 trager dan de N100 qua multicore CPU workloads maar weer sneller als het gaat om GPU. Ik zou zelf de N95 of N100 overwegen en als je echt meer CPU dan dat nodig heb de i3 in de topton. Ik heb er zelfs een 12CM fan op liggen en die trekt 5 volt via USB, daarmee is hij natuurlijk niet meer passief gekoeld maar ik kan die fan zo vervangen en hij is onhoorbaar voor mij, scheelt echt flink in de CPU temps en dat geeft mij een goed gevoel, ik denk dat het de levensduur ten goede komt omdat de temperatuur lager is en stabieler dan alleen passief koelen met wisselende load. De warme lucht blijft deels gewoon hangen tussen de koelribben en dat actief wegblazen maakt een enorm verschil zelfs op 5 volt.

[KDamen]

R3m3d7 schreef op woensdag 21 juni 2023 @ 08:10:
[...]


Ik kan wel even mij recente ervaring met de Topton N100 delen, wellicht dat dit je helpt.

Ik heb sinds 2 weken een Topton N100 draaien met opnsense (het model met de Y koelribben), home assistant (beide VM's) en nog wat containers (zoals wireguard) onder Proxmox. 16GB geheugen erin gedaan en een iets oudere 250GB NVME SSD. Alles loopt als een malle en is super stabiel. Zonder de motioneye container rond de 5-7% CPU, met motioneye loopt het op tot iets van 15% maar dat vraagt dan ook wel wat rekenwerk met motion detection. Ik heb er nog een Windows 10 VM naast gezet zodat ik na het opzetten van VPN daar een eigen windows systeempje heb draaien waar ik via RDP op kan. Zelfs die loopt met 2 cores eigenlijk prima voor licht desktop werk. Volgens mij is de N200 trager dan de N100 qua multicore CPU workloads maar weer sneller als het gaat om GPU. Ik zou zelf de N95 of N100 overwegen en als je echt meer CPU dan dat nodig heb de i3 in de topton. Ik heb er zelfs een 12CM fan op liggen en die trekt 5 volt via USB, daarmee is hij natuurlijk niet meer passief gekoeld maar ik kan die fan zo vervangen en hij is onhoorbaar voor mij, scheelt echt flink in de CPU temps en dat geeft mij een goed gevoel, ik denk dat het de levensduur ten goede komt omdat de temperatuur lager is en stabieler dan alleen passief koelen met wisselende load. De warme lucht blijft deels gewoon hangen tussen de koelribben en dat actief wegblazen maakt een enorm verschil zelfs op 5 volt.

Bedankt voor je response, heel interessant! Weet je toevallig ook hoe veel hij aan energie slurpt? Het is uiteindelijk de bedoeling om een sweetspot te vinden tussen performance en energie verbruik voor mij.

[R3m3d7]

KDamen schreef op woensdag 21 juni 2023 @ 08:32:
[...]


Bedankt voor je response, heel interessant! Weet je toevallig ook hoe veel hij aan energie slurpt? Het is uiteindelijk de bedoeling om een sweetspot te vinden tussen performance en energie verbruik voor mij.

Nee, de CPU zou een TDP van 6 watt hebben op de base clock maar hoeveel het hele systeem echt gebruikt weet ik eigenlijk niet. Dat is natuurlijk vloeken in de kerk gezien de titel van dit topic dus om dit te compenseren ga ik proberen er voor jou een meter tussen te hangen en dit te meten. Realiseer je dat ik dan even geen internet heb en dit doe voor een vriendelijke vreemde op datzelfde internet.

edit: 15 watt zie ik als power usage met de volgende VM's actief, en 2,5-4% CPU usage in totaal op Promox:

VM's:

Home Assistant
OPNSense

en containers voor:

Dashy
Wireguard

Dit is zonder tuning van het verbruik, ik lees dat powetop tuning het systeem doet crashen dus dat probeer ik wel later een keertje nadat ik naar Proxmox 8 ben gegaan.
Voor mij is dit ongeveer evenveel als mijn router gebruikte.

Hij loopt op tot 17 watt met motioneye erbij, dan zit je op 12-15% CPU usage in totaal op Proxmox.

[ Voor 26% gewijzigd door R3m3d7 op 21-06-2023 12:32 ]

[KDamen]

R3m3d7 schreef op woensdag 21 juni 2023 @ 11:21:
[...]


Nee, de CPU zou een TDP van 6 watt hebben op de base clock maar hoeveel het hele systeem echt gebruikt weet ik eigenlijk niet. Dat is natuurlijk vloeken in de kerk gezien de titel van dit topic dus om dit te compenseren ga ik proberen er voor jou een meter tussen te hangen en dit te meten. Realiseer je dat ik dan even geen internet heb en dit doe voor een vriendelijke vreemde op datzelfde internet.

edit: 15 watt zie ik als power usage met de volgende VM's actief, en 2,5-4% CPU usage in totaal op Promox:

VM's:

Home Assistant
OPNSense

en containers voor:

Dashy
Wireguard

Dit is zonder tuning van het verbruik, ik lees dat powetop tuning het systeem doet crashen dus dat probeer ik wel later een keertje nadat ik naar Proxmox 8 ben gegaan.
Voor mij is dit ongeveer evenveel als mijn router gebruikte.

Hij loopt op tot 17 watt met motioneye erbij, dan zit je op 12-15% CPU usage in totaal op Proxmox.

Dank voor de info! Ik denk dat ik dan toch ook een Topton systeempje ga aanschaffen binnenkort. Begreep van reviews dat er weinig verschil zat tussen de N100 en N200 qua performance. Dan heb je ook nog de i3-N301 maar die is wat overkill voor mijn toepassingen.