Het grote zuinige server topic - deel 3

[eheijnen]

Lennyz schreef op woensdag 7 februari 2024 @ 11:19:
[...]


Ja dat het meer energie verbruikt als de CPU iets doet snap ik. Maar geldt hetzelfde voor als de CPU niets staat te doen? Aangezien mijn server de meeste tijd toch niets staat te doen.

Meet het verbruik van het systeem eens over bv. twee dagen (of wat meer), met de Turbo uit en dan nog eens met de Turbo aan...

[Spasmo]

pimlie schreef op woensdag 7 februari 2024 @ 11:41:
[...]


Zou je misschien ook metingen kunnen toevoegen voor wat je meet aan het stopcontact en welke voeding je gebruikt? En klopt het dat je 2 multimeters gebruikte om de 19V en A afzonderlijk te meten?

Alhoewel je metingen misschien nauwkeuriger zijn, hebben ze helaas weinig vergelijkingswaarde in dit topic omdat iedereen normaliter wel aan het stopcontact meet. Jouw meting van 4.86W lijkt zelfs na een theoretische 15% correctie ca 1W minder dan wat de meeste mensen hier meten voor een N100DC (rond de 7-8W). Vooralsnog vermoed ik dus dat er ergens nog iets niet klopt of mist eigenlijk? Had je monitor, netwerk & usb aangesloten tijdens het meten?

Ik kom op 5,4W uit gemeten aan stopcontact dus lijkt me wel te kloppen. Ik zie ook andere die hoger uitkomen maar dat heeft volgens mij met de met de realtek nic te maken die niet in aspm komt. Bij mij en floyo255 wel schijnbaar. Ik doe het dermate van een Unraid realtek driver, floyo met
echo 1 | sudo tee /sys/bus/pci/drivers/r8169/0000\:02\:00.0/link/l1_2_aspm

Zonder Unraid realtek driver kom ik op 7,3W

[RobertMe]

Lennyz schreef op woensdag 7 februari 2024 @ 11:19:
[...]


Ja dat het meer energie verbruikt als de CPU iets doet snap ik. Maar geldt hetzelfde voor als de CPU niets staat te doen? Aangezien mijn server de meeste tijd toch niets staat te doen.

De theorie is bij mijn weten dat enerzijds een systeem nooit full time idle is en anderzijds de turbo boost heel snel aan gaat. Dus draai je bv een monitoring systeen dat elke minuut wat statistieken verzameld en wegschrijft dan zou die elke minuut in de turbo boost schieten met het hoge verbruik tot gevolg terwijl die zonder turbo net zo goed en net zo snel werkt.

[Lennyz]

floyo255 schreef op dinsdag 6 februari 2024 @ 20:55:

Een aantal belangrijke punten die ik heb gevonden:

1. Zet in de bios ASPM aan
2. de realtek driver heeft standaard ASPM uit staan, zet dit aan met: (is niet persistent met reboot)
3. echo 1 | sudo tee /sys/bus/pci/drivers/r8169/0000\:02\:00.0/link/l1_2_aspm
4. forceer ALPM voor sata
5. echo med_power_with_dipm | tee /sys/class/scsi_host/host1/link_power_management_policy

Dank je! Ik heb in mijn Debian installatie ook maar even gekeken naar ASPM voor de Realtek driver. Deze bleek uit te staan. Dit kan je controleren door:

code:

sudo lspci -vvv

Bij mij stond er dan: LnkCtl: ASPM Disabled;

Vervolgens heb ik jouw command aangepast naar mijn installatie:

code:

echo 1 | sudo tee /sys/bus/pci/drivers/r8169/0000:01:00.0/link/l1_aspmc

Mijn verbruik ging van 8.8 Watt idle naar 7.2 Watt idle.

echo med_power_with_dipm stond bij mij al standaard ingesteld.

[Lennyz]

RobertMe schreef op woensdag 7 februari 2024 @ 12:12:
[...]

De theorie is bij mijn weten dat enerzijds een systeem nooit full time idle is en anderzijds de turbo boost heel snel aan gaat. Dus draai je bv een monitoring systeen dat elke minuut wat statistieken verzameld en wegschrijft dan zou die elke minuut in de turbo boost schieten met het hoge verbruik tot gevolg terwijl die zonder turbo net zo goed en net zo snel werkt.

Aha ja dat klinkt logisch. Ik kon er eigenlijk niet zoveel informatie over vinden, behalve bij verbruik als Turbo Boost inschakelt, maar niet bij idle.

[Sparkiee]

Ik lees al lang mee. Ik heb ook nieuwe hardware in bestelling staan voor een zuinige setup. Ik wil uiteindelijk Unraid gaan gebruiken. In combinatie met ZFS. Maakt het veel uit welk OS je gebruikt? En dan bedoel ik Unraid, TrueNas...... Of zit dat allemaal in dezelfde orde?

[pimlie]

@Spasmo Hmm, wat zit er bij jullie op port 01:00.0 dat de realtek bij jullie op 02:00.0 zit, audio mss? Mijn lspci output is als volgt:

code:

# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
        LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
        LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
        LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
        LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Het is ook apart dat ASPM dus enabled zou moeten zijn volgens lspci, maar ik geen l1_2_aspm maar een l1_aspm bestand heb welke ook een waarde van 0 geeft ondanks wat lspci dus zegt. Iemand misschien een idee waarom dat is?

code:

# cat /sys/bus/pci/drivers/r8169/0000\:01\:00.0/link/l1_aspm 
0

[GioStyle]

Sparkiee schreef op woensdag 7 februari 2024 @ 12:57:
Ik lees al lang mee. Ik heb ook nieuwe hardware in bestelling staan voor een zuinige setup. Ik wil uiteindelijk Unraid gaan gebruiken. In combinatie met ZFS. Maakt het veel uit welk OS je gebruikt? En dan bedoel ik Unraid, TrueNas...... Of zit dat allemaal in dezelfde orde?

Yes, dat maakt zeker uit. Je hebt bijvoorbeeld TrueNAS Core (gebaseerd op FreeBSD) en TrueNAS Scale (gebaseerd op Debian). Laatstgenoemde is zuiniger. Unraid heb ik persoonlijk geen ervaring mee, maar hier en daar lees ik dat het niet het meest zuinige OS is.

Als je de meest zuinige setup wil bouwen zou ik gaan voor Debian icm Docker en ZFS.

[Spasmo]

pimlie schreef op woensdag 7 februari 2024 @ 13:04:
@Spasmo Hmm, wat zit er bij jullie op port 01:00.0 dat de realtek bij jullie op 02:00.0 zit, audio mss? Mijn lspci output is als volgt:

code:

# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
        LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
        LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
        LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
        LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Het is ook apart dat ASPM dus enabled zou moeten zijn volgens lspci, maar ik geen l1_2_aspm maar een l1_aspm bestand heb welke ook een waarde van 0 geeft ondanks wat lspci dus zegt. Iemand misschien een idee waarom dat is?

code:

# cat /sys/bus/pci/drivers/r8169/0000\:01\:00.0/link/l1_aspm 
0

Even kijken, dit is mijn output:

code:

# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Device 54b0 (prog-if 00 [Normal decode])
                LnkCap: Port #9, Speed 8GT/s, Width x2, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Shenzhen Longsys Electronics Co., Ltd. Device 1602 (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

code:

# ls /sys/bus/pci/drivers/r8168/0000\:01\:00.0/link
clkpm  l1_aspm

code:

# cat /sys/bus/pci/drivers/r8168/0000\:01\:00.0/link/l1_aspm
1

In laatste commando zie ik verschil. Jij hebt r8169 -> 0, ik heb r8168 -> 1.

Je kunt eens proberen met ? (zoals floyo255 in "Het grote zuinige server topic - deel 3")

code:

echo 1 | sudo tee /sys/bus/pci/drivers/r8169/0000\:01\:00.0/link/l1_aspm

Wil je nog meer weten qua systeem informatie? Vraag maar raak.

[ Voor 3% gewijzigd door Spasmo op 07-02-2024 13:29 ]

[pimlie]

@Spasmo Dank. Ik moet ASPM al forcen voor de Realtek dmv het ASPM enable script dat vaker hier wordt aangeraden. Wellicht is (mijn versie van) het ASPM script nog niet compleet als ik l1_aspm dus handmatig op 1 moet zetten.
Zoals eerder besproken zou er geen verschil moeten zijn tussen r8168 en r8169 mits je een 6.x kernel draait.

Wel dus nog benieuwd naar OS + kernel/driver versie van @floyo255 om te begrijpen waarom hij een l1_2_aspm bestand heeft en waarom de Realtek bij hem op 02:00.0 zit.

[Redax]

Lennyz schreef op vrijdag 2 februari 2024 @ 15:22:
Ik heb even een powermeting gedaan bij mijn nieuwe server. Gemeten met Brennenstuhl PM 231 E. Ik draai Debian 12 met kernel 6.1.0-17 en Openmediavault geïnstalleerd. Ik draai de docker container van Nextcloud, Sonarr, Radarr en Transmission.

Mijn config:

#	Category	Product	Prijs	Subtotaal
1	Moederborden	ASRock N100M	€ 126,03	€ 126,03
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 63,32	€ 63,32
1	Geheugen intern	Crucial CT32G4DFD832A	€ 66,16	€ 66,16
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 86,99	€ 86,99
1	Solid state drives	Patriot P300 512GB	€ 33,90	€ 33,90
			Totaal	€ 376,40
2	Harde schijven	uitvoering: Seagate IronWolf, 4TB

Scherm, toetsenbord en muis heb ik even aangesloten om de instellingen te kunnen wijzigen.

Verbruik bij server uit:
1.8 Watt

Zonder bios tweaks:
30,8 Watt (alle schijven wakker)

Met bios tweaks van de eerste post uit dit topic:
23.2 Watt

Na 'powertop --auto-tune':
17.6 Watt

Na de 2 HDD's in slaapstand, scherm, toetsenbord en muis losgekoppeld en docker-containers uitgeschakeld:
8.4 Watt

Helemaal tevreden dus.

Never mind, al gevonden.

[mrmrmr]

Lennyz schreef op woensdag 7 februari 2024 @ 11:17:
Vraagje: Is het nu zinvol om op een N100 de Intel Turbo Boost uit te schakelen. Met name als je kijkt naar het verbruik als de CPU niets staat te doen?

Turbo Boost is op zich onzuinig, dus op een zuinige server moet uit zijn. Is het zinvol om het in te schakelen? Kom je bijvoorbeeld ~15% processorkracht tekort als er veel processen draaien? In principe is het gebruik van hogere frequenties onzuiniger ten opzichte van de hoeveelheid verzet werk. Met andere woorden: bij een gelijke hoeveelheid werk, kost het bij Turbo Boost meer energie, ook al is die iets eerder klaar.

Overigens zou het zo moeten werken dat power limits gerespecteerd worden bij Turbo Boost, maar Intel vertelt er niet bij welke dat is. Als het bijvoorbeeld PL4 is, die is vaak niet instelbaar in de BIOS, maar PL1 en PL2 zijn dat soms wel.

---

Bij desktop processoren praten we over véél meer verbruikende processoren. Met Turbo Boost wordt de frequentie verhoogd. In feite is dat een soort van overklokken van bepaalde cores totdat de overkoepelende verbruikslimiet wordt bereikt. Zo'n core werkt dan onzuinig. Bij processoren is er een punt waarop de hoeveelheid werk in balans en optimaal is met het verbruik. Daarboven is het verbruik minder zuinig, en hoe hoger het verbruik wordt, hoe hoger het verbruik per hoeveelheid werk wordt. Als je er het maximale uitperst door de frequentie te verhogen naar bijvoorbeeld 5 GHz of meer heeft dat een sterk negatief effect op het verbruik.

[Verwijderd]

Willen jullie eens meekijken met dit systeem? Ik denk dat alles op elkaar past, maar het is alweer een tijdje geleden dat ik een systeem heb samengesteld.

Doel is om Plex, HA en Frigate te draaien, zodat ik wat nu uit drie oude servers bestaat kan samenvoegen.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-13100 Boxed	€ 151,13	€ 151,13
1	Moederborden	ASRock B760M PG Riptide	€ 134,-	€ 134,-
1	Behuizingen	Cooler Master MasterBox NR200P Zwart	€ 79,90	€ 79,90
1	Netwerkadapters	Intel Ethernet Server Adapter I350-T2V2	€ 94,01	€ 94,01
1	Casemodding	Icy Dock MB994SP-4SB-1	€ 152,92	€ 152,92
1	Geheugen intern	Corsair Vengeance CMK32GX5M2B5600Z40	€ 109,90	€ 109,90
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 87,99	€ 87,99
1	Solid state drives	Samsung 980 Pro (zonder heatsink) 1TB	€ 89,90	€ 89,90
			Totaal	€ 899,75

Ik heb een lage behuizing gekozen want dat past hier goed in de kast. Waar ik over twijfel:

1. Moederbord / CPU / geheugen. Volgens mij past het allemaal prima, maar is het de optimale keuze? (zie boven)
2. Ik heb nog een paar oude USB 2.5" schijven die ik via de bay hoop aan te kunnen sluiten, dan heb ik gelijk een storageprobleem opgelost. Mochten ze niet in deze caddy passen, kunnen daar altijd nog nieuwe schijven in. Maar is dit een goede oplossing?
3. Een extensiekaart voor 2 netwerkpoorten, maar past dat?

[jackkiej]

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 255,04	€ 255,04
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Geheugen intern	Crucial CT2K16G48C40U5	€ 91,80	€ 91,80
1	Voedingen	Corsair RM750e V2	€ 122,90	€ 122,90
1	Solid state drives	Samsung 970 Evo Plus 1TB	€ 85,-	€ 85,-
Bekijk collectie Importeer producten			Totaal	€ 554,74

Zojuist BIOS getweakt, Proxmox geïnstalleerd (en upgrade van bookworm naar trixie voor het gemak).
Powertop --auto-tune gedaan, en als service geïnstalleerd voor starten bij boot.

Alleen ethernet aangesloten, verbruik ongeveer 4,5W - 4,9W gemeten met een Nedis Wifi Smart Plug (WIFIP120FWT).

idle stats:

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.1%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.1%    0.8 ms  0.0%    0.5 ms
C2 (pc2)    2.9%    |                     | C2_ACPI     1.1%    2.7 ms  0.7%    3.4 ms
C3 (pc3)    2.1%    | C3 (cc3)    0.0%    | C3_ACPI    98.4%  119.8 ms 99.1%  139.2 ms
C6 (pc6)    0.7%    | C6 (cc6)    1.4%    |
C7 (pc7)    0.0%    | C7 (cc7)   97.8%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10) 90.0%    |                     |

                    |            Core(HW) |            CPU(OS) 2   CPU(OS) 3
                    |                     | C0 active   0.1%        0.2%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.1%    0.3 ms  0.0%    0.3 ms
                    |                     | C2_ACPI     0.3%    2.6 ms  0.8%    2.7 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    99.5%   97.0 ms 98.8%  148.0 ms
                    | C6 (cc6)    0.8%    |
                    | C7 (cc7)   98.3%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 4   CPU(OS) 5
                    |                     | C0 active   0.1%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.1%    0.6 ms  0.0%    0.4 ms
                    |                     | C2_ACPI     0.7%    2.1 ms  0.2%    2.8 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    99.1%  261.7 ms 99.7%  322.8 ms
                    | C6 (cc6)    0.9%    |
                    | C7 (cc7)   97.1%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 4   CPU(OS) 5
                    |                     | C0 active   0.1%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.8 ms  0.0%    0.0 ms
                    |                     | C2_ACPI     0.5%    2.7 ms  0.5%    2.8 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    99.2%  121.9 ms 99.3%  269.4 ms
                    | C6 (cc6)    0.9%    |
                    | C7 (cc7)   97.2%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 6   CPU(OS) 7
                    |                     | C0 active   0.2%        0.1%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.5 ms  0.1%    1.5 ms
                    |                     | C2_ACPI     1.1%    2.3 ms  0.6%    2.8 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    98.3%   80.0 ms 99.0%  127.3 ms
                    | C6 (cc6)    1.5%    |
                    | C7 (cc7)   97.4%    |
                    |                     |
                    |                     |
                    |                     |
                    |            Core(HW) |            CPU(OS) 8   CPU(OS) 9
                    |                     | C0 active   0.2%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.3 ms  0.0%    1.5 ms
                    |                     | C2_ACPI     1.2%    2.3 ms  0.3%    3.1 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    98.2%   42.4 ms 99.6%  193.9 ms
                    | C6 (cc6)    1.2%    |
                    | C7 (cc7)   97.6%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 10  CPU(OS) 11
                    |                     | C0 active   0.3%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.2 ms  0.0%    0.5 ms
                    |                     | C2_ACPI     1.9%    2.6 ms  0.2%    3.5 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    97.3%   80.4 ms 99.8% 1402.0 ms
                    | C6 (cc6)    1.7%    |
                     |            Core(HW) |            CPU(OS) 12
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.7 ms
                    |                     | C2_ACPI     0.3%    3.2 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    99.7%  203.5 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 13
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    1.3 ms
                    |                     | C2_ACPI     0.1%    2.6 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    99.9%  299.6 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 14
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.1 ms
                    |                     | C1_ACPI     0.0%    0.4 ms
                    |                     | C2_ACPI     0.1%    2.8 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    99.8%  229.8 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 15
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    1.0 ms
                    |                     | C2_ACPI     0.0%    0.7 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    99.9%  366.9 ms
                    | C6 (cc6)   99.8%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 16
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    1.1 ms
                    |                     | C2_ACPI     0.0%    1.4 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    99.9%  707.8 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |
                     |            Core(HW) |            CPU(OS) 17
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    1.0 ms
                    |                     | C2_ACPI     0.0%    0.0 ms
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0% 1028.7 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 18
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    1.0 ms
                    |                     | C2_ACPI     0.0%    0.0 ms
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0% 1028.8 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 19
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    1.0 ms
                    |                     | C2_ACPI     0.0%    0.0 ms
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0% 1028.8 ms
                    | C6 (cc6)   99.9%    |
                     | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |
                    | RC6pp       0.0%    |
                    |                     |
                    |                     |
                    |                     |
                    |                     |
                    |                     |

Ik laat hem even 24 uur zo aan staan en zal dan gemiddeld verbruik melden.

[jackkiej]

Nu alleen nog een knappe case uitzoeken met ruimte voor 4 HDD's van 3,5" en eventueel nog een PicoPSU

[ Voor 5% gewijzigd door jackkiej op 07-02-2024 21:35 ]

[jackkiej]

De Nedis plug is een vreselijke stekker om mee te meten, meet maar met 2 decimalen achter de komma bij verbruik in kWh.

Zojuist sprong die net op 0,10 kWh om 16:44, boot time was 21:14, dus grofweg 19,5 uur.
Zo kom ik op ongeveer 5,1W gemiddeld verbruik met proxmox, ik zal hierna Debian uitproberen en een andere stekker.

[PuijkeN]

Mich schreef op maandag 5 februari 2024 @ 20:18:
[...]


Ok dat is mooi. Er is dan toch wel minstens 1 port verbonden met een switch ofzo he

Kan jij je output van lspci -vvv van een netwerk kaart eens posten?

Er zijn er 2 in passtrough naar een pfSense VM. 2 inactief zonder kabel en 1 aangesloten op een 1Gbit switch voor het management van Proxmox.

Eén van de NIC's in passtrough:

code:

01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 16
        IOMMU group: 11
        Region 0: Memory at 81100000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 81200000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 81000000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-f9
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:- RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: vfio-pci
        Kernel modules: igc

Management NIC:

code:

05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 18
        IOMMU group: 15
        Region 0: Memory at 80500000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 80600000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 80400000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-fd
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:+ RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: igc
        Kernel modules: igc

Powertop auto-tune werkt niet omdat hij dan de parameters van de NIC's verzet en het systeem uiteindelijk lijkt te blokkeren maar alles netwerk gerelateerd van de Proxmox host zelf blokkeert. pfSense werkt vrolijk verder maar ik kan in Powertop dan ook maar 3 van de 5 NIC's selecteren.

ASPM is ook niet ok volgens mij ondanks dat de BIOS settings denk ik wel goed zijn, desondanks is het verbruik wel oke.

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

[jackkiej]

PuijkeN schreef op vrijdag 9 februari 2024 @ 12:28:
[...]


Er zijn er 2 in passtrough naar een pfSense VM. 2 inactief zonder kabel en 1 aangesloten op een 1Gbit switch voor het management van Proxmox.

Eén van de NIC's in passtrough:

code:

01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 16
        IOMMU group: 11
        Region 0: Memory at 81100000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 81200000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 81000000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-f9
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:- RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: vfio-pci
        Kernel modules: igc

Management NIC:

code:

05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 18
        IOMMU group: 15
        Region 0: Memory at 80500000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 80600000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 80400000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-fd
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:+ RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: igc
        Kernel modules: igc

Powertop auto-tune werkt niet omdat hij dan de parameters van de NIC's verzet en het systeem uiteindelijk lijkt te blokkeren maar alles netwerk gerelateerd van de Proxmox host zelf blokkeert. pfSense werkt vrolijk verder maar ik kan in Powertop dan ook maar 3 van de 5 NIC's selecteren.

ASPM is ook niet ok volgens mij ondanks dat de BIOS settings denk ik wel goed zijn, desondanks is het verbruik wel oke.

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Toevallig al gezocht op de netwerkkaart in het topic? https://gathering.tweaker...I226-V&data%5Bboolean%5D=

Als ik zo lees kan het zijn dat je EEE moet enablen. En heb je het force ASPM script al geprobeerd?

Wat zijn de ASPM instellingen in je bios en hoe staan die ingesteld?

[PuijkeN]

jackkiej schreef op vrijdag 9 februari 2024 @ 12:45:
[...]


Toevallig al gezocht op de netwerkkaart in het topic? https://gathering.tweaker...I226-V&data%5Bboolean%5D=

Als ik zo lees kan het zijn dat je EEE moet enablen. En heb je het force ASPM script al geprobeerd?

Wat zijn de ASPM instellingen in je bios en hoe staan die ingesteld?

Ik zal één van dezer eens enkele foto's maken van de BIOS.

Het ASPM script heb ik nog niet getest omdat het een "productie" firewall is, ik moet het gepland krijgen om hier thuis even internet uit te zetten Maar ik begreep dat er mogelijk issues kunnen ontstaan hierdoor?

EEE heb ik getest, dat gaf erg weinig verschil in vergelijking met een lege netwerkpoort. Verder ondersteund mijn switch geen EEE dus voor de wel actieve verbindingen zal het niet veel uitmaken.

[jackkiej]

PuijkeN schreef op vrijdag 9 februari 2024 @ 14:25:
[...]


Ik zal één van dezer eens enkele foto's maken van de BIOS.

Het ASPM script heb ik nog niet getest omdat het een "productie" firewall is, ik moet het gepland krijgen om hier thuis even internet uit te zetten Maar ik begreep dat er mogelijk issues kunnen ontstaan hierdoor?

EEE heb ik getest, dat gaf erg weinig verschil in vergelijking met een lege netwerkpoort. Verder ondersteund mijn switch geen EEE dus voor de wel actieve verbindingen zal het niet veel uitmaken.

Toch vreemd dat je verbruik wel mee valt terwijl ASPM niet mee wilt werken

[begintmeta]

Bij c't hebben ze het nu ook over een sub-17W Ryzen (heb geen abo meer, dus het hele stuk heb ik niet kunnen bekijken). Ik ben momenteel sowieso niet meer in de markt voor een zuinige server...

[Mars Warrior]

begintmeta schreef op vrijdag 9 februari 2024 @ 16:35:
Bij c't hebben ze het nu ook over een sub-17W Ryzen (heb geen abo meer, dus het hele stuk heb ik niet kunnen bekijken). Ik ben momenteel sowieso niet meer in de markt voor een zuinige server...

17W met een 4600G is nu niet echt een prestatie, tenzij dit inclusief schijven is, maar dat kan ik niet zien.

17W haal ik namelijk ook met een 7900X. Alleen waar zij totaal €400 uitgeven aan eern server was ik dat al kwijt aan enkel mijn CPU

[Mich]

andru123 schreef op zondag 4 februari 2024 @ 22:00:
[...]

Ik heb nooit met 2,5gbit netwerk getest, dus geen idee of dat uitmaakt, maar mijn Asus b660i gaat niet lager dan 5W. De Gigabyte b660i (ook met i225) gaat wel netjes naar 3.6W na uitschakelen van netwerk. Inderdaad een vreemde beest.
Ik dacht ook dat 2,5gbit irrelevant is voor thuis, maar met komst van goedkope 3W 2,5gbit routers, het gaat misschien veranderen.
Waarom ging je Asus bord bijna kapot?

Ik had de cpu cover iets verkeerd ofzo denk ik en met het vastzetten waren er een aantal cpu pinnen verbogen. Ik heb ze geprobeerd recht te buigen maar ik twijfel of het gelukt is. Het was in een hoekje en volgens een pin layout waren ze spare / ground of v++ en daar kon je er wel wat van missen

[Mich]

PuijkeN schreef op vrijdag 9 februari 2024 @ 12:28:
[...]


Er zijn er 2 in passtrough naar een pfSense VM. 2 inactief zonder kabel en 1 aangesloten op een 1Gbit switch voor het management van Proxmox.

Eén van de NIC's in passtrough:

code:

01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 16
        IOMMU group: 11
        Region 0: Memory at 81100000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 81200000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 81000000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-f9
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:- RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: vfio-pci
        Kernel modules: igc

Management NIC:

code:

05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 18
        IOMMU group: 15
        Region 0: Memory at 80500000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 80600000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 80400000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-fd
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:+ RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: igc
        Kernel modules: igc

Powertop auto-tune werkt niet omdat hij dan de parameters van de NIC's verzet en het systeem uiteindelijk lijkt te blokkeren maar alles netwerk gerelateerd van de Proxmox host zelf blokkeert. pfSense werkt vrolijk verder maar ik kan in Powertop dan ook maar 3 van de 5 NIC's selecteren.

ASPM is ook niet ok volgens mij ondanks dat de BIOS settings denk ik wel goed zijn, desondanks is het verbruik wel oke.

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

ASPM zal dus ook niet alles zeggen. Je komt wel in C10. Denk dat ASPM aan dan ook weining zou schelen. Je kan het ook forceren met een start van linux (werkt ook niet altijd, maar proberen waard) maar zou eerst eens je bios nakijken.

Je zou dit commando kunnen draaien om te zien of EEE werkt. Maar dit is los van of ASPM werkt.

ethtool --show-eee <adapter naam>

Mocht EEE of ASPM forceren niet lukken kan je gewoon rebooten en alles werkt weer. Je kan ook zeggen dat er een storing bij je provider is

[jackkiej]

Iemand enig idee waarom ik in proxmox met gemak C10 haalde ik nu niet verder kom dan C8 in Debian?

Ik heb inmiddels al console als boot default gemaakt onder andere

[ Voor 26% gewijzigd door jackkiej op 10-02-2024 13:59 ]

[FireDrunk]

jackkiej schreef op zaterdag 10 februari 2024 @ 13:58:
Iemand enig idee waarom ik in proxmox met gemak C10 haalde ik nu niet verder kom dan C8 in Debian?

Ik heb inmiddels al console als boot default gemaakt onder andere

Non free firmware voor de gpu en nics installeren?

[jackkiej]

FireDrunk schreef op zaterdag 10 februari 2024 @ 15:14:
[...]

Non free firmware voor de gpu en nics installeren?

Geïnstalleerd tijdens de upgrade naar trixie

[eheijnen]

jackkiej schreef op zaterdag 10 februari 2024 @ 16:25:
[...]

Geïnstalleerd tijdens de upgrade naar trixie

Als je een standaard Debian installeert met GUI (KDE Gnome) dan wordt er nog een hoop software mee geinstaleerd. Die uiteraard weer de nodige belasting aan een systeem toevoegt.

Voor mij werkte het beste om een debian installatie zonder gui te doen. Je krijgt dan een behoorlijk minimaal systeem met uiteraard alleen de console. Eventueel kun je SSH aanvinken bij de setup als je dat handig vind.

Op die basis kun je de hier genoemde optimalisaties doorvoeren. Dan heb je een "kaal" systeem (baseline) waarmee de metingen aan het OS kunnen worden toegewezen.

Behalve Debian testing, kun je aan Bookworm de backports repo toevoegen en daarmee de 6.5 kernels installeren.

[Church of Noise]

Verser bouwend op het waardevolle advies van @eheijnen, kan je ook DietPi overwegen. Light versie van Debian... Ik draai die met onderliggend Debian bookworm en de backports.

[jackkiej]

Church of Noise schreef op zaterdag 10 februari 2024 @ 17:22:
Verser bouwend op het waardevolle advies van @eheijnen, kan je ook DietPi overwegen. Light versie van Debian... Ik draai die met onderliggend Debian bookworm en de backports.

Hmm net DietPi geïnstalleerd, ook hier C8 en niet C10. Vraag me af of ik iets had ingesteld in proxmox wat ik nu ben vergeten.

Verbruik is ook hoger, rond de 5,9W

[ Voor 4% gewijzigd door jackkiej op 11-02-2024 14:40 ]

[Church of Noise]

Waarschijnlijk een kwestie van drivers...
Ik zou je aanraden de Aspm settings manueel te fixen bvb dmv het script dat een tijd eerder in dit topic werd gedeeld...

[eheijnen]

jackkiej schreef op zondag 11 februari 2024 @ 14:39:
[...]

Hmm net DietPi geïnstalleerd, ook hier C8 en niet C10. Vraag me af of ik iets had ingesteld in proxmox wat ik nu ben vergeten.

Verbruik is ook hoger, rond de 5,9W

En een kale installatie van Debian Trixie en eventueel Bookworm?
Als je die twee ook nog eens probeert krijg je wat meer referentie materiaal.

[eheijnen]

En die proxmox installatie wat voor kernel gebruikt die?

[Mich]

jackkiej schreef op zondag 11 februari 2024 @ 14:39:
[...]

Hmm net DietPi geïnstalleerd, ook hier C8 en niet C10. Vraag me af of ik iets had ingesteld in proxmox wat ik nu ben vergeten.

Verbruik is ook hoger, rond de 5,9W

Dat is wel vreemd. Ik denk dat iedereen hier met een Kontron bord C10 haald in Debian. Dus een driver issue is het denk ik niet. Weet je zeker dat er niets in je bios is veranderd?

[jackkiej]

eheijnen schreef op zondag 11 februari 2024 @ 15:00:
En die proxmox installatie wat voor kernel gebruikt die?

Mich schreef op zondag 11 februari 2024 @ 15:11:
[...]


Dat is wel vreemd. Ik denk dat iedereen hier met een Kontron bord C10 haald in Debian. Dus een driver issue is het denk ik niet. Weet je zeker dat er niets in je bios is veranderd?

De proxmox installatie weet ik even de kernel niet meer van (was in ieder geval ook standaard bookworm naar trixie upgrade.

Ik heb de bios settings nog even gecheckt en die zijn niet veranderd.

Zal nog een paar settings proberen te veranderen, als dat niet lukt weer even naar proxmox om te kijken of het me daar wel weer lukt.

[jackkiej]

Mogelijk heeft het met powersave te maken op de cores?
Zie dat dit nodig is om C10 te halen:

code:

Package C8 + display in PSR or powered, all VRs at PS4 + crystal clock off.

The processor will enter Package C10 when:

All IA cores in C10 + Processor Graphic cores in RC6.
The platform components/devices allow proper LTR for entering Package C10.

code:

cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave
powersave

Ze staan trouwens wel op powersave

[ Voor 116% gewijzigd door jackkiej op 11-02-2024 16:00 ]

[FreddyT]

gastje01 schreef op maandag 22 januari 2024 @ 14:08:
Ik ben toch op zoek om nog wat extra watjes uit mijn Odroid H3 te knijpen als dat lukt. Mede door een HA VM en een Frigate LXC is het systeem nooit echt idle, maar als ik online zie welke resultaten mensen met een H3 halen heb ik nog niet het gevoel dat ik alles optimaal heb ingesteld. Ik draai Proxmox 8.1.4 met de Linux 6.5.11-7pve kernel

code:

lspci -vvv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

geeft de volgende output:

code:

00:1c.0 PCI bridge: Intel Corporation Device 4db8 (rev 01) (prog-if 00 [Normal decode])
        LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM not supported
        LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 4db9 (rev 01) (prog-if 00 [Normal decode])
        LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
        LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
00:1c.4 PCI bridge: Intel Corporation Device 4dbc (rev 01) (prog-if 00 [Normal decode])
        LnkCap: Port #5, Speed 8GT/s, Width x4, ASPM not supported
        LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
        LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
        LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
        LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
        LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
        LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
        LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

ASPM staat in het BIOS enabled, maar dat lijkt geen uitwerking te hebben. Laatste BIOS is geïnstalleerd.

Verder viel me op dat ik de Realtek 8169 driver geïnstalleerd heb in plaats van de 8125 driver, ik kwam dit script tegen om dat aan te passen, maar dat wil ik enkel doen als dit iets oplost, de netwerkkaarten draaien nu wel stabiel (1 van de 2, andere is niet in gebruik). Aangezien er hier meerdere Odroid gebruikers zitten/zaten, iemand advies?

Sorry beetje late reactie, maar misschien helpt het je nog. Ik heb op dit moment dit systeem draaien:
Odroid H3+ inclusief Power Supply: 15V 4A PSU
Crucial 32GB geheugen
Samsung 970 EVO 2TB
2 maal 5TB HDD (1 maal USB en 1 maal SATA na openen portable HDD)

Dit systeem draait onder Ubuntu Server 23.10, ASPM aangezet in BIOS, 1 NIC uitgezet in SW. Draait Powertop. Wordt gebruikt voor VPN (OpenVPN), als fileserver (samba) en host een website (Apache). In idle verbruikt het systeem 3.1W, gemeten met een iqonic smart plug. Ik heb de 8169 driver in gebruik.

code:

output van: sudo lspci -vvv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

00:1c.0 PCI bridge: Intel Corporation Device 4db8 (rev 01) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 4db9 (rev 01) (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.4 PCI bridge: Intel Corporation Device 4dbc (rev 01) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Toevoeging:
Ik heb om ASPM aan te zetten ook nog het volgende moeten doen:
de volgende file aangemaakt: /etc/rc.local:

code:

#!/bin/bash
echo '1' > '/sys/devices/pci0000:00/0000:00:1c.0/0000:01:00.0/link/l1_2_aspm'
echo '1' > '/sys/devices/pci0000:00/0000:00:1c.1/0000:02:00.0/link/l1_2_aspm'

code:

$ sudo systemctl enable rc-local.service

om ervoor te zorgen dat /etc/rc.local wordt uitgevoerd tijdens starten systeem

code:

$ sudo systemctl status rc-local.service

check of rc.local draait

[ Voor 5% gewijzigd door FreddyT op 11-02-2024 22:13 ]

[jaapsander]

Redelijk onervaren Linux gebruiker hier.
Ben bezig om een server op te zetten op basis van een HP prodesk 400 G5 met een i5 9500T en 8GB DDR. Deze 2e hands op de kop getikt omdat in dit topic te lezen is dat deze Idle erg zuinig is.
Ben wat met verschillende besturingssystemen aan het proberen en ik zie zaken die ik niet kan verklaren. Misschien wel met jullie hulp.

Meetcondities:
Energie gemeten met: brennerstuhl PM231E uit de TS vanuit het stopcontact Standaard HP powerbrick
Systeem bevat alleen een NVME SSD, geen USB apparaten aangesloten en geen display aangesloten
Bios tweaks uit de TS zijn doorgevoerd, softwaretweaks zijn ook doorgevoerd (powermanagment onder Windows en powertop --autotune onder Linux)

W10 van HP --> 2-3 W idle
W11 schone install --> 6-7 W idle (geeft aan aspm probleem)
Proxmox 7.4 --> 2-3 W idle (in powertop netjes C10)
Proxmox 8.1 --> 5-6 W idle (In powertop niet verder dan C3)

Het idee was om Proxmox te draaien (HA VM, en een paar LXC containers zoals PiHole, Tailscale, OMV etc). Nu haal ik met Proxmox 7.4 prima waarden en lijkt dat een prima basis, echter zou ik graag gebruik maken van de nieuwste versie (8.1) zodat ik up to date begin. Echter is het Idle verbruik 2x zo hoog...

Enig idee waar ik kan beginnen?
Hieronder is de output van lspci-vvv onder proxmox 8

code:

root@proxmox:~# lspci -vvv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1b.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #21 (rev f0) (prog-if 00 [Normal decode])
                LnkCap: Port #21, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #5 (rev f0) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x2, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

[P5ycho]

Misschien leuk om eens wat anders dan proxmox en Windows terug te melden.

Ik draai een FreeBSD nas sinds FreeBSD 7.0 beta3.
Met de tijd is dat een steeds serieuzere zaak geworden, het hele huis draait er intussen op.
Het OS is steeds geupgrade, nooit opnieuw geinstalleerd. Onderweg een keer van 3.5" mirror op 2.5" RAIDZ1 overgestapt. Daarna naar SSD's gegaan ivm 2.5" CMR HDD obsolescence.

Hardware is nu:
1x Pentium G4560
1x D3417-B2
1x 16GB ECC
5x Samsung 870 QVO 2TB (RAIDZ1)
1x 256GB OEM NVME disk uit laptop van de zaak (scratch disk)
1x LR-Link LREC9202CT
1x PicoPSU 90 met Fortron brick
1x Inter-Tech IT-607

Software opzet:
FreeBSD 14.0-RELEASE
jails: unifi, squeezebox, radarr, sonarr, nzbget, etc
bhyve#1: opnsense; i219 nic passthrough
bhyve#2: home assistant; intel graphics passthrough voor Frigate. (+Coral TPU misschien later)

Ik had eerder een Supermicro a1sai met pfsense als firewall en een rpi3 als home assistant doos. Deze nu allebei gevirtualiseerd, met serieuze energiebesparing als gevolg.

idle top:

last pid: 36658;  load averages:  0.24,  0.29,  0.28                                           up 31+15:09:07  11:41:30
49 processes:  1 running, 48 sleeping
CPU:  0.1% user,  0.0% nice,  4.0% system,  0.0% interrupt, 95.9% idle
Mem: 58M Active, 603M Inact, 559M Laundry, 13G Wired, 875M Free
ARC: 7249M Total, 2425M MFU, 3799M MRU, 26M Anon, 67M Header, 924M Other
     5644M Compressed, 12G Uncompressed, 2.21:1 Ratio
Swap: 2048M Total, 609M Used, 1439M Free, 29% Inuse

Verbruik tijdens idle met alle bovenstaand schommelt tussen de 9 en 10W, gemeten met een Brennenstuhl PM 231 E.

Upgrades die nog gepland zijn is UEFI boot ipv bios boot en een Coral TPU.
Ook overweeg ik al een tijdje om Truenas in een bhyve vm te zetten, maar dat is zoveel gesleep met data dat ik daar steeds vanaf zie .

PS. de Supermicro a1sai + 16GB + picopsu is nog te koop voor de liefhebber.

[mrmrmr]

@jaapsander Heb je powertop --auto-tune gedraaid en staat er niets op 'bad'?

Ik heb geen ervaring met Proxmox 8.1, maar de kans is groot dat het ligt aan kernel (met de verzameling drivers) en/of de configuratie daarvan. Linux kan worden gebouwd met bepaalde parameters die roet in het eten kunnen gooien. Ik zou vergelijken met welke parameters de build is gemaakt.

/boot/config-$(uname -r)

sysctl -a

per module: modinfo -p ${modulename}
alle modules: find /lib/modules/$(uname -r) -type f -name '*.ko*'

Daarna kun je bijvoorbeeld met WinMerge de output vergelijken.

Hetzelfde kun je doen met dmesg, lspci -vvv, lsmod en andere output. Kernel command line parameters.

Om snel te kunnen wisselen van besturingssysteem kun je eenzelfde SSD omwisselen of een image backup/restore doen.

Aangezien Proxmox op Debian is gebaseerd zou je de nonfree firmware package (firmware-linux-nonfree, firmware-misc-nonfree) kunnen installeren om te zien of dat verschil maakt. Ik zou dat niet zonder image backup doen, omdat je anders een "aangetast" systeem krijgt en je niet makkelijk kan achterhalen wat de oorzaak was.

[mrmrmr]

@P5ycho Weet je of ASPM wordt ondersteund in FreeBSD 14.0?

[P5ycho]

mrmrmr schreef op maandag 12 februari 2024 @ 15:13:
@P5ycho Weet je of ASPM wordt ondersteund in FreeBSD 14.0?

Ik ben even op onderzoek uitgegaan.
Note: BIOS settings rondom ASPM heb ik zo even niet bij de hand (geen BMC op dit bord), maar ik laat dat soort dingen normaal aan staan.

Allereerst, ASPM is een kernel tunable en is default enabled:

root@tonatiuh /u/h/p5ycho# sysctl -a | grep hw.pci.enable_aspm
hw.pci.enable_aspm: 1

pciconf zegt dit over de NVMe SSD:

nvme0@pci0:2:0:0:       class=0x010802 rev=0x00 hdr=0x00 vendor=0x1c5c device=0x174a subvendor=0x1c5c subdevice=0x174a
    vendor     = 'SK hynix'
    device     = 'Gold P31/BC711/PC711 NVMe Solid State Drive'
    class      = mass storage
    subclass   = NVM
    cap 01[80] = powerspec 3  supports D0 D3  current D0
    cap 05[90] = MSI supports 16 messages, 64 bit, vector masks
    cap 11[b0] = MSI-X supports 33 messages, enabled
                 Table in map 0x10[0x2000], PBA in map 0x10[0x3000]
    cap 10[c0] = PCI-Express 2 endpoint max data 256(512) FLR RO NS
                 max read 512
                 link x4(x4) speed 8.0(8.0) ASPM L1(L1) ClockPM enabled

Er wordt iig iets met ASPM gedaan met de NVMe SSD blijkbaar. yay!
Maar dan de I211 onboard netwerkkaart:

ppt1@pci0:1:0:0:        class=0x020000 rev=0x03 hdr=0x00 vendor=0x8086 device=0x1539 subvendor=0x8086 subdevice=0x0000
    vendor     = 'Intel Corporation'
    device     = 'I211 Gigabit Network Connection'
    class      = network
    subclass   = ethernet
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks
    cap 11[70] = MSI-X supports 5 messages, enabled
                 Table in map 0x1c[0x0], PBA in map 0x1c[0x2000]
    cap 10[a0] = PCI-Express 2 endpoint max data 256(512) FLR RO NS
                 max read 512
                 link x1(x1) speed 2.5(2.5) ASPM disabled(L0s/L1)

hier heb ik een tunable voor gevonden die dit hopelijk aanzet:

hw.em.eee_setting
	       Disable	or  enable Energy Efficient Ethernet.  Default 1 (dis-
	       abled).

hw.em.smart_pwr_down
	       Enable or disable smart power down features on newer  adapters.
	       Default 0 (disabled).Beiden staan op default, disabled. Ikz et ze even aan.

Beiden staan disabled, ik ga ze aanzetten.
(eee heeft er waarschijnlijk niets mee te maken, maar die neem ik wel meteen even mee)

De PCIe I211 insteekkaart NIC die passthrough naar opnsense gaat heeft geen ASPM opties in FreeBSD zelf. Opnsense meldt echter dat die ook daar disabled zijn:

igb0@pci0:0:6:0:        class=0x020000 rev=0x03 hdr=0x00 vendor=0x8086 device=0x1539 subvendor=0x8086 subdevice=0x0000
    vendor     = 'Intel Corporation'
    device     = 'I211 Gigabit Network Connection'
    class      = network
    subclass   = ethernet
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks
    cap 11[70] = MSI-X supports 5 messages, enabled
                 Table in map 0x1c[0x0], PBA in map 0x1c[0x2000]
    cap 10[a0] = PCI-Express 2 endpoint max data 256(512) FLR RO NS
                 max read 512
                 link x1(x1) speed 2.5(2.5) ASPM disabled(L0s/L1)

Antwoord op je vraag is dus: ja, wordt ondersteund.

Of ik die NICs ook zover krijg moet ik je even schuldig blijven, ik moet even een goed moment pakken om te rebooten.

[rsvmark]

jaapsander schreef op maandag 12 februari 2024 @ 10:00:
Redelijk onervaring Linux gebruiker hier.

Ik ga jouw bevindingen even volgen
Hier ook een onervaren linux gebruiker en in tegenstelling tot wat ik een week geleden postte heb ik zojuist een HP Elitedesk 800 G6 mini besteld om mijn huidige NUC te vervangen.

Mijn usecase is ook nagenoeg identiek aan die van jou dus kan ik mooi vergelijken.

[Mich]

P5ycho schreef op maandag 12 februari 2024 @ 16:34:
[...]

Ik ben even op onderzoek uitgegaan.
Note: BIOS settings rondom ASPM heb ik zo even niet bij de hand (geen BMC op dit bord), maar ik laat dat soort dingen normaal aan staan.

Allereerst, ASPM is een kernel tunable en is default enabled:

root@tonatiuh /u/h/p5ycho# sysctl -a | grep hw.pci.enable_aspm
hw.pci.enable_aspm: 1

pciconf zegt dit over de NVMe SSD:

nvme0@pci0:2:0:0:       class=0x010802 rev=0x00 hdr=0x00 vendor=0x1c5c device=0x174a subvendor=0x1c5c subdevice=0x174a
    vendor     = 'SK hynix'
    device     = 'Gold P31/BC711/PC711 NVMe Solid State Drive'
    class      = mass storage
    subclass   = NVM
    cap 01[80] = powerspec 3  supports D0 D3  current D0
    cap 05[90] = MSI supports 16 messages, 64 bit, vector masks
    cap 11[b0] = MSI-X supports 33 messages, enabled
                 Table in map 0x10[0x2000], PBA in map 0x10[0x3000]
    cap 10[c0] = PCI-Express 2 endpoint max data 256(512) FLR RO NS
                 max read 512
                 link x4(x4) speed 8.0(8.0) ASPM L1(L1) ClockPM enabled

Er wordt iig iets met ASPM gedaan met de NVMe SSD blijkbaar. yay!
Maar dan de I211 onboard netwerkkaart:

ppt1@pci0:1:0:0:        class=0x020000 rev=0x03 hdr=0x00 vendor=0x8086 device=0x1539 subvendor=0x8086 subdevice=0x0000
    vendor     = 'Intel Corporation'
    device     = 'I211 Gigabit Network Connection'
    class      = network
    subclass   = ethernet
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks
    cap 11[70] = MSI-X supports 5 messages, enabled
                 Table in map 0x1c[0x0], PBA in map 0x1c[0x2000]
    cap 10[a0] = PCI-Express 2 endpoint max data 256(512) FLR RO NS
                 max read 512
                 link x1(x1) speed 2.5(2.5) ASPM disabled(L0s/L1)

hier heb ik een tunable voor gevonden die dit hopelijk aanzet:

hw.em.eee_setting
	       Disable	or  enable Energy Efficient Ethernet.  Default 1 (dis-
	       abled).

hw.em.smart_pwr_down
	       Enable or disable smart power down features on newer  adapters.
	       Default 0 (disabled).Beiden staan op default, disabled. Ikz et ze even aan.

Beiden staan disabled, ik ga ze aanzetten.
(eee heeft er waarschijnlijk niets mee te maken, maar die neem ik wel meteen even mee)

De PCIe I211 insteekkaart NIC die passthrough naar opnsense gaat heeft geen ASPM opties in FreeBSD zelf. Opnsense meldt echter dat die ook daar disabled zijn:

igb0@pci0:0:6:0:        class=0x020000 rev=0x03 hdr=0x00 vendor=0x8086 device=0x1539 subvendor=0x8086 subdevice=0x0000
    vendor     = 'Intel Corporation'
    device     = 'I211 Gigabit Network Connection'
    class      = network
    subclass   = ethernet
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks
    cap 11[70] = MSI-X supports 5 messages, enabled
                 Table in map 0x1c[0x0], PBA in map 0x1c[0x2000]
    cap 10[a0] = PCI-Express 2 endpoint max data 256(512) FLR RO NS
                 max read 512
                 link x1(x1) speed 2.5(2.5) ASPM disabled(L0s/L1)

Antwoord op je vraag is dus: ja, wordt ondersteund.

Of ik die NICs ook zover krijg moet ik je even schuldig blijven, ik moet even een goed moment pakken om te rebooten.

Ik was heel toevallig Zondag ook bezig geweest met FreeBSD. Ik draai het in een VM in proxmox en dacht eens zien of het zuiniger kan. Ik was alleen nog niet zo ver gekomen. Het is toch net allemaal anders dan in Linux.

Ik heb een i210 in passtrough en daar zie ik ASPM wel aan staan:

code:

root@OPNsense:~ # pciconf -l -BbcevV igb0
igb0@pci0:1:0:0:        class=0x020000 rev=0x03 hdr=0x00 vendor=0x8086 device=0x1533 subvendor=0x103c subdevice=0x0003
    vendor     = 'Intel Corporation'
    device     = 'I210 Gigabit Network Connection'
    class      = network
    subclass   = ethernet
    bar   [10] = type Memory, range 32, base 0xfe200000, size 1048576, enabled
    bar   [1c] = type Memory, range 32, base 0xfe400000, size 16384, enabled
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks
    cap 11[70] = MSI-X supports 5 messages, enabled
                 Table in map 0x1c[0x0], PBA in map 0x1c[0x2000]
    cap 10[a0] = PCI-Express 2 endpoint max data 128(512) FLR RO NS
                 max read 512
                 link x1(x1) speed 2.5(2.5) ASPM L1(L0s/L1)
    ecap 0001[100] = AER 2 0 fatal 0 non-fatal 0 corrected
    ecap 0003[140] = Serial 1 6805caffff97b55a
    ecap 0017[1a0] = TPH Requester 1

Met dit commando krijg je meer info over je cpu c-states:

code:

sysctl dev.cpu | grep cx

Dit is mijn output:

code:

dev.cpu.1.cx_method: C1/hlt
dev.cpu.1.cx_usage_counters: 7216945
dev.cpu.1.cx_usage: 100.00% last 5986us
dev.cpu.1.cx_lowest: C1
dev.cpu.1.cx_supported: C1/1/0
dev.cpu.0.cx_method: C1/hlt
dev.cpu.0.cx_usage_counters: 13967575
dev.cpu.0.cx_usage: 100.00% last 3357us
dev.cpu.0.cx_lowest: C1
dev.cpu.0.cx_supported: C1/1/0

Ik denk dat dit veel beter kan want dit zie ik bij andere mensen:

code:

dev.cpu.0.cx_lowest: C8
dev.cpu.0.cx_method: C1/mwait/hwc C2/mwait/hwc C3/mwait/hwc/bma
dev.cpu.0.cx_supported: C1/1/1 C2/2/1 C3/3/57
dev.cpu.0.cx_usage_counters: 81246 0 0
dev.cpu.0.cx_usage: 100.00% 0.00% 0.00% last 1758us

Mijn cpu staat in proxmox ingesteld als "host" dus ik had eigenlijk verwacht dat hij die eigenschappen over zou nemen waaronder de c-states. Hier ga ik mij eens verder in verdiepen.

[jackkiej]

eheijnen schreef op zondag 11 februari 2024 @ 15:00:
En die proxmox installatie wat voor kernel gebruikt die?

code:

root@serverjack24:~# uname -a
Linux serverjack24 6.5.11-8-pve #1 SMP PREEMPT_DYNAMIC PMX 6.5.11-8 (2024-01-30T12:27Z) x86_64 GNU/Linux

Dit is na upgrade naar trixie.
Heb zojuist Proxmox 8.1.2 geïnstalleerd, upgrade naar trixie gedaan en haal direct weer C10.
Verder nog niks aangepast in de settings, hoe kan het dat ik nu direct C10 haal maar in bijv dietpi niet?
Had ik per ongeluk dual os, en dat het daar mee te maken kan hebben?

Ik zal straks een kale debian installatie uitproberen.

[eheijnen]

jackkiej schreef op maandag 12 februari 2024 @ 20:24:
[...]

code:

root@serverjack24:~# uname -a
Linux serverjack24 6.5.11-8-pve #1 SMP PREEMPT_DYNAMIC PMX 6.5.11-8 (2024-01-30T12:27Z) x86_64 GNU/Linux

Dit is na upgrade naar trixie.
Heb zojuist Proxmox 8.1.2 geïnstalleerd, upgrade naar trixie gedaan en haal direct weer C10.
Verder nog niks aangepast in de settings, hoe kan het dat ik nu direct C10 haal maar in bijv dietpi niet?
Had ik per ongeluk dual os, en dat het daar mee te maken kan hebben?

Ik zal straks een kale debian installatie uitproberen.

Probeer dan eens Bookworm standaard met een 6.1 kernel.
En voeg de backports repo toe en installeer de 6.5 kernel toe.
Kun je op die installatie vergelijken tussen die twee kernels....

[RobertMe]

jackkiej schreef op maandag 12 februari 2024 @ 20:24:
[...]

code:

root@serverjack24:~# uname -a
Linux serverjack24 6.5.11-8-pve #1 SMP PREEMPT_DYNAMIC PMX 6.5.11-8 (2024-01-30T12:27Z) x86_64 GNU/Linux

Dit is na upgrade naar trixie.
Heb zojuist Proxmox 8.1.2 geïnstalleerd, upgrade naar trixie gedaan en haal direct weer C10.
Verder nog niks aangepast in de settings, hoe kan het dat ik nu direct C10 haal maar in bijv dietpi niet?
Had ik per ongeluk dual os, en dat het daar mee te maken kan hebben?

Ik zal straks een kale debian installatie uitproberen.

Proxmox heeft een eigen kernel (gebaseerd op Ubuntu kernel). Kan zijn dat daar wat afwijkingen in zitten. Alleen al het feit dat bv de proxmox kernel depend op 1 package met alle modules (vs een grote set aan packages met modules in Debian) kan dus al ervoor zorgen dat je met Proxmox meer kernel modules gebruikt dan bij Debian (simpelweg doordat je onder Debian niet het juiste (modules) package geinstalleerd hebt).

Daarnaast zegt "upgrade naar Trixie" niet veel, behalve dat je een nieuwe(re) userspace hebt. Maar die userspace zal het verschil niet maken.

Wat je vrij simpel kunt testen:

1. Installeer Bookworm
2. Voeg de Proxmox repository toe
3. Installeer de Proxmox kernel (/Proxmox kernel package)

Deze stappen kun je dan volgen vanaf de Proxmox wiki, waar ze gedocumenteerd hebben hoe je Proxmox (volledig) op een bestaande Debian installatie kunt installeren: https://pve.proxmox.com/w..._VE_on_Debian_12_Bookworm (t/m "Install the Proxmox VE Kernel" dus)
Merk je dan verschil dan zit het dus "zoals verwacht" in de kernel en niet direct in Proxmox vs Debian.
Vervolgens zou je nog verder kunnen puzzelen in of het in de kernel versie zit, of de beschikbaarheid van bepaalde modules.

[bibi2205]

*zucht*

Vandaag eindelijk even tijd gevonden om mijn nieuwe server hardware al eens in elkaar te puzzelen om wat verbruik-testjes te doen met Windows en Debian.. Geen beeld en diagnostic leds wisselen tussen CPU (kort) en DRAM (lang). Intussen al getest door elk latje afzonderlijk in A2 en B2 te testen maar niets lijkt te werken. Bios update opnieuw uitgevoerd en zelfs een downgrade geprobeerd maar dat had allemaal geen effect. (Bord ondersteund bios flash zonder CPU.)

Geheugen staat op de support-list van het moederbord en bios is up to date (getest met F7 en F8, CPU wordt ondersteund sinds F7). Inmiddels maar al een nieuw latje geheugen besteld (ook van de QVL) dat morgen zou toekomen, als dat niet werkt zal ik alles maar weer uit elkaar halen en de CPU socket inspecteren.

Moederbord komt van Amazon en kwam aan zonder plastic wrap rond de doos maar het antistatisch zakje van het bord zelf was nog wel 100% netjes gesealed. Ram komt eveneens van Amazon en was een 2dekans 'in nieuwstaat met beschadigde verpakking' en kwam aan in een plastic zakje met 2 losse latjes op elkaar.. Vermoed momenteel dus dat het geheugen niet (meer) goed is.

Specs:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-14500 Boxed	€ 256,74	€ 256,74
1	Moederborden	Gigabyte B760M Gaming X AX	€ 161,03	€ 161,03
1	Processorkoeling	Noctua NH-D15S	€ 89,90	€ 89,90
1	Geheugen intern	Crucial CT2K32G48C40U5	€ 177,53	€ 177,53
1	Voedingen	Corsair RM550x (2021) Zwart	€ 0,-	€ 0,-
1	Solid state drives	Samsung 970 Evo Plus 2TB	€ 139,90	€ 139,90
			Totaal	€ 825,10

[jackkiej]

RobertMe schreef op maandag 12 februari 2024 @ 21:47:
[...]

Proxmox heeft een eigen kernel (gebaseerd op Ubuntu kernel). Kan zijn dat daar wat afwijkingen in zitten. Alleen al het feit dat bv de proxmox kernel depend op 1 package met alle modules (vs een grote set aan packages met modules in Debian) kan dus al ervoor zorgen dat je met Proxmox meer kernel modules gebruikt dan bij Debian (simpelweg doordat je onder Debian niet het juiste (modules) package geinstalleerd hebt).

Daarnaast zegt "upgrade naar Trixie" niet veel, behalve dat je een nieuwe(re) userspace hebt. Maar die userspace zal het verschil niet maken.

Wat je vrij simpel kunt testen:

1. Installeer Bookworm
2. Voeg de Proxmox repository toe
3. Installeer de Proxmox kernel (/Proxmox kernel package)

Deze stappen kun je dan volgen vanaf de Proxmox wiki, waar ze gedocumenteerd hebben hoe je Proxmox (volledig) op een bestaande Debian installatie kunt installeren: https://pve.proxmox.com/w..._VE_on_Debian_12_Bookworm (t/m "Install the Proxmox VE Kernel" dus)
Merk je dan verschil dan zit het dus "zoals verwacht" in de kernel en niet direct in Proxmox vs Debian.
Vervolgens zou je nog verder kunnen puzzelen in of het in de kernel versie zit, of de beschikbaarheid van bepaalde modules.

Je hebt gelijk, zojuist getest, op de proxmox kernel krijg ik C10.
Ik zal ook eens een ubuntu installatie uitproberen morgen, geen idee waarom het in Debian niet mogelijk is om lager te komen dan C8..

Ik kwam wel in powertop overview helemaal onderaan 100% PCI Device tegen, die zie ik niet met de proxmox kernel.

[P5ycho]

Mich schreef op maandag 12 februari 2024 @ 19:38:
[...]


Ik was heel toevallig Zondag ook bezig geweest met FreeBSD. Ik draai het in een VM in proxmox en dacht eens zien of het zuiniger kan. Ik was alleen nog niet zo ver gekomen. Het is toch net allemaal anders dan in Linux.

Ik heb een i210 in passtrough en daar zie ik ASPM wel aan staan:

code:

root@OPNsense:~ # pciconf -l -BbcevV igb0
igb0@pci0:1:0:0:        class=0x020000 rev=0x03 hdr=0x00 vendor=0x8086 device=0x1533 subvendor=0x103c subdevice=0x0003
    vendor     = 'Intel Corporation'
    device     = 'I210 Gigabit Network Connection'
    class      = network
    subclass   = ethernet
    bar   [10] = type Memory, range 32, base 0xfe200000, size 1048576, enabled
    bar   [1c] = type Memory, range 32, base 0xfe400000, size 16384, enabled
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks
    cap 11[70] = MSI-X supports 5 messages, enabled
                 Table in map 0x1c[0x0], PBA in map 0x1c[0x2000]
    cap 10[a0] = PCI-Express 2 endpoint max data 128(512) FLR RO NS
                 max read 512
                 link x1(x1) speed 2.5(2.5) ASPM L1(L0s/L1)
    ecap 0001[100] = AER 2 0 fatal 0 non-fatal 0 corrected
    ecap 0003[140] = Serial 1 6805caffff97b55a
    ecap 0017[1a0] = TPH Requester 1

Met dit commando krijg je meer info over je cpu c-states:

code:

sysctl dev.cpu | grep cx

Dit is mijn output:

code:

dev.cpu.1.cx_method: C1/hlt
dev.cpu.1.cx_usage_counters: 7216945
dev.cpu.1.cx_usage: 100.00% last 5986us
dev.cpu.1.cx_lowest: C1
dev.cpu.1.cx_supported: C1/1/0
dev.cpu.0.cx_method: C1/hlt
dev.cpu.0.cx_usage_counters: 13967575
dev.cpu.0.cx_usage: 100.00% last 3357us
dev.cpu.0.cx_lowest: C1
dev.cpu.0.cx_supported: C1/1/0

Ik denk dat dit veel beter kan want dit zie ik bij andere mensen:

code:

dev.cpu.0.cx_lowest: C8
dev.cpu.0.cx_method: C1/mwait/hwc C2/mwait/hwc C3/mwait/hwc/bma
dev.cpu.0.cx_supported: C1/1/1 C2/2/1 C3/3/57
dev.cpu.0.cx_usage_counters: 81246 0 0
dev.cpu.0.cx_usage: 100.00% 0.00% 0.00% last 1758us

Mijn cpu staat in proxmox ingesteld als "host" dus ik had eigenlijk verwacht dat hij die eigenschappen over zou nemen waaronder de c-states. Hier ga ik mij eens verder in verdiepen.

Na een reboot van de opnsense vm nog steeds geen ASPM hier. Ik denk dat ik even in de bios moet gaan neuzen binnenkort.

Mijn C-state stats:

dev.cpu.0.cx_method: C1/mwait/hwc C2/mwait/hwc C3/mwait/hwc
dev.cpu.0.cx_usage_counters: 130600949 105300777 618603730
dev.cpu.0.cx_usage: 15.28% 12.32% 72.39% last 28us
dev.cpu.0.cx_lowest: C8
dev.cpu.0.cx_supported: C1/1/1 C2/2/151 C3/3/256

Ik denk dat je even dit in je /etc/rc.conf moet zetten:

performance_cx_lowest="Cmax"
economy_cx_lowest="Cmax"

[jackkiej]

Vandaag een verse Ubuntu Server installatie gedaan, versie: Ubuntu 22.04.3 LTS.
Standaard meegeïnstalleerde kernel was 5.15.0-94-generic, hier haalde ik C8.
Inmiddels meerdere kernels getest en blijkbaar is C10 te halen vanaf kernel 6.0.5 met de hardware die ik nu dus heb:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 255,46	€ 255,46
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Geheugen intern	Crucial CT2K16G48C40U5	€ 92,15	€ 92,15
1	Voedingen	Corsair RM750e V2	€ 122,90	€ 122,90
1	Solid state drives	Samsung 970 Evo Plus 1TB	€ 85,-	€ 85,-
Bekijk collectie Importeer producten			Totaal	€ 555,51

Ik heb kan jullie de volgende resultaten delen na powertop --auto-tune:

Kernel	Laagste C-state
5.15.0-94-generic	C8
5.19.17-051917-generic	C8
6.0.0-060000-generic	C8
6.0.5-060005-generic	C8
6.0.10-060010-generic	C10
6.0.19-060019-generic	C10
6.1.0-060100-generic	C10
6.1.77-060177-generic	C10
6.2.0-060200-generic	C10
6.5.11-060511-generic	C10
6.6.0-060600-generic	C10
6.6.8-060608-generic	C10
6.6.9-060609-generic	C10
6.6.10-060610-generic	C8
6.6.16-060616-generic	C8
6.7.0-060700-generic	C8

Dit heb ik op afstand getest en heb dus nog even niet naar idle verbruik kunnen kijken, dit zal ik later doen. Benieuwd of bepaalde kernels ook een verschil hebben in verbruik.

Edit: nieuwste kernels lijken dan weer niet out-of-the-box naar C10 te gaan.

[ Voor 15% gewijzigd door jackkiej op 13-02-2024 12:42 ]

[eheijnen]

@jackkiej
Als je nog tijd en zin hebt zou ik toch nog benieuwd zijn naar wat een kale Bookworm install doet met een standaard 6.1 kernel en een backport 6.5 kernel.

Die zouden dan beide C10 moeten doen als het aan de kernel zelf ligt.

[jackkiej]

eheijnen schreef op dinsdag 13 februari 2024 @ 12:06:
@jackkiej
Als je nog tijd en zin hebt zou ik toch nog benieuwd zijn naar wat een kale Bookworm install doet met een standaard 6.1 kernel en een backport 6.5 kernel.

Die zouden dan beide C10 moeten doen als het aan de kernel zelf ligt.

Hoe wil je dat ik de kernels installeer, dan kan ik dat eenvoudig reproduceren vanavond.
En ik neem aan dat je Debian 12.5 bedoelt? Te vinden op https://www.debian.org/releases/bookworm/debian-installer/

[jackkiej]

Nog vreemder, net nog een paar kernels getest:

6.6.0-060600-generic C10
6.6.16-060616-generic C8
6.7.0-060700-generic C8

[gastje01]

FreddyT schreef op zondag 11 februari 2024 @ 21:20:
[...]


Sorry beetje late reactie, maar misschien helpt het je nog. Ik heb op dit moment dit systeem draaien:
Odroid H3+ inclusief Power Supply: 15V 4A PSU
Crucial 32GB geheugen
Samsung 970 EVO 2TB
2 maal 5TB HDD (1 maal USB en 1 maal SATA na openen portable HDD)

Dit systeem draait onder Ubuntu Server 23.10, ASPM aangezet in BIOS, 1 NIC uitgezet in SW. Draait Powertop. Wordt gebruikt voor VPN (OpenVPN), als fileserver (samba) en host een website (Apache). In idle verbruikt het systeem 3.1W, gemeten met een iqonic smart plug. Ik heb de 8169 driver in gebruik.

code:

output van: sudo lspci -vvv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

00:1c.0 PCI bridge: Intel Corporation Device 4db8 (rev 01) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 4db9 (rev 01) (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.4 PCI bridge: Intel Corporation Device 4dbc (rev 01) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Toevoeging:
Ik heb om ASPM aan te zetten ook nog het volgende moeten doen:
de volgende file aangemaakt: /etc/rc.local:

code:

#!/bin/bash
echo '1' > '/sys/devices/pci0000:00/0000:00:1c.0/0000:01:00.0/link/l1_2_aspm'
echo '1' > '/sys/devices/pci0000:00/0000:00:1c.1/0000:02:00.0/link/l1_2_aspm'

code:

$ sudo systemctl enable rc-local.service

om ervoor te zorgen dat /etc/rc.local wordt uitgevoerd tijdens starten systeem

code:

$ sudo systemctl status rc-local.service

check of rc.local draait

Kijk, dat is nuttige info.

Hoe heb je de 2e NIC uitgeschakeld? Ik gebruik Proxmox, mogelijk dat het daar anders werkt, maar het idee klint wel aantrekkelijk, hij is namelijk niet aangesloten. Ik gebruik dezelfde driver, verder zonder issues, maar ik ga ook niet hoger dan 1 Gbit.

ASPM script ga ik ook proberen. Zullen lage waarden als jij haal ik niet, dat komt deels doordat ik een 3.5Inch disk heb die in spindown al goed is voor bijna de helft van het verbruik (12W totaal) en deels doordat het systeem door Frigate LXC en HomeAssistant VM nooit echt idle is.

[wian]

Along with the termination of perpetual licensing, Broadcom has also decided to discontinue the Free ESXi Hypervisor, marking it as EOGA (End of General Availability).

Tijd om afscheid te nemen van ESXi. Is Proxmox het go-to alternatief, of moet ik nog naar alternatieven kijken?

[pimlie]

wian schreef op dinsdag 13 februari 2024 @ 12:46:
Is Proxmox het go-to alternatief, of moet ik nog naar alternatieven kijken?

Hangt er vanaf wat je allemaal wilt kunnen, soms is virt-manager op je desktop en dan remote verbinding maken met libvirt op je server al voldoende.

Daarnaast is containerization vaak zinvoller dan virtualization

[latka]

pimlie schreef op dinsdag 13 februari 2024 @ 12:54:
[...]
Daarnaast is containerization vaak zinvoller dan virtualization

Proxmox doet beide met 1 beheer omgeving. Daarnaast kan Proxmox headless draaien wat voor een 24/7 server in de meterkast handig is qua beheer. Heb een paar jaar terug ESX geprobeerd, maar snel weer naar proxmox gegaan en ik mis niks t.o.v. ESX (zeker voor home-server gebruik)

[HotSpot79]

gastje01 schreef op dinsdag 13 februari 2024 @ 12:33:
[...]


Kijk, dat is nuttige info.

Hoe heb je de 2e NIC uitgeschakeld? Ik gebruik Proxmox, mogelijk dat het daar anders werkt, maar het idee klint wel aantrekkelijk, hij is namelijk niet aangesloten. Ik gebruik dezelfde driver, verder zonder issues, maar ik ga ook niet hoger dan 1 Gbit.

Die kan je in de bios mooi uitzetten. Weet even niet uit het hoofd welke precies, maar je hebt in bios de mogelijkheid om pcie devices uit te schakelen.

Maar ik haal met de realtek 8125b verschillende resultaten. De standaard linux driver r8169 ondersteund geen jumbo frames icm Pause frames. Dat doet de r8125 kernel driver dan weer wel. Maar de snelheid van upload met iperf3 is bedroevend. Ik haal op de h3+ een magere 1.6 gb/s. Download dan weer wel netjes 2.48 gb/s (mtu 9000 en Pause Frames met de r8125 kernel driver. Die realtek 8125b kaart is echt prut in de H3, had veel liever de Intel I226-v gehad.

[eheijnen]

jackkiej schreef op dinsdag 13 februari 2024 @ 12:14:
[...]

Hoe wil je dat ik de kernels installeer, dan kan ik dat eenvoudig reproduceren vanavond.
En ik neem aan dat je Debian 12.5 bedoelt? Te vinden op https://www.debian.org/releases/bookworm/debian-installer/

met 12.5 is goed en gewoon een console setup / kale install.
En voor de backports repo:
https://backports.debian.org/Instructions/

De vorige Ubuntu zou ik even bewaren kan er misschien vergeleken worden tussen de kernel configs onderling om te zien welke de verschillen zijn tussen die c8 en c10 halen.

[ Voor 15% gewijzigd door eheijnen op 13-02-2024 15:35 ]

[FreddyT]

gastje01 schreef op dinsdag 13 februari 2024 @ 12:33:
[...]


Kijk, dat is nuttige info.

Hoe heb je de 2e NIC uitgeschakeld? Ik gebruik Proxmox, mogelijk dat het daar anders werkt, maar het idee klint wel aantrekkelijk, hij is namelijk niet aangesloten. Ik gebruik dezelfde driver, verder zonder issues, maar ik ga ook niet hoger dan 1 Gbit.

ASPM script ga ik ook proberen. Zullen lage waarden als jij haal ik niet, dat komt deels doordat ik een 3.5Inch disk heb die in spindown al goed is voor bijna de helft van het verbruik (12W totaal) en deels doordat het systeem door Frigate LXC en HomeAssistant VM nooit echt idle is.

Ik heb het in de BIOS niet kunnen vinden, maar zou nog eens kunnen zoeken. Ik gebuik nu het commando:

code:

sudo ip link set enp1s0 down

[HotSpot79]

FreddyT schreef op dinsdag 13 februari 2024 @ 15:34:
[...]


Ik heb het in de BIOS niet kunnen vinden, maar zou nog eens kunnen zoeken. Ik gebuik nu het commando:

code:

sudo ip link set enp1s0 down

In het pcie menu en dan kan je PCIE FUN aan/uit zetten. Twee daarvan zijn voor je NICs en eentje voor de NVME M2 en de andere voor nog iets... (sata???) Ik weet het niet meer uit mijn hoofd.

[gastje01]

HotSpot79 schreef op dinsdag 13 februari 2024 @ 14:37:
[...]


Die kan je in de bios mooi uitzetten. Weet even niet uit het hoofd welke precies, maar je hebt in bios de mogelijkheid om pcie devices uit te schakelen.

Maar ik haal met de realtek 8125b verschillende resultaten. De standaard linux driver r8169 ondersteund geen jumbo frames icm Pause frames. Dat doet de r8125 kernel driver dan weer wel. Maar de snelheid van upload met iperf3 is bedroevend. Ik haal op de h3+ een magere 1.6 gb/s. Download dan weer wel netjes 2.48 gb/s (mtu 9000 en Pause Frames met de r8125 kernel driver. Die realtek 8125b kaart is echt prut in de H3, had veel liever de Intel I226-v gehad.

Klopt, maar ik dacht uit dit topic geleerd te hebben dat je dat beter niet kon doen omdat je OS 'm dan niet in een energie-zuinige modus kan zetten? Andere gedachte, als er geen kabel in zit, dan zou ASPM 'm zelf in low-energy moeten zetten?

Ik gebruik gewoon de standaard kernel driver en haal up/down gigabit snelheden. Sneller is de switch die er achter zit niet, dus geen reden om daar mee te rommelen als t niets toevoegt (beperkt?) aan het energieverbruik.

FreddyT schreef op dinsdag 13 februari 2024 @ 15:34:
[...]


Ik heb het in de BIOS niet kunnen vinden, maar zou nog eens kunnen zoeken. Ik gebuik nu het commando:

code:

sudo ip link set enp1s0 down

Die ga ik even testen, kijken of het nog iets van verschil maakt.

[HotSpot79]

gastje01 schreef op dinsdag 13 februari 2024 @ 17:12:

Klopt, maar ik dacht uit dit topic geleerd te hebben dat je dat beter niet kon doen omdat je OS 'm dan niet in een energie-zuinige modus kan zetten? Andere gedachte, als er geen kabel in zit, dan zou ASPM 'm zelf in low-energy moeten zetten?

Die ga ik even testen, kijken of het nog iets van verschil maakt.

Idd, maar voor de H3 dus niet. Ik heb metingen gedaan en komt met de NIC in BIOS uit op een lager energie verbruik.

[Psychsome]

Ik zit met smart mee te lezen @jackkiej ik heb practisch dezelfde setup
.
Alleen ben ik in vergelijking een noob denk, als ik powertop doe heb ik maar 3 C-states, mis ik dan ergens iets?

[FreddyT]

gastje01 schreef op dinsdag 13 februari 2024 @ 17:12:
[...]

Klopt, maar ik dacht uit dit topic geleerd te hebben dat je dat beter niet kon doen omdat je OS 'm dan niet in een energie-zuinige modus kan zetten? Andere gedachte, als er geen kabel in zit, dan zou ASPM 'm zelf in low-energy moeten zetten?

Ik gebruik gewoon de standaard kernel driver en haal up/down gigabit snelheden. Sneller is de switch die er achter zit niet, dus geen reden om daar mee te rommelen als t niets toevoegt (beperkt?) aan het energieverbruik.


[...]

Die ga ik even testen, kijken of het nog iets van verschil maakt.

Ik had hem uitgezet omdat er in dmesg steeds de volgende melding kwam:

code:

r8169 0000:01:00.0 enp1s0: Link is Down

Ik kan (binnen de meetnauwkeurigheid van de smart plug) nauwelijks een verschil zien in stroomverbruik.

[FreddyT]

HotSpot79 schreef op dinsdag 13 februari 2024 @ 16:32:
[...]


In het pcie menu en dan kan je PCIE FUN aan/uit zetten. Twee daarvan zijn voor je NICs en eentje voor de NVME M2 en de andere voor nog iets... (sata???) Ik weet het niet meer uit mijn hoofd.

Bedankt! Ik zal nog eens kijken. Maar dan moet ik hem een keertje uit de meterkast halen om op een scherm aan te sluiten

[Mich]

Psychsome schreef op dinsdag 13 februari 2024 @ 21:38:
Ik zit met smart mee te lezen @jackkiej ik heb practisch dezelfde setup
.
Alleen ben ik in vergelijking een noob denk, als ik powertop doe heb ik maar 3 C-states, mis ik dan ergens iets?

Welke versie van powertop gebruik je? 2.15 is de laatste. Die moet je in Debian wel zelf even clonen en compilen. Uitleg op de github: https://github.com/fenrus75/powertop

[bibi2205]

bibi2205 schreef op maandag 12 februari 2024 @ 22:18:
Vermoed momenteel dus dat het geheugen niet (meer) goed is.

Nieuwe latje geheugen is vandaag binnengekomen en toen had ik wel beeld.. Crucial geheugen kan dus retour naar Amazon.

Alvast excuses voor de RBG-ram maar dat was prijs/levertijd het interessantste dat ik kon vinden. Het wil wel zeggen dat mijn metingen voorlopig met RGB-ram zullen zijn. W11 met alle updates zijn intussen geïnstalleerd en voorlopig (bios optimized defaults) zit ik aan 27W idle (netwerk, toetsenbord, muis en HDMI aangesloten). De komende dagen drivers installeren en bios tweaken en dan post ik wel even alle resultaten.

Ik zal ook nog even een oplossing moeten zoeken voor mijn 2TB Samsung 970 Evo Plus. Ik heb hem in het PCH-slot gestoken maar daar zit geen heatsink op en de SSD was na installatie van Windows 66°C (Drive Temp 3 was zelfs 85°). Lijkt me niet gezond.. CPU slot bewust vermeden (al heeft die wel een heatsink) omdat ik had begrepen dat de CPU dan niet tot C10 zou kunnen gaan..

[jackkiej]

Psychsome schreef op dinsdag 13 februari 2024 @ 21:38:
Ik zit met smart mee te lezen @jackkiej ik heb practisch dezelfde setup
.
Alleen ben ik in vergelijking een noob denk, als ik powertop doe heb ik maar 3 C-states, mis ik dan ergens iets?

Je hebt powertop 2.14, je zal powertop 2.15 moeten installeren

Edit: lees nu dat het al gezegd is

[ Voor 4% gewijzigd door jackkiej op 13-02-2024 22:58 ]

[Mich]

bibi2205 schreef op dinsdag 13 februari 2024 @ 22:28:
[...]


Nieuwe latje geheugen is vandaag binnengekomen en toen had ik wel beeld.. Crucial geheugen kan dus retour naar Amazon.

Alvast excuses voor de RBG-ram maar dat was prijs/levertijd het interessantste dat ik kon vinden. Het wil wel zeggen dat mijn metingen voorlopig met RGB-ram zullen zijn. W11 met alle updates zijn intussen geïnstalleerd en voorlopig (bios optimized defaults) zit ik aan 27W idle (netwerk, toetsenbord, muis en HDMI aangesloten). De komende dagen drivers installeren en bios tweaken en dan post ik wel even alle resultaten.

Ik zal ook nog even een oplossing moeten zoeken voor mijn 2TB Samsung 970 Evo Plus. Ik heb hem in het PCH-slot gestoken maar daar zit geen heatsink op en de SSD was na installatie van Windows 66°C (Drive Temp 3 was zelfs 85°). Lijkt me niet gezond.. CPU slot bewust vermeden (al heeft die wel een heatsink) omdat ik had begrepen dat de CPU dan niet tot C10 zou kunnen gaan..

Je hebt losse m.2 koelers die je gewoon erop kan plaatsen. En als het slot aan de achterkant zit kan je er een dikke thermaal pad op plakken zodat die contact maakt met de behuizing en zo zijn warmte kwijt kan.

[_Piv0]

Ik heb een Firebat T8 ter vervanging van mn RPi 3B, echter heb ik flinke moeite om hier andere software op te krijgen.

Proxmox installatie ging al moeizaam. Via terminal interface en "nomodeset" command kwam ik door het eerste installatiescherm heen waarbij je een wachtwoord moet instellen etc. Vervolgens valt de de Firebat bij het booten uit en reboot zich, waarbij er alleen een zwart scherm is te zien.

Vervolgens Home Assistant OS geinstalleerd via Ubuntu USB boot. En ook hierbij als HAOS opstart reboot de Firebat zich en blijft het scherm zwart.

Ook wanneer ik Ubuntu installeer kom ik na de geslaagde installatie niet in het OS terecht.

In de BIOS heb ik overigens Secure Boot uitgeschakeld.

Iemand enig idee wat ik kan nog kan doen?

[raymondw]

_Piv0 schreef op woensdag 14 februari 2024 @ 10:04:
Ik heb een Firebat T8 ter vervanging van mn RPi 3B, echter heb ik flinke moeite om hier andere software op te krijgen.

Proxmox installatie ging al moeizaam. Via terminal interface en "nomodeset" command kwam ik door het eerste installatiescherm heen waarbij je een wachtwoord moet instellen etc. Vervolgens valt de de Firebat bij het booten uit en reboot zich, waarbij er alleen een zwart scherm is te zien.

Vervolgens Home Assistant OS geinstalleerd via Ubuntu USB boot. En ook hierbij als HAOS opstart reboot de Firebat zich en blijft het scherm zwart.

Ook wanneer ik Ubuntu installeer kom ik na de geslaagde installatie niet in het OS terecht.

In de BIOS heb ik overigens Secure Boot uitgeschakeld.

Iemand enig idee wat ik kan nog kan doen?

Lijkt mij een issue met de unit of voeding.
Hier als backup machine ook een T8 draaien, maar die werkt echt zonder issues.
55 dagen up inmiddels en TB of 6 vanuit de backup binnen die naar een setje USB hdd's gaat.

Heb speciale of andere hardware aan de unit toegevoegd?

[_Piv0]

Nope, alleen monitor, muis en toetsenbord hangt er aan qua hardware.
Met Windows 11 gaf ie overigens geen problemen.

Krijg met booten ook de volgende melding:

https://photos.app.goo.gl/UW7ngUobCZ6hbrZQ6

Kan er iets mis zijn met de BIOS? En is zoiets te herstellen/updaten?

[jaapsander]

mrmrmr schreef op maandag 12 februari 2024 @ 15:10:
@jaapsander Heb je powertop --auto-tune gedraaid en staat er niets op 'bad'?

Ik heb geen ervaring met Proxmox 8.1, maar de kans is groot dat het ligt aan kernel (met de verzameling drivers) en/of de configuratie daarvan. Linux kan worden gebouwd met bepaalde parameters die roet in het eten kunnen gooien. Ik zou vergelijken met welke parameters de build is gemaakt.

/boot/config-$(uname -r)

sysctl -a

per module: modinfo -p ${modulename}
alle modules: find /lib/modules/$(uname -r) -type f -name '*.ko*'

Daarna kun je bijvoorbeeld met WinMerge de output vergelijken.

Hetzelfde kun je doen met dmesg, lspci -vvv, lsmod en andere output. Kernel command line parameters.

Om snel te kunnen wisselen van besturingssysteem kun je eenzelfde SSD omwisselen of een image backup/restore doen.

Aangezien Proxmox op Debian is gebaseerd zou je de nonfree firmware package (firmware-linux-nonfree, firmware-misc-nonfree) kunnen installeren om te zien of dat verschil maakt. Ik zou dat niet zonder image backup doen, omdat je anders een "aangetast" systeem krijgt en je niet makkelijk kan achterhalen wat de oorzaak was.

Yes, powertop --auto-tune is in alle gevallen gedraaid en handmatig gekeken of de tunables goed stonden. Ik heb de output van het 8.1 systeem op (een aantal van) bovenstaande terminal commando's vergelijken met een nieuwe verse installe van 7.4. Niet alles was goed te vergelijken aangezien de output te lang was zodat niet alles meer uit de terminal te kopieren was (tips?).

Veel van de output kon ik niet interpreteren. Alleen de output van lspci -vvv is een aantal keer besproken in dit topic, dus daar kon ik chocola van maken. Echter zag ik hier geen noemenswaardige verschillen. Zou iemand met daadwerkelijk verstand van zaken naar mijn outputs kunnen kijken?
https://docs.google.com/d...uVTY0/edit?usp=drive_link
https://drive.google.com/..._Nn7W/view?usp=drive_link
https://drive.google.com/...EGHPG/view?usp=drive_link

Output zijn HTML repporten gegenereerd door Winmerge, beste te openen met je browser.
Andere outputs zijn dus niet compleet. Volgende stap is om 7.4 handmatig te updaten naar 8 en kijken wat dit met het stroomverbruik doet. Wat ik ook nog op de planning heb is een verse debian 12.5 installatie.

edit: Na upgrade van 7.4 naar 8.1 via tteck upgrade script (https://smarthomescene.co...-8-0-without-losing-data/) Maar ik blijf weer steken in C3...

[ Voor 4% gewijzigd door jaapsander op 14-02-2024 11:39 ]

[jackkiej]

jaapsander schreef op woensdag 14 februari 2024 @ 11:22:
[...]


Yes, powertop --auto-tune is in alle gevallen gedraaid en handmatig gekeken of de tunables goed stonden. Ik heb de output van het 8.1 systeem op (een aantal van) bovenstaande terminal commando's vergelijken met een nieuwe verse installe van 7.4. Niet alles was goed te vergelijken aangezien de output te lang was zodat niet alles meer uit de terminal te kopieren was (tips?).

Veel van de output kon ik niet interpreteren. Alleen de output van lspci -vvv is een aantal keer besproken in dit topic, dus daar kon ik chocola van maken. Echter zag ik hier geen noemenswaardige verschillen. Zou iemand met daadwerkelijk verstand van zaken naar mijn outputs kunnen kijken?
https://docs.google.com/d...uVTY0/edit?usp=drive_link
https://drive.google.com/..._Nn7W/view?usp=drive_link
https://drive.google.com/...EGHPG/view?usp=drive_link

Output zijn HTML repporten gegenereerd door Winmerge, beste te openen met je browser.
Andere outputs zijn dus niet compleet. Volgende stap is om 7.4 handmatig te updaten naar 8 en kijken wat dit met het stroomverbruik doet. Wat ik ook nog op de planning heb is een verse debian 12.5 installatie.

edit: Na upgrade van 7.4 naar 8.1 via tteck upgrade script (https://smarthomescene.co...-8-0-without-losing-data/) Maar ik blijf weer steken in C3...

Welke kernel draai je? (uname -a)
En de google drive linkjes zijn niet te openen zonder toegang.

[andru123]

Mich schreef op woensdag 14 februari 2024 @ 08:06:
Je hebt losse m.2 koelers die je gewoon erop kan plaatsen. En als het slot aan de achterkant zit kan je er een dikke thermaal pad op plakken zodat die contact maakt met de behuizing en zo zijn warmte kwijt kan.

tenzij de achterkant ssd net boven VRMs zit, dan wil je dat niet doen Ik zou toch eerste slot proberen, bij mij was er geen verschil in verbruik. @bibi2205

[jaapsander]

jackkiej schreef op woensdag 14 februari 2024 @ 13:58:
[...]

Welke kernel draai je? (uname -a)
En de google drive linkjes zijn niet te openen zonder toegang.

@mrmrmr
https://1drv.ms/u/s!AkecMlPejGPVq2n7OXdb3Sc-d222?e=2vHmFE
https://1drv.ms/u/s!AkecMlPejGPVq2pMEG1WJBZApB6k?e=Fu0mhe
https://1drv.ms/u/s!AkecMlPejGPVq2sEm1JE1-Cp_am2?e=cZHdX2
https://1drv.ms/i/s!AkecMlPejGPVq23x2QUYgaHpBS-N?e=iENtB1
https://1drv.ms/i/s!AkecMlPejGPVq2_YnAtt4h0s4q-N?e=9SfGuE
https://1drv.ms/i/s!AkecMlPejGPVq3F3qW_KiqsDAV2e?e=swhDcQ

Werkt dit wel?

Qua kernel draai ik onder
proxmox 7.4 Kernel Version Linux 5.15.136-1-pve
proxmox 8.1 Kernel Version Linux 6.5.11-6-pve

[jackkiej]

mrmrmr schreef op donderdag 19 oktober 2023 @ 22:43:
[...]


Eerst powertop --auto-tune

Let op de spelling van de parameter. Er moet een streepje tussen "auto" en "tune".

@Mars Warrior Een MSI Pro (AMD platform) bord doet het lang niet zo goed als een Asus verwacht ik. De berekening is een poging "to err on the safe side", dat wil zeggen dat de kans dat het tegenvalt lager is dan de kans dat het meevalt.

Cognitive bias is het probleem bij IT-professionals die voor thuis een server zoeken. Ik heb zelf ook collega's gehad die thuis een rack met afdankers hadden staan waarvan hun vrouw niet wist hoeveel dat kostte aan energie. Tegenwoordig is het 4500 euro voor 300W over een periode van 5 jaar.

Je ethernet controller geeft dit aan:

code:

L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-

Ik denk dat het probleem daar zit, je zou andere drivers kunnen uitproberen. Even zoeken in het topic naar RTL8111/8168/8411 zie je meerdere mensen die dit probleem hebben/hadden.

[mrmrmr]

@jaapsander
Bij lspci zie ik geen grote verschillen, maar het is wel duidelijk dat er andere kernel/driver- of toolversie is gebruikt. Hetzelfde geldt voor lsmod.

Bij powertop zie ik dat C10 wordt bereikt op Proxmox v7.4, maar dat het grootste deel van de tijd in C3 zit. Waarschijnlijk draait er iets. Ik zie geen C state plaatje over Proxmox v8.1.

Het beste is de bronbestanden te delen, ID's zoals MAC adressen kun je vervangen voor privacy. Belangrijk zijn dmesg en de build configuratie van de compiler. o.a. kernel parameters, ook handmatige parameters voor de kernel. Van powertop is interessant welke C states actief zijn. Scroll ook omlaag of maak de Putty window hoger. Kijk of er niets op bad is blijven steken, 'good' is zoals het hoort.

Handig is als je alles in een ZIP bestand stopt.

[jackkiej]

eheijnen schreef op dinsdag 13 februari 2024 @ 15:33:
[...]


met 12.5 is goed en gewoon een console setup / kale install.
En voor de backports repo:
https://backports.debian.org/Instructions/

De vorige Ubuntu zou ik even bewaren kan er misschien vergeleken worden tussen de kernel configs onderling om te zien welke de verschillen zijn tussen die c8 en c10 halen.

Nog even opnieuw ter informatie de build:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 255,46	€ 255,46
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Geheugen intern	Crucial CT2K16G48C40U5	€ 92,15	€ 92,15
1	Voedingen	Corsair RM750e V2	€ 122,90	€ 122,90
1	Solid state drives	Samsung 970 Evo Plus 1TB	€ 84,99	€ 84,99
Bekijk collectie Importeer producten			Totaal	€ 555,50

Debian 12.5 kale install gedaan zonder desktop, heb wel paar dependencies moeten installeren uit testing voor powertop 2.15.

uname -a:

code:

Linux serverjack24 6.1.0-18-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.76-1 (2024-02-01) x86_64 GNU/Linux

Met alleen ethernet aangesloten na powertop --auto-tune (voor autotune was C10 ook al bereikt):

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.2%    1.4 ms  0.0%    0.3 ms
C2 (pc2)    1.1%    |                     | C2_ACPI     0.1%    1.1 ms  0.0%    0.0 ms
C3 (pc3)    0.6%    | C3 (cc3)    0.0%    | C3_ACPI    99.7%  155.0 ms100.0% 1336.9 ms
C6 (pc6)    0.3%    | C6 (cc6)    0.1%    |
C7 (pc7)    0.0%    | C7 (cc7)   98.7%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10) 96.4%    |                     |

Verbruik met ethernet en autotune (cpu fan aan): 4,1W - 4,6W
Verbruik zonder ethernet en autotune (cpu fan aan): 3,9W - 4,1W

Gemeten met EnergySavers Energy Meter (EAN 8717853705083)

Na kernel update uit backports:

uname -a:

code:

Linux serverjack24 6.5.0-0.deb12.4-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.5.10-1~bpo12+1 (2023-11-23) x86_64 GNU/Linux

Met alleen ethernet aangesloten na powertop --auto-tune (voor autotune was C10 ook al bereikt):

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.3%    1.2 ms  0.0%    0.3 ms
C2 (pc2)    1.0%    |                     | C2_ACPI     0.3%    3.3 ms  0.1%    1.1 ms
C3 (pc3)    1.2%    | C3 (cc3)    0.0%    | C3_ACPI    99.3%  110.5 ms 99.8%  119.5 ms
C6 (pc6)    0.7%    | C6 (cc6)    0.4%    |
C7 (pc7)    0.0%    | C7 (cc7)   99.1%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10) 93.6%    |                     |

Verbruik met ethernet en autotune (cpu fan aan): 4,0W - 4,9W (springt wat meer alle kanten op)
Verbruik zonder ethernet en autotune (cpu fan aan): 3,9W - 4,0W

Gemeten met EnergySavers Energy Meter (EAN 8717853705083)

De genoemde waardes zijn hier de waardes die ik het meeste zie, soms is er een uitschieter naar 5+W (zonder ethernet bijna niet), ook de powertop waardes zijn een momentopname natuurlijk, die variëren tussen de 90% en 98%.

Verbruik zou ik naar schatting met 0,5W omlaag kunnen brengen met een PicoPSU (wil ik nog aanschaffen).
Het meten van vebruik zou ik liever ook met een smart stekker gaan doen zodat ik de waardes duidelijker in een grafiek heb, mocht iemand een willen aanraden dan hoor ik het graag, ik zat zelf te denken aan die van HomeWizard.

[ Voor 23% gewijzigd door jackkiej op 14-02-2024 19:17 ]

[jackkiej]

Ik heb ook nog geen poorten disabled op het moederbord, mogelijk valt daar ook nog enkele tienden te halen.

[Church of Noise]

Zo'n homewizard plug heb ik ook, werkt goed. Alternatief is bvb een Shelly Plug S.

[andru123]

jackkiej schreef op woensdag 14 februari 2024 @ 19:16:Nog even opnieuw ter informatie de build:

met picoPSU en goede voeding schat ik -2W besparing.
Smart plug verbruikt zelf ~1.5W, meeste energie zit in het relay, dat moet dicht staan. Tenzij je een smart plug vindt dat allen energie meet en niet als schakelaar werkt.

[jackkiej]

andru123 schreef op woensdag 14 februari 2024 @ 20:19:
[...]
met picoPSU en goede voeding schat ik -2W besparing.
Smart plug verbruikt zelf ~1.5W, meeste energie zit in het relay, dat moet dicht staan. Tenzij je een smart plug vindt dat allen energie meet en niet als schakelaar werkt.

2W besparing? Dat is nogal pittig, met welke zou ik dat halen? Ik keek zelf naar de 160W versie.

[andru123]

jackkiej schreef op woensdag 14 februari 2024 @ 20:27:2W besparing? Dat is nogal pittig, met welke zou ik dat halen? Ik keek zelf naar de 160W versie.

ik vergelijk gewoon naar anderen met dit bord, dat is een schatting natuurlijk elke PicoPSU is zuinig, met goede voeding.

[Mars Warrior]

jackkiej schreef op woensdag 14 februari 2024 @ 20:27:
[...]
2W besparing? Dat is nogal pittig, met welke zou ik dat halen? Ik keek zelf naar de 160W versie.

Het zal wringen worden. De RM550x doet ca 1W minder, en een goede Pico zou hier max nog 1W vanaf kunnen krijgen. Of dat met de 160W versie lukt is de vraag, maar het staat je vrij om dit voor ons te testen

[jackkiej]

Mars Warrior schreef op woensdag 14 februari 2024 @ 20:47:
[...]

Het zal wringen worden. De RM550x doet ca 1W minder, en een goede Pico zou hier max nog 1W vanaf kunnen krijgen. Of dat met de 160W versie lukt is de vraag, maar het staat je vrij om dit voor ons te testen

Ja het liefst heb ik de RM550x, maar die zijn erg schaars momenteel..

[bibi2205]

Mich schreef op woensdag 14 februari 2024 @ 08:06:
[...]


Je hebt losse m.2 koelers die je gewoon erop kan plaatsen. En als het slot aan de achterkant zit kan je er een dikke thermaal pad op plakken zodat die contact maakt met de behuizing en zo zijn warmte kwijt kan.

Het zijn 2 sloten aan de voorkant maar voorlopig heb ik hem dan maar verplaatst naar het bovenste m.2-slot en ik merk inderdaad geen (negatief) verschil in stroomverbruik zoals @andru123 al zei. Voorlopig nog steeds op 'Optimized defaults' in de bios maar intussen toch al gezakt naar 13,1W. SSD temp is trouwens (idle) nog maar 41° dus het ziet er voorlopig goed uit..

Ik ga wat bios-tweaken en cijfertjes verzamelen..

[ Voor 5% gewijzigd door bibi2205 op 14-02-2024 22:15 ]

[Mich]

jackkiej schreef op woensdag 14 februari 2024 @ 19:16:
[...]


Nog even opnieuw ter informatie de build:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 255,46	€ 255,46
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Geheugen intern	Crucial CT2K16G48C40U5	€ 92,15	€ 92,15
1	Voedingen	Corsair RM750e V2	€ 122,90	€ 122,90
1	Solid state drives	Samsung 970 Evo Plus 1TB	€ 84,99	€ 84,99
Bekijk collectie Importeer producten			Totaal	€ 555,50

Debian 12.5 kale install gedaan zonder desktop, heb wel paar dependencies moeten installeren uit testing voor powertop 2.15.

uname -a:

code:

Linux serverjack24 6.1.0-18-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.76-1 (2024-02-01) x86_64 GNU/Linux

Met alleen ethernet aangesloten na powertop --auto-tune (voor autotune was C10 ook al bereikt):

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.2%    1.4 ms  0.0%    0.3 ms
C2 (pc2)    1.1%    |                     | C2_ACPI     0.1%    1.1 ms  0.0%    0.0 ms
C3 (pc3)    0.6%    | C3 (cc3)    0.0%    | C3_ACPI    99.7%  155.0 ms100.0% 1336.9 ms
C6 (pc6)    0.3%    | C6 (cc6)    0.1%    |
C7 (pc7)    0.0%    | C7 (cc7)   98.7%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10) 96.4%    |                     |

Verbruik met ethernet en autotune (cpu fan aan): 4,1W - 4,6W
Verbruik zonder ethernet en autotune (cpu fan aan): 3,9W - 4,1W

Gemeten met EnergySavers Energy Meter (EAN 8717853705083)

Na kernel update uit backports:

uname -a:

code:

Linux serverjack24 6.5.0-0.deb12.4-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.5.10-1~bpo12+1 (2023-11-23) x86_64 GNU/Linux

Met alleen ethernet aangesloten na powertop --auto-tune (voor autotune was C10 ook al bereikt):

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.3%    1.2 ms  0.0%    0.3 ms
C2 (pc2)    1.0%    |                     | C2_ACPI     0.3%    3.3 ms  0.1%    1.1 ms
C3 (pc3)    1.2%    | C3 (cc3)    0.0%    | C3_ACPI    99.3%  110.5 ms 99.8%  119.5 ms
C6 (pc6)    0.7%    | C6 (cc6)    0.4%    |
C7 (pc7)    0.0%    | C7 (cc7)   99.1%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10) 93.6%    |                     |

Verbruik met ethernet en autotune (cpu fan aan): 4,0W - 4,9W (springt wat meer alle kanten op)
Verbruik zonder ethernet en autotune (cpu fan aan): 3,9W - 4,0W

Gemeten met EnergySavers Energy Meter (EAN 8717853705083)

De genoemde waardes zijn hier de waardes die ik het meeste zie, soms is er een uitschieter naar 5+W (zonder ethernet bijna niet), ook de powertop waardes zijn een momentopname natuurlijk, die variëren tussen de 90% en 98%.

Verbruik zou ik naar schatting met 0,5W omlaag kunnen brengen met een PicoPSU (wil ik nog aanschaffen).
Het meten van vebruik zou ik liever ook met een smart stekker gaan doen zodat ik de waardes duidelijker in een grafiek heb, mocht iemand een willen aanraden dan hoor ik het graag, ik zat zelf te denken aan die van HomeWizard.

Ik heb een soort gelijke setup en haal met picopsu +-2.8 tot 3W. Dus je kan er nog iets mee winnen, maar dat iets is toch 25%.

[GoBieN-Be]

jaapsander schreef op woensdag 14 februari 2024 @ 11:22:
[...]

Niet alles was goed te vergelijken aangezien de output te lang was zodat niet alles meer uit de terminal te kopieren was (tips?).

Door te pipen (| operator) naar commando "more" kan je via de ENTER toets lijn per lijn naar beneden zakken na het eerste scherm, of via SPATIE scherm per scherm (zoals page down).

code:

lspci -vvvv | more

Nog makkelijker is misschien de output opslaan (> operator) naar een tekstbestand (je ziet de output dan niet op het scherm trouwens)

code:

lspci -vvvv > output.txt

Je kan dit bestand met WinSCP over kopiëren naar je desktop PC.
Als je met root inlogt zit je trouwens standaard in de /root map te werken. Kan je controleren met commando

code:

pwd

Indien gewenst kan je alsnog de inhoud op het scherm bekijken/controleren via:

code:

cat output.txt

eventueel weer pipen naar more

code:

cat output.txt | more

Een beginnershandleiding linux terminal zal zo'n dingen wel beter uitleggen.

[ Voor 7% gewijzigd door GoBieN-Be op 15-02-2024 00:02 ]

[eheijnen]

jackkiej schreef op woensdag 14 februari 2024 @ 19:16:
[...]
Nog even opnieuw ter informatie de build:

Debian 12.5 kale install gedaan zonder desktop, heb wel paar dependencies moeten installeren uit testing voor powertop 2.15.
....

Klinkt goed zover.
Ik zal zodra ik wat meer tijd heb (weekend) eens naar die kernel configs kijken van die die op C8 blijven hangen en die wel C10 doen of daar een verschil is te vinden.

Die test die jij op Ubuntu hebt gedaan met al die kernel versies, staan al die kernels in de gewone repo?
Heb jij Ubuntu server install gebruikt voor die tests?

[eheijnen]

Om die spikes tegen te gaan kun je CPUFREQD nog eens toevoegen aan die Debian setup. Kan zijn dat die daarmee nog wat rustiger te krijgen is.

In elk geval heb je op deze manier al een goede baseline. Zodra je hardware gaat toevoegen of software installeren kun je direct verschillen aan die zaken toeschrijven en krijg je een wat gecontroleerdere toestand.

[jackkiej]

eheijnen schreef op donderdag 15 februari 2024 @ 09:28:
[...]

Klinkt goed zover.
Ik zal zodra ik wat meer tijd heb (weekend) eens naar die kernel configs kijken van die die op C8 blijven hangen en die wel C10 doen of daar een verschil is te vinden.

Die test die jij op Ubuntu hebt gedaan met al die kernel versies, staan al die kernels in de gewone repo?
Heb jij Ubuntu server install gebruikt voor die tests?

Ik gebruikte https://github.com/pimlie/ubuntu-mainline-kernel.sh om snel en gemakkelijk van kernels te wisselen.

[eheijnen]

jackkiej schreef op donderdag 15 februari 2024 @ 09:36:
[...]

Ik gebruikte https://github.com/pimlie/ubuntu-mainline-kernel.sh om snel en gemakkelijk van kernels te wisselen.

Heb je Ubuntu server gebruikt ?

[jackkiej]

eheijnen schreef op donderdag 15 februari 2024 @ 09:39:
[...]

Heb je Ubuntu server gebruikt ?

Ja Ubuntu Server 22.04.3 LTS

[jackkiej]

eheijnen schreef op donderdag 15 februari 2024 @ 09:35:
Om die spikes tegen te gaan kun je CPUFREQD nog eens toevoegen aan die Debian setup. Kan zijn dat die daarmee nog wat rustiger te krijgen is.

In elk geval heb je op deze manier al een goede baseline. Zodra je hardware gaat toevoegen of software installeren kun je direct verschillen aan die zaken toeschrijven en krijg je een wat gecontroleerdere toestand.

Nu na 13 uur zijn de spikes minder, gemiddeld 4,3W met Ethernet en kernel 6.5.0 (backports)

[eheijnen]

jackkiej schreef op donderdag 15 februari 2024 @ 09:43:
[...]

Nu na 13 uur zijn de spikes minder, gemiddeld 4,3W met Ethernet en kernel 6.5.0 (backports)

Ook al geeft ie spikes wil dat nog niet direct zeggen dat daarmee direct het energieverbruik sterk stijgt.
Dan zul je eens over een dag het verbruik kunnen meten tussen de 6.1 en 6.5. Weet je dat ook alweer.

[andru123]

jackkiej schreef op donderdag 15 februari 2024 @ 09:43:
Nu na 13 uur zijn de spikes minder, gemiddeld 4,3W met Ethernet en kernel 6.5.0 (backports)

vrij goed resultaat voor Rm750e v2. Blijkt wel een zuinige voeding.

[bibi2205]

Pff, er is iets heel raars aan de hand met mijn moederbord.

Enkele dagen geleden in Windows11 tot 14,2W kunnen gaan met 'Optimized defaults' van de bios. Dag later terug opgestart en niet meer onder de 20W geraakt (ook niet met bios tweaks).. Uiteindelijk uit frustratie dan maar met Debian begonnen. Gisteren heel de dag rond de 26W gezeten, uiteindelijk tot 20,8W geraakt maar niet lager. Vandaag start ik hem op en kwam ik op 17,8W. ASPM met het terminal commando gaf de vorige dagen nog bijna 5W verschil, nu 0,5W (17,8 -> 17,3). Daarna powertop --auto-tune gedaan en nu kom ik niet meer onder de 20,2W. Dit is trouwens met enkel netwerk aangesloten, geen HDMI/toetsenbord/muis.

Ik snap er geen **** meer van.. Volgende stap zal bios downgrade worden, misschien heb ik daar meer geluk mee. (Misschien ook niet maar ik weet het even niet meer..)

ASPM enabled met het terminal commando en kernel 6.5.0-0.deb12.4-amd64:

code:

RaptorLake:~$ sudo lspci -vvv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1a.0 PCI bridge: Intel Corporation Device 7a48 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Device 7a38 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1c.2 PCI bridge: Intel Corporation Device 7a3a (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Powertop:

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%
                    |                     | C1_ACPI     0.0%    0.2 ms  0.0%
C2 (pc2)    1.5%    |                     | C2_ACPI     0.1%    1.9 ms  0.1%
C3 (pc3)   75.5%    | C3 (cc3)    0.0%    | C3_ACPI    99.8%  588.7 ms 99.8%  55
C6 (pc6)    0.2%    | C6 (cc6)    0.1%    |
C7 (pc7)    0.0%    | C7 (cc7)   99.7%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10) 20.2%    |                     |

                    |            Core(HW) |            CPU(OS) 2   CPU(OS) 3
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%
                    |                     | C1_ACPI     0.4%    0.4 ms  0.0%
                    |                     | C2_ACPI     0.0%    0.7 ms  0.0%
                    | C3 (cc3)    0.0%    | C3_ACPI    99.5%  399.1 ms100.0%  39
                    | C6 (cc6)    0.0%    |
                    | C7 (cc7)   99.3%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 4   CPU(OS) 5
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%
                    |                     | C1_ACPI     0.0%    0.6 ms  0.4%
                    |                     | C2_ACPI     0.0%    0.0 ms  0.1%
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0%  267.3 ms 99.4%  32
                    | C6 (cc6)    0.1%    |
                    | C7 (cc7)   99.3%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 6   CPU(OS) 7
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%
                    |                     | C1_ACPI     0.0%    0.7 ms  0.0%
                    |                     | C2_ACPI     0.0%    0.9 ms  0.2%
                    | C3 (cc3)    0.0%    | C3_ACPI    99.9%  256.9 ms 99.8%  26
                    | C6 (cc6)    0.0%    |
                    | C7 (cc7)   99.7%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 8   CPU(OS) 9
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%
                    |                     | C1_ACPI     0.0%    0.5 ms  0.0%
                    |                     | C2_ACPI     0.0%    2.0 ms  0.0%
                    | C3 (cc3)    0.0%    | C3_ACPI    99.9%  801.9 ms100.0%  95
                    | C6 (cc6)    0.0%    |
                    | C7 (cc7)   99.9%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 10  CPU(OS) 11
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%
                    |                     | C1_ACPI     0.0%    0.6 ms  0.0%
                    |                     | C2_ACPI     0.0%    0.0 ms  0.0%
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0%  668.4 ms100.0%  87
                    | C6 (cc6)    0.0%    |
                    | C7 (cc7)   99.9%    |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 12
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.6 ms
                    |                     | C2_ACPI     0.0%    0.0 ms
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0%  527.7 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 13
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.6 ms
                    |                     | C2_ACPI     0.0%    0.0 ms
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0%  514.2 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 14
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.7 ms
                    |                     | C2_ACPI     0.0%    0.0 ms
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0%  527.7 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 15
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.5 ms
                    |                     | C2_ACPI     0.0%    0.0 ms
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0%  527.7 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 16
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.5 ms
                    |                     | C2_ACPI     0.0%    0.0 ms
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0%  527.8 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 17
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.6 ms
                    |                     | C2_ACPI     0.0%    0.0 ms
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0%  527.8 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 18
                    |                     | C0 active   0.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1_ACPI     0.0%    0.9 ms
                    |                     | C2_ACPI     0.0%    0.0 ms
                    | C3 (cc3)    0.0%    | C3_ACPI   100.0%  643.1 ms
                    | C6 (cc6)   99.9%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 19
                    |                     | C0 active   0.3%
                    |                     | POLL        0.0%    0.1 ms
                    |                     | C1_ACPI     0.0%    0.0 ms
                    |                     | C2_ACPI     0.5%    1.6 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    98.5%   18.6 ms
                    | C6 (cc6)   98.6%    |
                    | C7 (cc7)    0.0%    |
                    |                     |
                    |                     |
                    |                     |

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |
                    | RC6pp       0.0%    |
                    |                     |

(Huidige CPU governor = powersave)

*edit*
Valt me nu wel op dat ik blijf schommelen rond de 90-100 (of meer) wakeups/second zit voor een kaal Bookworm systeem terwijl ik hier ook vaak +-20 wakeups/second zie..