Het grote zuinige server topic - deel 3

[Priyantha Bleeker]

D43m0n schreef op woensdag 12 oktober 2022 @ 19:27:
[...]


Ik heb deze voeding er bij gekregen:

[Afbeelding]

Ik heb diverse reviews van STH bekeken en de reacties daaronder ook. Dit lijkt me een "betere" voeding dan een "no name" voeding die verschillende STH-ers erbij gekregen hebben. Maar laten we wel wezen, dit is suggestief omdat ik de merknaam LITEON herken van een computercomponent 15 jaar geleden of zo. Het kan net zo goed een "no name" voeding zijn met een LITEON sticker erop... Ik gebruik trouwens een Shelly Plug S om het verbruik te meten (gaat via Home Assistant naar een Grafana dashboard).

Hier zie je het idle verbruik van de afgelopen 2 dagen. Het is geen vlakke grafiek en ik vind 'm zelf grillig maar ik kan me voorstellen dat een kwalitatief goede voeding voor een strakkere lijn zorgt. De voeding zelf voelt koud aan:

[Afbeelding]

En hier zie je het idle verbruik afgewisseld met alle vier de cores op 100%, 1 Samsung 980 NVMe SSD en 1 4GB SODIMM module met 1 actieve netwerkpoort:

[Afbeelding]

Deze componenten heb ik toegevoegd:

#	Category	Product	Prijs	Subtotaal
1	Geheugen intern	Crucial CT4G4SFS8266	€ 17,47	€ 17,47
1	Solid state drives	Samsung 980 250GB	€ 48,09	€ 48,09
			Totaal	€ 65,56

Dit zijn de cijfers/resultaten bij een TopTon mini-PC bij Aliexpress met Intel N5105 CPU. Het kastje heeft exact hetzelfde uiterlijk als wat er bij Aliexpress getoond wordt.

Dit kastje heeft 4 (vier stuks) Intel I225-V (rev 03) NIC's:

code:

02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I225-V (rev 03)
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I225-V (rev 03)
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I225-V (rev 03)
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I225-V (rev 03)

Ik heb ook gelezen dat het wel eens voorkomt dat kopers van dit soort mini-PC's denkt dat er een "Intel Engineering Sample" CPU in zit. Volgens mij heb ik dat niet:

code:

root@TopTon:~# lscpu
Architecture:            x86_64
  CPU op-mode(s):        32-bit, 64-bit
  Address sizes:         39 bits physical, 48 bits virtual
  Byte Order:            Little Endian
CPU(s):                  4
  On-line CPU(s) list:   0-3
Vendor ID:               GenuineIntel
  BIOS Vendor ID:        Intel(R) Corporation
  Model name:            Intel(R) Celeron(R) N5105 @ 2.00GHz
    BIOS Model name:     Intel(R) Celeron(R) N5105 @ 2.00GHz
    CPU family:          6
    Model:               156
    Thread(s) per core:  1
    Core(s) per socket:  4
    Socket(s):           1
    Stepping:            0
    CPU max MHz:         2900.0000
    CPU min MHz:         800.0000
    BogoMIPS:            3993.60
    Flags:               fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc
                          art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf tsc_known_freq pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 sdbg
                          cx16 xtpr pdcm sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave rdrand lahf_lm 3dnowprefetch cpuid_fault epb cat_l2 cdp_l2 ssbd ibrs ibpb 
                         stibp ibrs_enhanced tpr_shadow vnmi flexpriority ept vpid ept_ad fsgsbase tsc_adjust smep erms rdt_a rdseed smap clflushopt clwb intel_pt sha_ni xsaveopt
                          xsavec xgetbv1 xsaves split_lock_detect dtherm ida arat pln pts hwp hwp_notify hwp_act_window hwp_epp hwp_pkg_req umip waitpkg gfni rdpid movdiri movdir
                         64b md_clear flush_l1d arch_capabilities
Virtualization features: 
  Virtualization:        VT-x
Caches (sum of all):     
  L1d:                   128 KiB (4 instances)
  L1i:                   128 KiB (4 instances)
  L2:                    1.5 MiB (1 instance)
  L3:                    4 MiB (1 instance)
Vulnerabilities:         
  Itlb multihit:         Not affected
  L1tf:                  Not affected
  Mds:                   Not affected
  Meltdown:              Not affected
  Mmio stale data:       Vulnerable: Clear CPU buffers attempted, no microcode; SMT disabled
  Retbleed:              Not affected
  Spec store bypass:     Mitigation; Speculative Store Bypass disabled via prctl and seccomp
  Spectre v1:            Mitigation; usercopy/swapgs barriers and __user pointer sanitization
  Spectre v2:            Mitigation; Enhanced IBRS, IBPB conditional, RSB filling, PBRSB-eIBRS Not affected
  Srbds:                 Vulnerable: No microcode
  Tsx async abort:       Not affected

Hi,

Zie jij kans om eens te kijken wat jij in je BIOS hebt ingesteld qua instellingen? En dat zou kunnen delen?
Ik heb een vergelijkbaar apparaatje gekocht, maar dan met de i226-V i.p.v. de i225-V.

Als ik

code:

powertop --auto-tune

uitvoer dan gaat die hangen op een gegeven moment, geen idee nog waarom precies, dat zal ik een aparte reply even toelichten met foto's.

Het verbruik wat ik krijg zit ook niet echt in de buurt, ik zit idle op zo'n 7 a 8 watt volgens een Shelly Plug S(is natuurlijk niet het meest nauwkeurig dat snap ik)

[campr112]

Ik heb net het N6005 powered NAS-moederbord (https://nl.aliexpress.com/item/1005004761498719.html en andere resellers) aangeschaft. Kost ongeveer $ 300 (minder met kortingen)


Het is een bordje met 6xSATA, 2xNVME en 4x 2.5Gbit i226-V (niet de eerdere i225-V die niet zo goed was met UDP)

Een paar snelle conclusies na het installeren van Debian:

1. 64Gbytes wordt NIET ondersteund, 'slechts' 32Gbytes, ja, ik heb dit getest met daadwerkelijke DIMMS, niet alleen gekeken naar de processorspecificaties.
2. De SATA-poorten zijn 'raar', één is aangesloten op PCIe (Intel), de andere 5 gebruiken een JMB585-controller, dus de doorvoer is beperkt, vooral in RAID-sets. De Jmicron JMB58x-controller is ook 'beperkt' in bandbreedte tot 1Gbyte/sec: LnkSta: Snelheid 8GT/s (ok), Breedte x1 (gedowngraded) De eigenlijke chip ondersteunt x2 PCIe-lanes: PCIe Gen3 x2 naar x5 SATA 6Gb/s
3. De heatsink is onvoldoende om alle cores 100% van de tijd op 3,3 Ghz te laten draaien, het 'settelt' naar ongeveer 2,4 Ghz voor alle cores (of is dit onderdeel van de p-state instellingen en kan het worden afgesteld?)
4. De 24+4-pins ATX-connector, je moet de +4pin van stroom voorzien met 12V, anders start hij niet op.
5. Van de 6 geadverteerde USB-poorten zijn 2x 2.0 (intern op het moederbord voor boot-USB-sticks), 2x 3.0 (externe connector) en 2x zijn pin-headers, geen header->poortkabel meegeleverd.
6. ATX-backplate niet inbegrepen.:-(
7. De m.2 NVME-poorten zijn PCIe 3.0 x1, dus slechts ~1Gbyte/sec.
8. Tot nu toe geen problemen met de Intel 226-chips, ze draaien goed op 1Gbit, niet op 2,5Gbit (nog geen 2.5Gbit-switch). Ik gebruik er nu 3.
9. Met 32Gbytes en een 970EVOPlus 2Tbyte en een PicoPSU 120, gebruik ik ongeveer 9-10W inactief. Draait ~ 25 W bij volledige CPU-belasting (4 cores). Gemeten op mijn labvoeding (moet nog een 'nette' voeding en kast regelen/printen).
10.De CPU ondersteunt de i915 'interface', dus mogelijk met Plex voor hercodering. Je moet wel even wat 'tweaken' in de kernel configuratie files (geen compilatie nodig).

De theoretische opslagsnelheid is dus 'slechts' 1Gbyte/sec voor elk van de NVME-schijven, ~600Mbyte/sec voor één SATA-poort en 1Gbyte/sec voor de andere 5 SATA-poorten. Aan de netwerkkant hebben we 4x2.5Gbit ethernet, dus ook rond de 1Gbyte/sec totaal.

Al-met-al een geinig bordje, een _zeer_ goed alternatief voor een Raspberry Pi, maar ook een stuk duurder (maar wel verkrijgbaar).

Wat ga ik er mee doen? Docker containers voor radarr, sonarr, plex en aanverwante, een kleine wordpress site (mysql php, apache), nginx proxy, firewall, node-red, influxdb en nog wat andere dingetjes, niet super-zwaar, maar net iets teveel voor een Raspberry Pi, en zelfs mijn Zimaboard begon een beetje te 'kraken'

[ Voor 6% gewijzigd door campr112 op 03-11-2022 10:22 ]

[stormfly]

RobertMe schreef op dinsdag 22 november 2022 @ 19:44:
[...]

Router verhaaltje heb ik in eerste instantie vorige week ook naar gekeken. Heb nu een Unifi Security Gateway, geen idee wat die verbruikt. Maar is al een ouder beestje en krijgt al tijden geen updates meer en eigenlijk wil ik er ook mee dan het ding kan. Alleen heb ik mij nog niet echt verdiept in custom firewall verhaal (wel al eens OpenWRT gedraaid op standaard routers). Twijfels over wat ik dan wil gaan draaien (*Sense vs OpenWRT vs IPFire meen ik dat het heet vs custom Linux oplossing) in combinatie met mijn wensen eisen (inclusief VPN server & client, PiHole, etc dat nu nog op "grote systeem" draait) hebben mij er van doen afzien om alsnog met singles day korting het hier eerder benoemde Topton systeem te kopen.

[i]Maar[/s] heb je een linkje naar het systeem uit jouw screenshot? Volgens mij is dat niet het Topton systeem maar weer een ander?

Ik draai nu al pfSense en dat is niet per definitie het meest zuinige OS, maar in die config zit alles wat ik wil. Heb ooit pfSense omgezet naar hun nieuwe filesysteem, en alles zit in de backupfile. Mijn idee is ook om mijn huidige config in te laden op het nieuwe systeem.

Omdat je ook in de markt bent deel ik even mijn bevindingen, in het zelfbouw topic ging het ook al over het topton systeem. Maar dan het vierkante doosje, volgens de fabrikant koelt die wat minder goed (minder oppervlakte) en de variant van mijn screenshot heeft meer oppervlakte.

Als je dan de reviews leest dan is deze variant de verbeterde versie. Ik herken hem aan de USB-C poort, de componenten zijn beter verdeeld waardoor je minder hitte "ophoping" hebt, wat meer gaten in de onderzijde. Kortom beter over nagedacht.

De I226-V nic is pas vanaf pfsense Q1 2023 ondersteund, nog een reden om via proxmox te virtualiseren en zo de kracht van het systeem beter uit te nutten, en meer oude zaken uit te schakelen.

Hier
One major change for V4 was the NICs. The NICs in this system are Intel i226-V NICs. The previous generations were Intel i225, although in the video, we have the V4 motherboard with i225 NICs as well. One of the big changes with V4 is moving the NICs to the other side of the motherboard. In previous generations, the four NICs would be next to the RJ45 ports on the same side as the SSD and memory.

PS: deze NvME 1TB SSD (blackfriday prijs) komt erin. Bewust niet voor de pro variant gekozen ivm verbruik.

[ Voor 13% gewijzigd door stormfly op 22-11-2022 20:03 ]

[stormfly]

Priyantha Bleeker schreef op vrijdag 21 oktober 2022 @ 13:50:
[...]


Hi,

Zie jij kans om eens te kijken wat jij in je BIOS hebt ingesteld qua instellingen? En dat zou kunnen delen?
Ik heb een vergelijkbaar apparaatje gekocht, maar dan met de i226-V i.p.v. de i225-V.

Als ik

code:

powertop --auto-tune

uitvoer dan gaat die hangen op een gegeven moment, geen idee nog waarom precies, dat zal ik een aparte reply even toelichten met foto's.

Het verbruik wat ik krijg zit ook niet echt in de buurt, ik zit idle op zo'n 7 a 8 watt volgens een Shelly Plug S(is natuurlijk niet het meest nauwkeurig dat snap ik)

Ben jij erachter waarom het hangen onstaat, ik heb hetzelfde. Topton N5105 met i226-V.

Ik ben van plan om het per regel te gaan testen vanuit de powertop html, als jij de oplossing al weet kan je hem mogelijk delen?

[shades684]

stormfly schreef op woensdag 21 december 2022 @ 17:23:
[...]


Ben jij erachter waarom het hangen onstaat, ik heb hetzelfde. Topton N5105 met i226-V.

Ik ben van plan om het per regel te gaan testen vanuit de powertop html, als jij de oplossing al weet kan je hem mogelijk delen?

De mijne komt ieder moment binnen, hoeveel en wat voor geheugen heb je erin gedaan? Ik lees in de specs van intel dat 16Gb de max is, maar op het forum van servethehome zie ik mensen er ook meer in doen. Volgens aliexpress zelf is 32Gb gewoon mogelijk.

[FDMK]

andru123 schreef op vrijdag 27 januari 2023 @ 15:50:

@FDMK voor een celeron beetje te hoog. Probeer eens zonder 3,5 HDDs - powertop van mrmrmr doet wonderen

code:

>> Bad           Enable SATA link power management for host6                                                            
   Bad           Enable SATA link power management for host7
   Bad           Enable SATA link power management for host5
   Bad           Enable SATA link power management for host3
   Bad           Enable SATA link power management for host1
   Bad           Enable SATA link power management for host4
   Bad           Enable SATA link power management for host2
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V

Dit zijn de enige die nog op 'bad' staan maar systeem crasht op het moment dat ik die tune. Voor die SATA entries klopt dat want die controller** gaat slecht op die tune. Ik ga nog wel testen zonder die HDD's maar die gaan gewoon netjes in spindown.

**

[ Voor 10% gewijzigd door FDMK op 27-01-2023 15:59 ]

[mrmrmr]

@Mich
Dit werkt nu in ieder geval:
[ 1.388568] i915 0000:00:02.0: firmware: direct-loading firmware i915/adls_dmc_ver2_01.bin

Als je Putty gebruikt kun je de window dynamisch vergroten met je muis. Het kan ook via instellingen bij de meeste terminal programma's.

100% usage is normaal voor sommige onderdelen.

Package C3 ligt doorgaans aan een onderdeel of BIOS (ACPI tabellen) dat zegt niet aan ASPM te doen. Een pcie onderdeel. Dat is soms te zien in de lspci output. Probeer voor de test zo kaal mogelijk te starten. Bijvoorbeeld vanaf een SATA SSD.

Het in de BIOS uitzetten van de i226 zou ik nog niet doen. Soms kan dat juist tot een hoger verbruik leiden.

Alles tot zover staat op 'good', maar is dat nog zo met i226 actief en powertop 2.15?

Edit:

lspci opmerkingen:

Zowel bij i226-V als bij Samsung Electronics Co Ltd NVMe SSD Controller PM9A1/PM9A3/980PRO staat ASPM uit.

Samsung NVMe
Capabilities: [21c v1] L1 PM Substates
L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
PortCommonModeRestoreTime=10us PortTPowerOnTime=10us
L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
T_CommonMode=0us LTR1.2_Threshold=30720ns

i226-V
Capabilities: [1e0 v1] L1 PM Substates
L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
T_CommonMode=0us LTR1.2_Threshold=138240ns

Dit interpreteer ik als dat er wel ASPM L1.1 en L1.2 capability is, maar de L1 control die uitschakelt. Dat zijn de minnetjes achter de PM (power management) opties.

Je kan proberen het aanzetten van ASPM te forceren. Dat is een workaround, geen definitieve oplossing:
https://askubuntu.com/que...-force-to-my-boot-options

Grub moet worden geupdate na zo'n wijziging, anders is het na een wijziging nog niet actief. Herstarten is nodig.

Edit2
Dit zijn flags voor de hardware modes, die staan allemaal uit bij de Samsung NVMe:
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)

Overzicht:
Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=375mA PME(D0-,D1-,D2-,D3hot+,D3cold+)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot+,D3cold-)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)

Plusjes zijn goed. Alleen minnetjes is soms niet goed. De 375mA is voor het USB subsysteem (max. 1,88W).

Je kunt beter geen USB3 stick gebruiken en beter geen gaming muis. Microsoft toetsenbord is goed. Het zuinigste is als USB stekkers in USB2 slots zitten.

[ Voor 69% gewijzigd door mrmrmr op 28-01-2023 17:53 ]

[Mich]

mrmrmr schreef op zaterdag 28 januari 2023 @ 17:14:
@Mich
Dit werkt nu in ieder geval:
[ 1.388568] i915 0000:00:02.0: firmware: direct-loading firmware i915/adls_dmc_ver2_01.bin

Als je Putty gebruikt kun je de window dynamisch vergroten met je muis. Het kan ook via instellingen bij de meeste terminal programma's.

100% usage is normaal voor sommige onderdelen.

Package C3 ligt doorgaans aan een onderdeel of BIOS (ACPI tabellen) dat zegt niet aan ASPM te doen. Een pcie onderdeel. Dat is soms te zien in de lspci output. Probeer voor de test zo kaal mogelijk te starten. Bijvoorbeeld vanaf een SATA SSD.

Het in de BIOS uitzetten van de i226 zou ik nog niet doen. Soms kan dat juist tot een hoger verbruik leiden.

Alles tot zover staat op 'good', maar is dat nog zo met i226 actief en powertop 2.15?

Edit:

lspci opmerkingen:

Zowel bij i226-V als bij Samsung Electronics Co Ltd NVMe SSD Controller PM9A1/PM9A3/980PRO staat ASPM uit.

Samsung NVMe
Capabilities: [21c v1] L1 PM Substates
L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
PortCommonModeRestoreTime=10us PortTPowerOnTime=10us
L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
T_CommonMode=0us LTR1.2_Threshold=30720ns

i226-V
Capabilities: [1e0 v1] L1 PM Substates
L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
T_CommonMode=0us LTR1.2_Threshold=138240ns

Dit interpreteer ik als dat er wel ASPM L1.1 en L1.2 capability is, maar de L1 control die uitschakelt. Dat zijn de minnetjes achter de PM (power management) opties.

Je kan proberen het aanzetten van ASPM te forceren. Dat is een workaround, geen definitieve oplossing:
https://askubuntu.com/que...-force-to-my-boot-options

Grub moet worden geupdate na zo'n wijziging, anders is het na een wijziging nog niet actief. Herstarten is nodig.

Edit2
Dit zijn flags voor de hardware modes, die staan allemaal uit bij de Samsung NVMe:
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)

Overzicht:
Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=375mA PME(D0-,D1-,D2-,D3hot+,D3cold+)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot+,D3cold-)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)

Plusjes zijn goed. Alleen minnetjes is soms niet goed. De 375mA is voor het USB subsysteem (max. 1,88W).

Je kunt beter geen USB3 stick gebruiken en beter geen gaming muis. Microsoft toetsenbord is goed. Het zuinigste is als USB stekkers in USB2 slots zitten.

Thanks voor alle info! Ik snap nu ook zelf hoe ik kan opzoeken of de zuinige modus aan gaan of niet. Ik heb in de BIOS ook nog zitten rommelen rond alle instellingen van ASPM en PCI enzo maar niets hielp nog. De Samsung 980 pro zelf kan eigenlijk het probleem niet zijn. Er zijn hier andere zuinige servers die ook deze SSD hebben. ASPM forceren mocht niet baten. Ik denk toch dat het moederboord zelf het probleem is. De ASRock Z590 zat al rond de 8 a 9W idle en de Z690 en Z790 lijken rond de 10 a 11W te zitten. Ook de i226 zit in veel Chinese zuinige servers dus die zouden eigenlijk ook goed ondersteund moeten worden.

Ik ga voor de zekerheid nog een ander moederboord proberen. Kijken hoe dat uitpakt.

[andru123]

mrmrmr schreef op zaterdag 28 januari 2023 @ 17:14:
lspci opmerkingen:

Zowel bij i226-V als bij Samsung Electronics Co Ltd NVMe SSD Controller PM9A1/PM9A3/980PRO staat ASPM uit.

Samsung NVMe
Capabilities: [21c v1] L1 PM Substates
L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
PortCommonModeRestoreTime=10us PortTPowerOnTime=10us
L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
T_CommonMode=0us LTR1.2_Threshold=30720ns

i226-V
Capabilities: [1e0 v1] L1 PM Substates
L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
T_CommonMode=0us LTR1.2_Threshold=138240ns

Dit interpreteer ik als dat er wel ASPM L1.1 en L1.2 capability is, maar de L1 control die uitschakelt. Dat zijn de minnetjes achter de PM (power management) opties.

Je kan proberen het aanzetten van ASPM te forceren.

Dit zijn flags voor de hardware modes, die staan allemaal uit bij de Samsung NVMe:
Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
Plusjes zijn goed. Alleen minnetjes is soms niet goed. De 375mA is voor het USB subsysteem (max. 1,88W).

Ik heb dit op mijn systeem uitprobeerd. Helaas geen impact op verbruik - blijft op 5.5W idle.

Bij mij staat:

code:

Subsystem: Samsung Electronics Co Ltd NVMe SSD Controller PM9A1/PM9A3/980PRO [144d:a801]
    Capabilities: [40] Power Management version 3
        Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
        Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        LnkCap: Port #0, Speed 16GT/s, Width x4, [b]ASPM L1[/b], Exit Latency L1 <64us
            ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
            ExtSynch- ClockPM+ AutWidDis- BWInt- AutBWInt-
    Capabilities: [21c v1] L1 PM Substates
        L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
              PortCommonModeRestoreTime=10us PortTPowerOnTime=10us
        L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+
               T_CommonMode=0us LTR1.2_Threshold=98304ns
        L1SubCtl2: T_PwrOn=42us

Ethernet controller [0200]: Intel Corporation Ethernet Controller I225-V [8086:15f3] (rev 03)
    Capabilities: [40] Power Management version 3
        Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
        Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
            ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
            ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
    Capabilities: [1e0 v1] L1 PM Substates
        L1SubCap: PCI-PM_L1.2- PCI-PM_L1.1+ ASPM_L1.2- ASPM_L1.1+ L1_PM_Substates+
        L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1+ ASPM_L1.2- ASPM_L1.1+
        L1SubCtl2:
    Kernel driver in use: igc

Er zijn ook 3(!) PCI Bridges met L1.1 of L1.2.

[Mich]

Het is in linux (debian) ook gelukt mijn hoge verbruik vanwege het insteken van de netwerkkabel te verminderen.

code:

sudo ethtool --show-eee enp4s0
sudo ethtool --set-eee enp4s0 eee on

Met het eerste commando kwam ik erachter dat hier ook EEE (Energy-Efficient Ethernet) uit stond voor mijn netwerkkaart (I226-V). Met het 2e commando kon ik dit aanzetten. enp4s0 is Hierin mijn netwerkkaart, die kan voor iedereen anders heten.

Hierna was mijn verbruik met powertop als volgt:

Met muis, toetsenbord en monitor: 8.1W
Zonder deze dingen: 4.7W

Ik ben zeer tevreden met dit resultaat. Nu nog kijken of het nog lager kan.

[Mich]

Hierbij een opssomming van mijn systeem met de prestaties die ik afgelopen tijd gemeten heb.

Het gaat om deze hardware:

#	Category	Product	Prijs	Subtotaal
1	Moederborden	ASUS ROG Strix B760-I GAMING WIFI	€ 249,-	€ 249,-
1	Processors	Intel Core i5-13500 Boxed	€ 264,97	€ 264,97
1	Geheugen intern	Corsair Vengeance CMK32GX5M2B5600C36	€ 144,90	€ 144,90
1	Solid state drives	Samsung 980 Pro (zonder heatsink) 1TB	€ 102,90	€ 102,90
1	Voedingen	Mini-box picoPSU PicoPSU-160-XT	€ 51,85	€ 51,85
1	Computer accessoires	Leicke ULL power supply 150W	€ 50,69	€ 50,69
1	Processorkoeling	Noctua NH-L9i-17xx chromax.black	€ 54,90	€ 54,90
1	Behuizingen	Silverstone Milo 10	€ 69,90	€ 69,90

Dit zijn uiteindelijk de beste metingen die ik heb gehaald. In windows is dit met power savings aan en verder niet zoveel extra tweaks. Wel alle drivers ge-update naar laatste beschikbare versie. In linux is dit met powertop en ondrstaand commando omdat mijn netwerkkaart niet in power save mode wilde gaan.

code:

sudo ethtool --show-eee enp4s0
sudo ethtool --set-eee enp4s0 eee on

Mijn netwerkkaart is een intel I226-V. Of het probleem in de linux driver zit of aan de switch waarop ik aangesloten zit weet ik niet precies. Het aanzetten van EEE (Energy-Efficient Ethernet) scheelde uiteindelijk 3.5W op het totaal verbruik en zorgde ervoor dat het heel systeem in diepere slaap mode ging.

In de bios heb ik alle power save opties aangezet en wifi / sound uitgezet.

	Windows	Linux
Alles aangesloten:	8.5 W	8.1 W
Aleen LAN	6.5 W	4.7 W

Zonder LAN aangesloten daalt het verbruik in Linux tot 3.5W Met de pc uit (via de knop) is het verbruik toch nog 1.8W.


In windows heb ik nog wat lopen testen in Cinebench r23 met de PL1 en PL2 instellingen.

Dit zijn mijn metingen waarbij PL1 altijd gelijk is PL2. De waarde in kolom power is gemeten bij het stopcontact.

PL1,PL2	multi power	multi score	multi GHZ	single power	single score	single GHZ
65W	98W	15111	2.95	52W	1862	4.76
48W	75W	12860	2.5	52W	1859	4.76
power mode disabeld	65W	11195	2.22	22W	964	2.50

Uiteindelijk heb ik PL1 en PL2 op 45W ingesteld. Dit is het vermogen waarbij de single core op zijn maximale waarde zat.

Ik heb nog 3 plaatjes gemaakt van de instellingen die ten opzichte van de default instellingen zijn aangepast. Eigenlijk moet je het in de plaatjes andersom lezen. De rechter instelling is default en de linker instelling is door mij aangepast. Dus DMI Gen3 ASMP staat nu op ASPM L1 en standaard op disabled







Nu moet ik alleen nog op zoek naar een zuinige netwerkkaart om bij te plaatsen, dan kan hij ook gaan fungeren als router. Mijn nieuwe uitdaging wordt om proxmox te installeren en werkend te maken. Ik kan nu al concluderen dat het installeren moeizaam is omdat de iGPU niet wordt herkend tijdens de installatie. De work arounds lijken ook niet te helpen bij mij.

[ Voor 3% gewijzigd door Mich op 09-02-2023 10:38 ]

[Mich]

mrmrmr schreef op donderdag 9 maart 2023 @ 21:51:
[...]


Het belangrijkste besparing zit hem in wat het moederbord doet vermoed ik. Package C8 en C10 lijken veel op elkaar. C6 is wel te laag voor moderne platforms. Heel vaak zijn pcie onderdelen de oorzaak van een lage package C state. Van alles en nog wat is gekoppeld aan pcie (lspci -vv).

Het probleem is dat ik voor 99% zeker weet dat de netwerk kaart (I226-v) het probleem is. In Linux zijn er voor zover ik kon vinden nog geen drivers die hem ondersteunen. Als ik de netwerkkaart instel op 100Mbit gaat mijn cpu is C8-state. Stel ik hem in op auto (1000Mbit) gaat hij naar C6. Zonder kabel haal ik dus C10.

@andru123 heeft een nagenoeg zelfde moederboord alleen met een i225-V netwerkkaart. Hij haalt met kabel en al wel C8. De i226 is eigenlijk de i225 rev.4 Echter had de i225 een slechte naam gekregen door de vele problemen. In windows wordt de i226 wel goed ondersteund maar ook daar kom ik niet lager dan C6.

[latka]

Mich schreef op vrijdag 10 maart 2023 @ 12:52:
[...]


Het probleem is dat ik voor 99% zeker weet dat de netwerk kaart (I226-v) het probleem is.

Wellicht speelt: https://www.guru3d.com/ne...ues-by-disabling-eee.html mee

Eee zou, denk ik, niet met c-states moeten spelen, maar wellicht is er meer aan de hand. Daarbij: igb of igc is toch gewoon de Linux driver voor alle intel nics van de afgelopen jaren. Ik weet dat bsd (pfsense) wat outdated driver issues had, maar een moderne Linux kernel ondersteunt toch de i226?

[mrmrmr]

XyRuS schreef op maandag 12 juni 2023 @ 22:57:

Ik heb getest met 6.1.27-1 en omdat daar het stroom verbruik nog hoog is, en ik later proxmox wil draaien, heb ik ook de proxmox kernel getest 6.2.16-1-pve met hetzelfde stroom verbruik al resultaat.

Om 6.4 te draaien moet ik die denk ik zelf compileren vermoed ik? Dat ga ik onderzoeken of dat verschil maakt.

Ja, je hebt de allerlaatste kernel nodig voor de laatste support van nieuwe processoren. ACPI_C3 toont powertop als die de nieuwe processor nog niet kent. Maar het betekent niet dat cores niet in C8 of C10 draaien. Het is dan alleen een weergave probleem.

Package C2/C3 is een probleem. Meestal doordat een onderdeel ASPM niet of niet volledig wordt ondersteund.

CPU govenor zojuist ingesteld op powersave met cpupower frequency-set -g powersave en ik zie nu wel een paar cores terug klokken naar 800 mhz. Ongeveer 1 watt winst

800 MHz is standaard idle voor veel processors.

Riptide een overklokkers/gamers bord, die is niet gemaakt om zuinig te zijn.

Zet het geheugen in SPD standaard waarde, geen XMP. Dat kan tamelijk laag uitvallen, maar voor de test kun je dit doen. Gebruik geen BCLK overklok of andere overklok.

Test in standaard configuratie (ssd, netwerk, bedraad toetsenbord/muis, monitor in slaapstand, zie topic start). Zonder extra's zoals hard disks, USB devices e.d.

Verwijder eventueel een aanwezige WiFi module.

Intel Turbo Boost Technology: disabled
Intel Turbo Boost Max Technology 3.0: test disabled
PL1/PL2 beperken
CPU C States Support: enabled
Enhanced Halt State (C1E): enabled
CPU C6 State Support: enabled
CPU C7 State Support: enabled
Package C State Support: enabled
C6DRAM: enabled (test)
C.A.M (Clever Access Memory): disabled (test)
DMI Link Speed: Gen3
PCIE1/2/3/ Link Speed: Gen3 als het in gebruik is, anders auto
PCI Express Native Control: enabled
PCIE ASPM Support: L0sL1
PCH PCIE ASPM Support: Auto (test: L1)
DMI ASPM Support: enabled
PCH DMI ASPM Support: enabled
Realtek RTL8125BG: disabled
Intel(R) Ethernet Connection I219-V: enabled
Intel(R) Ethernet Connection I226-V: enabled (of disabled als I219-V al aan staat)
Killer E3100G: disabled
Onboard HD Audio: auto
Front Panel: HD
Onboard WAN Device: disabled


SATA Mode Selection: AHCI (geen RAID)
SATA Aggressive Link Power Management: enabled
Discrete Thunderbolt(TM) Support: disabled
PS2 Y-Cable: auto
PCIE Devices Power On: disabled

RTC Alarm Power On: disabled
USB Keyboard/Remote Power On: enabled (om iets te hebben om een machine uit slaapstand te krijgen)
USB Mouse Power On: disabled
Legacy USB Support: auto
XHCI Hand-off: disabled (probeer auto)
Auto Driver Installer: disabled (Windows)

Zijn er fans aangesloten? Ontkoppel die behalve de fan voor de processor.

ASPM:
NVMe SSD Controller 980: L1 PM substates zijn allemaal uitgeschakeld.
NVMe SSD Controller SM981/PM981/PM983: L1 PM substates zijn allemaal uitgeschakeld.
RTL8125 2.5GbE Controller: L1 PM substates zijn allemaal uitgeschakeld.

Dat is waarschijnlijk de oorzaak voor Package C3.

Probeer 1 SSD in apart in elk een van de twee slots. Soms is een tweede M.2 slot niet in staat om ASPM volledig te ondersteunen. Gebruik voor de test de Realtek netwerkaansluiting niet.

Gebruik een eventueel aanwezige Intel NIC.

Maar dan nog denk ik dat je niet zo hoog zou moeten meten. Kijk je naar het VA verbruik of naar het netto verbruik na power factor correctie?

[XyRuS]

gekkie schreef op maandag 12 juni 2023 @ 22:41:
[...]

Nieuwere kernel (je hebt immers een aardig nieuwe CPU, 6.4 komt al bijna weer uit), stock debian 12 zal wel de 6.1 LTS kernel hebben.

mrmrmr schreef op dinsdag 13 juni 2023 @ 00:30:
Ja, je hebt de allerlaatste kernel nodig voor de laatste support van nieuwe processoren. ACPI_C3 toont powertop als die de nieuwe processor nog niet kent. Maar het betekent niet dat cores niet in C8 of C10 draaien. Het is dan alleen een weergave probleem.

N8w8 schreef op dinsdag 13 juni 2023 @ 01:06:
@XyRuS, Siduction heeft nieuwere kernels, die heb ik ooit wel met succes gebruikt icm Debian.
Hier kan je debs ervan downloaden, o.a. Linux 6.4-rc5 zie ik.
Of je kan mss "deb https://packages.siduction.org/extra unstable main" toevoegen aan je sources.list.

Overigens heeft Debian zelf (naast stable/testing/unstable) nog een "experimental" suite, daarin kan je Linux 6.3.5 vinden, zie hier.

Vanuit de debian experimental repo heb ik 6.3.0-0-amd64 geinstalleerd, maakt geen verschil. Daarna 6.4.0-rc6-siduction-amd64 helaas ook zonder resultaat.

andru123 schreef op maandag 12 juni 2023 @ 23:38:
Ik zou proberen Turbo Boost en Thermal voltage optimizations uitzetten, en ook RTC wake up.
En ook misschien proberen netwerk helemaal uitzetten in bios?

Thermal boost, thermal voltage, audio en netwerk chip uitgeschakeld in bios maar geen verbetering in package state.

mrmrmr schreef op dinsdag 13 juni 2023 @ 00:30:
Zet het geheugen in SPD standaard waarde, geen XMP. Dat kan tamelijk laag uitvallen, maar voor de test kun je dit doen. Gebruik geen BCLK overklok of andere overklok.

Test in standaard configuratie (ssd, netwerk, bedraad toetsenbord/muis, monitor in slaapstand, zie topic start). Zonder extra's zoals hard disks, USB devices e.d.

Verwijder eventueel een aanwezige WiFi module.

Heb geen overclock profiel geladen, geheugen draait op standaard snelheid. Heb getest met zo min mogelijk devices en nu ook met netwerk en audio uitgeschakeld in bios. Ook al geprobeerd zonder monitor, toetsenbord of usb sticks aangesloten en via putty ingelogd. Wifi zit niet op het bord.

mrmrmr schreef op dinsdag 13 juni 2023 @ 00:30:
ASPM:
NVMe SSD Controller 980: L1 PM substates zijn allemaal uitgeschakeld.
NVMe SSD Controller SM981/PM981/PM983: L1 PM substates zijn allemaal uitgeschakeld.
RTL8125 2.5GbE Controller: L1 PM substates zijn allemaal uitgeschakeld.

Dat is waarschijnlijk de oorzaak voor Package C3.

Probeer 1 SSD in apart in elk een van de twee slots. Soms is een tweede M.2 slot niet in staat om ASPM volledig te ondersteunen. Gebruik voor de test de Realtek netwerkaansluiting niet.

Gebruik een eventueel aanwezige Intel NIC.

Maar dan nog denk ik dat je niet zo hoog zou moeten meten. Kijk je naar het VA verbruik of naar het netto verbruik na power factor correctie?

Ik kan zo alle NVME's eruit halen en booten naar een ubuntu live omgeving. Dat zou de disks kunnen uitsluiten. Zoals gezegd heb ik de netwerk chip al uitgeschakeld, maar eventueel heb ik nog wel een Intel pci-e nic liggen.

Ik meet het verbruik naar de PF correctie. Ik kan het ook terug zien in de slimme meter. Sluipverbruik is snachts 160 watt maar met de server aan is de bodem vannacht 190 watt geweest.

mrmrmr schreef op dinsdag 13 juni 2023 @ 00:30:
Intel Turbo Boost Technology: disabled
Intel Turbo Boost Max Technology 3.0: test disabled
PL1/PL2 beperken
CPU C States Support: enabled
Enhanced Halt State (C1E): enabled
CPU C6 State Support: enabled
CPU C7 State Support: enabled
Package C State Support: enabled
C6DRAM: enabled (test)
C.A.M (Clever Access Memory): disabled (test)
DMI Link Speed: Gen3
PCIE1/2/3/ Link Speed: Gen3 als het in gebruik is, anders auto
PCI Express Native Control: enabled
PCIE ASPM Support: L0sL1
PCH PCIE ASPM Support: Auto (test: L1)
DMI ASPM Support: enabled
PCH DMI ASPM Support: enabled
Realtek RTL8125BG: disabled
Intel(R) Ethernet Connection I219-V: enabled
Intel(R) Ethernet Connection I226-V: enabled (of disabled als I219-V al aan staat)
Killer E3100G: disabled
Onboard HD Audio: auto
Front Panel: HD
Onboard WAN Device: disabled


SATA Mode Selection: AHCI (geen RAID)
SATA Aggressive Link Power Management: enabled
Discrete Thunderbolt(TM) Support: disabled
PS2 Y-Cable: auto
PCIE Devices Power On: disabled

RTC Alarm Power On: disabled
USB Keyboard/Remote Power On: enabled (om iets te hebben om een machine uit slaapstand te krijgen)
USB Mouse Power On: disabled
Legacy USB Support: auto
XHCI Hand-off: disabled (probeer auto)
Auto Driver Installer: disabled (Windows)

Voor zover mijn bios overeenkomt alle instellingen overgenomen, helaas nog niet.

mrmrmr schreef op dinsdag 13 juni 2023 @ 08:52:
[...]


Het meest voor de hand liggende vergeet ik nog: de firmware-non-free packages installeren, en het uitschakelen van de monitor met consoleblank (voor command line instalaties, of voor zo verder nodig xset). Zie de topic start voor uitleg.

Debian bookworm heeft tegenwoordig firmware-non-free standaard geinstalleerd/enabled. Uiteraard wel gecontroleerd en package firmware-misc-nonfree is geinstalleerd. Console blank op 1 minuut, geen resultaat.



Wel enorm bedankt voor het meedenken allemaal! Ik ga nu een live ubuntu testen zonder NVME's. Als dat niks oplost zit ik eraan te denken om een ander board te kopen. Iemand daarin suggesties? In elk geval mATX, DDR5 en socket 1700 & 2* M2. Zou dit wat kunnen zijn of zou het verstandig zijn om voor een andere chipset te gaan? https://www.msi.com/Motherboard/PRO-B760M-P/Specification

[Snuffelke]

Iemand nog tips voor een lager verbruik met een Topton NAS N5105 4x Intel the i226-V bordje (bios van 2023)?
Ik meet waardes van meer dan 30w full load met enkel 1 nvme drive met 8gb (2x4gb) ram, 1gb netwerk verbinding.

Wat heb ik al aangepast, C-state waardes in bios, heb nog met een aantal andere dingen getest oa met enkel usb ubuntu boot stick, geen netwerk aangesloten, alle sata controllers uitgeschakeld. Het laagste wat ik kreeg is 17w in idle. ASPM control staat op auto (enkel enable is er niet, ook L0SL1 maakt geen verschil) Er zijn zoveel bios instellingen mogelijk dat ik het niet meer zie.

Ik zit nog ver verwijderd van de gehoopte 10w maar mss ook niet mogelijk met dit bordje. Mijn oude Dell Optiplex I5-4590s zat maar rond de 12w in idle.

[Mich]

Snuffelke schreef op woensdag 21 juni 2023 @ 19:06:
Iemand nog tips voor een lager verbruik met een Topton NAS N5105 4x Intel the i226-V bordje (bios van 2023)?
Ik meet waardes van meer dan 30w full load met enkel 1 nvme drive met 8gb (2x4gb) ram, 1gb netwerk verbinding.

Wat heb ik al aangepast, C-state waardes in bios, heb nog met een aantal andere dingen getest oa met enkel usb ubuntu boot stick, geen netwerk aangesloten, alle sata controllers uitgeschakeld. Het laagste wat ik kreeg is 17w in idle. ASPM control staat op auto (enkel enable is er niet, ook L0SL1 maakt geen verschil) Er zijn zoveel bios instellingen mogelijk dat ik het niet meer zie.

Ik zit nog ver verwijderd van de gehoopte 10w maar mss ook niet mogelijk met dit bordje. Mijn oude Dell Optiplex I5-4590s zat maar rond de 12w in idle.

Voor als je Linux draait kan je dit proberen:

code:

sudo ethtool --show-eee enp4s0
sudo ethtool --set-eee enp4s0 eee on

Met het eerste commando kom je er achter of EEE (Energy-Efficient Ethernet) uit staat. Met het 2e commando kan je dit aanzetten. enp4s0 is Hierin de netwerkkaart, die kan voor iedereen anders heten.


Ik heb tijdelijk een bord gehad met een i226. Daar scheelde dit wel aanzienlijk qua vermogen. En als je dat voor 4 porten kan doen ga je dat zeker merken. Als dit tenminste werkt

[Mich]

andru123 schreef op maandag 3 juli 2023 @ 00:18:
Van het weekend nog een mooie zuinige 1700 bord gevonden - uitvoering: Gigabyte B660I AORUS PRO DDR4 Het werd op amazon aangeboden voor maar 120, en ik toch nog op zoek was naar een miniITX voor een zelfbouw router. Vandaag spulletjes binnengekomen, en ik heb snel getest. Eerste resultaten zijn belovend: 3,6W - 4.6W in linux mint (na powertop) (wisselt constant, met pieken van 5 of zelfs 6.0W, echt moielijk het gemiddelde te bepalen)

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-12100 Boxed	€ 123,08	€ 123,08
1	Moederborden	Gigabyte B660I AORUS PRO DDR4	€ 229,90	€ 229,90
1	Behuizingen	Mini-box M350	€ 0,-	€ 0,-
1	Geheugen intern	Crucial CT16G4DFRA32A	€ 31,28	€ 31,28
1	Voedingen	Mini-box picoPSU PicoPSU-160-XT	€ 52,02	€ 52,02
1	Solid state drives	Intel 670p (Z) 2TB	€ 93,99	€ 93,99
1		fsp120-ahan3	--	--
Bekijk collectie Importeer producten			Totaal	€ 530,27

Dat is zonder netwerk kabel, wel met active WiFi kaart (ik heb geen extra kabel op de plek, dus test met Wifi, maar het is wel de bedoeling wifi eruithalen uiteindelijk), monitor in slaapstand. Gemeten met Kill-a-watt op 120V.
(Ik moest voor de test de i3-12100 vanuit mijn Asus server eruithalen. De Intel push in cooler is een drama om goed te plaatsen.)

[Afbeelding]

[Afbeelding]

Max CPU package is C8, net als bij Asus bord met mijn i3-12100.
Lijkt dat B660 chipset bijzonder zuinig kan zijn, de Kontron bord heeft hem ook.
Ook consistent met de tests van die Japanse kerel, hij adviseert MSI, Gigabyte en Asus B660-borden (niet Asrock). (Zie mijn eerdere posts)
Deze Gigabyte bord is mooi en goed afgewerkt.
Ik heb wel moeite het in M350 te stoppen zit echt krap met alle heatsinks en draden. Vandaar voorlopig blijft het op de tafel.

Let op: ik krijg af en toe crash in powertop - meestaal als ik het 2de keer draai, na usb mouse eruit-erin. Ik vermoed het komt door het feit dat er is geen netwerk kabel en wifi kaart actief. Maar dat weet ik niet zeker. Als dat gebeurt heb ik geen keuze maar Linux te herstarten (via power knop).

Ik ga nog verder testen en deze post bijwerken de komende weken.

Update: de board heeft mooie LEDjes:
[Afbeelding]
LEDs voegen +0,5-1W toe (wisselend, omdat LEDs veranderen van kleur en brightness in “wave” pattern). Ik heb het uitgeschakeld in BIOS. Maar die kan ook AAN als het systeem in slaapstand is, dus denk ik er is zeker een aparte controller, die altijd aan staat.

Na powertop —auto-tune (zonder netwerk kabel) wilt Linux niet meer herstarten of stoppen. Ik krijg dit:
[Afbeelding]
Als ik de ingebouwde netwerk kaart in BIOS uitzet, dan werkt powertop en herstart linux wel. Maar dan stijgt het idle verbruik iets : + 0.2-1W. Niet veel eigenlijk. Moet ik wel nog met netwerk kabel testen.

Opmerkingen BIOS (voor mijn eigen ref):
- CPU - Race to Halt - verhoogt verbruik +0.5-1W. Best op Auto of Disabled
- het laagste wat ik tot nu toe gezien op de meter was 3.0W, met alleen 1 core enabled, CPU clock en ring op de laagste waarden. Deze board heeft veel meer setting om met voltage te spelen
-

Op mijn asus bord kan ik ook powertop niet met --auto-tune draaien. Ook omdat dan de netwerkkaart er voor zorgt dat Linux slecht tot niet meer reageerd. Ik draai dus powertop handmatig en zet alles op enable behalve mijn netwerkkaart. Het gaat bij mij wel om de i226-V i.t.t. de i125 bij jou.

[user109731]

andru123 schreef op maandag 10 juli 2023 @ 03:36:
Ikzelf ervaar problemen als netwerk kabel eruit getrokken, en dan hangt powertop (met of zonder auto-tune) Mich heeft zijn bord weg gedaan vanwege dit.
Het is zo ver ik weet nog onopgelost mystery.

Ah ik zie hetzelfde als jij. Het werkte prima meerdere keren met de netwerkkabel aangesloten, maar toen ik die eruit trok liep het vast tijdens powertop. Zonder netwerkkabel was trouwens op de machine zelf en daarvoor via de proxmox shell (wat is consoleblank=15 irritant dan )

Hier nog even een HomeWizard screenshot van vanochtend. Stabiel ~5W vannacht en rond 8 uur heb ik de HA VM en LXC containers afgesloten en dan daalt het naar ~2W:

Welke c-states krijg je in powertop?

Dit is wat ik zie met alleen Proxmox actief. Dit was in de webinterface shell:

code:

           Pkg(OS)  |            Core(OS) |            CPU(OS) 0   CPU(OS) 1
Powered On  0.0%    | POLL        0.0%    | POLL        0.0%    0.0 ms  0.0%    0.0 ms
C1_ACPI     0.0%    | C1_ACPI     0.0%    | C1_ACPI     0.0%    0.0 ms  0.0%    0.0 ms
C2_ACPI     1.1%    | C2_ACPI     1.4%    | C2_ACPI     2.8%    2.6 ms  0.0%    0.0 ms
C3_ACPI    99.0%    | C3_ACPI    98.5%    | C3_ACPI    96.8%   81.5 ms100.0%  126.3 ms
RC6pp       0.0%    |                     |

                    |            Core(OS) |            CPU(OS) 2   CPU(OS) 3
                    | POLL        0.0%    | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    | C1_ACPI     0.0%    | C1_ACPI     0.0%    0.2 ms  0.0%    0.1 ms
                    | C2_ACPI     1.9%    | C2_ACPI     3.7%    2.1 ms  0.1%    0.3 ms
                    | C3_ACPI    97.8%    | C3_ACPI    95.6%   60.4 ms 99.9%  144.2 ms
                    |                     |

                    |            CPU(OS) 4
                    | POLL        0.0%    0.0 ms
                    | C1_ACPI     0.0%    0.0 ms
                    | C2_ACPI     0.0%    0.0 ms
                    | C3_ACPI    99.9%   56.1 ms

........................ hetzelfde tot CPU(OS) 7 .....

                    |             GPU     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |
                    | RC6pp       0.0%    |

code:

            Package |             Core    |            CPU 0       CPU 1
Idle       100.0%   | Idle       100.0%   | Idle       100.0%      100.0%

                    |             Core    |            CPU 2       CPU 3
                    | Idle       100.0%   | Idle       100.0%      100.0%

                    |            CPU 4
                    | Idle       100.0%
........................ hetzelfde tot CPU 7

code:

              Usage     Device name
             19.4%        CPU misc
             19.4%        CPU core
            100.0%        PCI Device: Intel Corporation Device a74d
            100.0%        PCI Device: Intel Corporation Device 51b0
            100.0%        PCI Device: Intel Corporation Alder Lake-P PCH SPI Controller
            100.0%        PCI Device: Samsung Electronics Co Ltd NVMe SSD Controller PM9A1/PM9A3/980PRO
            100.0%        PCI Device: Intel Corporation Device 51f1
            100.0%        PCI Device: Intel Corporation Ethernet Controller I226-V
            100.0%        PCI Device: Intel Corporation Device a77d
            100.0%        Radio device: iwlwifi
            100.0%        Radio device: btusb
             95.8%        PCI Device: Intel Corporation Raptor Lake-P [UHD Graphics]
              9.6 pkts/s  nic:vmbr0
              9.6 pkts/s  Network interface: enp86s0 (igc)
              0.0 pkts/s  nic:bonding_masters
              0.0%        PCI Device: Intel Corporation Alder Lake PCH HECI Controller
              0.0%        USB device: xHCI Host Controller
              0.0%        USB device: xHCI Host Controller
              0.0%        USB device: xHCI Host Controller
              0.0%        USB device: usb-device-8087-0033
              0.0%        USB device: xHCI Host Controller
              0.0%        Audio codec hwC0D2: Intel
              0.0%        Audio codec hwC0D0: Realtek

[andru123]

Voorlopige conclusie bij mijn tests is dat intel i225v verbruikt in idle 1,5-2W. Ik zie vergelijkbare resultaten hier bij iedereen, behalve user109731 in "Het grote zuinige server topic - deel 3" . Dat is echt apart - 2W met i226v. Of de NUC13 power adapter extreem zuinig is, of PSU van de NUC zo veel efficienter dan de PicoPSU, of Intel weet een trucje om de netwerk kart in low power mode te zetten.
@user109731 welke router heb je aangesloten? Is bij jou EEE actief?
Kan je aub een foto maken van je (achterkant) NUC power adapter.
@Mich welke router had je aangesloten toen je met i226 en EEE getest? Was EEE daadwerkelijk actief?

[Mich]

andru123 schreef op zondag 16 juli 2023 @ 21:13:
Voorlopige conclusie bij mijn tests is dat intel i225v verbruikt in idle 1,5-2W. Ik zie vergelijkbare resultaten hier bij iedereen, behalve user109731 in "Het grote zuinige server topic - deel 3" . Dat is heel apart 2W met i226v. Of de intel power adapter extreem zuinig is, of PSU van Intel veel efficienter dan de PicoPSU, of Intel weet een trucje om de netwerk kart in low power mode te zetten.
@user109731 welke router heb je aangesloten? Is bij jou EEE actief?
Kan je aub een foto maken van de (achterkant) Intel power adapter.
@Mich welke router had je aangesloten toen je met i226 en EEE getest? Was EEE daadwerkelijk actief?

Ik heb deze switch waar hij achter hangt.
uitvoering: Netgear S350 8P (GS308T-100PES)

Het lijkt er trouwens op dat ik nu eee actief kan maken en powertop auto tune kan draaien zonder problemen. In mijn switch stond het " green ethernet"'wel aan maar je moest het vervolgens op port niveau ook nog aanzetten. Nu draai ik stabiel 4.8W met kabel verbonden op mijn asus setup Binnenkort ga ik nog eens proberen de wifi er uit te halen.

Het is wel zo dat de output van ethtool show eee van mijn i226 heel anders is (eigenlijk alles unknown en not enabled) in vergelijking met mijn andere PC.

Ook snap ik niet waarom het niet standaard aan staat en bij mijn andere PC wel op zowel een pci nic als onboard nic.

[andru123]

Mich schreef op zondag 16 juli 2023 @ 21:21:
[...]

Het lijkt er trouwens op dat ik nu eee actief kan maken en powertop auto tune kan draaien zonder problemen. In mijn switch stond het " green ethernet"'wel aan maar je moest het vervolgens op port niveau ook nog aanzetten. Nu draai ik stabiel 4.8W met kabel verbonden op mijn asus setup Binnenkort ga ik nog eens proberen de wifi er uit te halen.

Het is wel zo dat de output van ethtool show eee van mijn i226 heel anders is (eigenlijk alles unknown en not enabled) in vergelijking met mijn andere PC.

Ook snap ik niet waarom het niet standaard aan staat en bij mijn andere PC wel op zowel een pci nic als onboard nic.

Welke verschillen zie in de output? Welke chip en driver versie. Mischien dat maakt het verschil.
(Ik dacht je heb Asus bord weggestuurd)

Ik denk nu dat we misschien het onmogelijke proberen te doen, en dat de i225 nooit zo zuinig kan worden. Ik heb nog een keer het topic doorgezocht, en ik zie dat i225 al 0.9W verbruikt met EEE, volgens mrmrmr (ik kon nooit een bron vinden).
Ook heeft Intel ergens in de laatste jaar EEE uitgezet op die chips in de drivers, volgens @latka.
Ik ga nog wel met oudere i225 drivers proberen (in Windows, geen idee hoe het in linux kan).
Alle moderne moederborden komen uit met i226v. Het advies om terugvallen naar i210 of i219 gaat niet voor lange termijn werken.

[Mich]

Ik heb wat testen gedaan wat betreft de EEE van de netwerkkaarten. Ik heb er 3 kunnen testen.

-I226-V onboard op een asus B760 moederboord.
-I219LM onboard op Kontron K3843-B
-I210-T1 pci-x kaart.

Bij de I219 en I210 staat EEE standaard aan. Als ik deze uit zet gaat het verbruik met 0.4 a 0.5W omhoog.
Bij de I226 staat EEE standaard uit. Als ik deze aanzet zakt het verbruik met 4.5W. Als ik de link speed van 1000MBit naar 100Mbit zet scheelt het nog een 0.5W.


@andru123

Hieronder alle info:

I226

code:

      Supported ports: [  ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
                                2500baseT/Full
        Supported pause frame use: Symmetric
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
                                2500baseT/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Speed: 1000Mb/s
        Duplex: Full
        Auto-negotiation: on
        Port: Twisted Pair
        PHYAD: 0
        Transceiver: internal
        MDI-X: off (auto)
        Supports Wake-on: pumbg
        Wake-on: g
        Current message level: 0x00000007 (7)
                               drv probe link
        Link detected: yes


EEE settings for enp3s0:
        EEE status: enabled - active
        Tx LPI: 0 (us)
        Supported EEE link modes:  Not reported
        Advertised EEE link modes:  Not reported
        Link partner advertised EEE link modes:  Not reported


driver: igc
version: 6.4.0-0-amd64
firmware-version: 2017:888d
expansion-rom-version:
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

I219

code:

        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised pause frame use: No
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Speed: 1000Mb/s
        Duplex: Full
        Auto-negotiation: on
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        MDI-X: off (auto)
        Supports Wake-on: pumbg
        Wake-on: g
        Current message level: 0x00000007 (7)
                               drv probe link

EEE settings for eno1:
        EEE status: enabled - active
        Tx LPI: 17 (us)
        Supported EEE link modes:  100baseT/Full
                                   1000baseT/Full
        Advertised EEE link modes:  100baseT/Full
                                    1000baseT/Full
        Link partner advertised EEE link modes:  100baseT/Full
                                                 1000baseT/Full


driver: e1000e
version: 6.2.16-4-bpo11-pve
firmware-version: 2.3-3
expansion-rom-version:
bus-info: 0000:00:1f.6
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

I210

code:

Settings for enp2s0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supported pause frame use: Symmetric
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised pause frame use: Symmetric
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Speed: 1000Mb/s
        Duplex: Full
        Auto-negotiation: on
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        MDI-X: off (auto)
        Supports Wake-on: pumbg
        Wake-on: g
        Current message level: 0x00000007 (7)
                               drv probe link
        Link detected: yes

EEE settings for enp2s0:
        EEE status: enabled - active
        Tx LPI: 0 (us)
        Supported EEE link modes:  100baseT/Full
                                   1000baseT/Full
        Advertised EEE link modes:  100baseT/Full
                                    1000baseT/Full
        Link partner advertised EEE link modes:  100baseT/Full
                                                 1000baseT/Full


driver: igb
version: 6.2.16-4-bpo11-pve
firmware-version: 3.25, 0x800006eb
expansion-rom-version:
bus-info: 0000:02:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

Het vreemde is is dat de I226 deze info niet stuurt/ontvang:

Supported EEE link modes: Not reported
Advertised EEE link modes: Not reported
Link partner advertised EEE link modes: Not reported

Vooral de link partner stuurt de info wel uit, de andere 2 netwerkkaarten kunnen die info wel ontvangen.

[andru123]

Als ik de output van user109731 in "Het grote zuinige server topic - deel 3" met mijn i225v vergelijk, zie ik allen die verschillen:

56:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
Subsystem: Intel Corporation Ethernet Controller I226-V
Interrupt: pin A routed to IRQ 16
IOMMU group: 16
Region 0: Memory at 84200000 (32-bit, non-prefetchable) [size=1M]
Region 3: Memory at 84300000 (32-bit, non-prefetchable) [size=16K]
Capabilities: [a0] Express (v2) Endpoint, MSI 00
DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
Capabilities: [1e0 v1] L1 PM Substates
L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+
T_CommonMode=55us LTR1.2_Threshold=131072ns
L1SubCtl2: T_PwrOn=70us

tegen i225:

code:

03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I225-V (rev 03)
    Subsystem: ASUSTeK Computer Inc. Ethernet Controller I225-V
    Interrupt: pin A routed to IRQ 18
    Region 0: Memory at 81500000 (32-bit, non-prefetchable) [size=1M]
    Region 3: Memory at 81600000 (32-bit, non-prefetchable) [size=16K]
        DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
        L1SubCap: PCI-PM_L1.2- PCI-PM_L1.1+ ASPM_L1.2- ASPM_L1.1+ L1_PM_Substates+
        L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1+ ASPM_L1.2- ASPM_L1.1+
        L1SubCtl2:

i226:

code:

56:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Interrupt: pin A routed to IRQ 16
        IOMMU group: 16
        Region 0: Memory at 84200000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 84300000 (32-bit, non-prefetchable) [size=16K]
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+
                           T_CommonMode=55us LTR1.2_Threshold=131072ns
                L1SubCtl2: T_PwrOn=70us

@Mich met je i226, moet je ook vergelijkbaar verbruik zien (~2W)? Kan je ook proberen de link speed op 10mbit zetten?

[FireDrunk]

i210 is zelfs al een iets oudere generatie, CT is helemaal steenkolenoud.
Dat is denk ik onderwater een PCIe 1.0 kaartje, en de i210 is 2.0.

De nieuwe i225-V of i226-V lijkt me een betere keuze, maar zijn wel een stukje duurder.
Dat zijn PCIe 3.1 kaartjes.

TDP van die kaartjes is ~1.5W. Dus ik verwacht (met wat verlies) geen hoog verbruik.

[ Voor 24% gewijzigd door FireDrunk op 10-08-2023 07:59 ]

[mrmrmr]

CurlyMo schreef op donderdag 10 augustus 2023 @ 08:30:
[...]

Als ASPM een issue is dan is dat natuurlijk wel onhandig. Ik ben naar i210 gaan kijken mede op advies van de tweakers hier.

I210/I211 of I219-LM is het beste voor verbruik. Je hebt ook EEE/802.3az ondersteuning nodig in drivers en switch.

Een i225 kaart.

Afgezien van het hoge verbruik zijn er bekende stabiliteitproblemen met i225-V/i226-V.

https://wccftech.com/inte...hernet-controller-issues/

De workaround is EEE uitschakelen. Dat is het paard achter de wagen spannen.

[campr112]

mrmrmr schreef op zaterdag 9 september 2023 @ 02:01:
[...]


Dat heet rijkrekenen! De cijfers klopten niet. Je kunt niet 1 Gbps afleiden van een 2.5 Gbps cijfer.

Nee, maar wat ik wel deed is naar het verbruik van de Intel kijken bij 1Gbps, en dat cijfer 'extrapoleren' naar 2.5Gbps (niet helemaal eerlijk, weet ik). Eigenlijk zouden we, om de vergelijking nog een beetje 'eerlijk' te maken het verbruik van een Intel 226-v kaartje. Volgens Google:

code:

I226 Controller is designed for lowest power • 1.48W S0-Typical 2500BASE-T Active 25 °C (Intel® Ethernet Controller I226-IT). 1.3W S0-Typical 2500BASE-T Active 25 °C (Intel® Ethernet Controller I226-V/LM). 0.7W S0-Typical 1000BASE-T Active 25 °C (Intel® Ethernet Controller I226-V/LM).

Stukken meer dan de RTL8125B, denk ik zo..
Case closed, RTL8125B wordt het, denk ik ;-)

[thof]

Ik kom ze ook nog niet tegen met een N100, maar enkel met een N5105/N6005 of J6412/J6413:
https://cwwk.net/products...-m-2-itx-four-i226-v-nics
https://cwwk.net/products...a3-0-dual-m-2-i226-v-nics

Op beide borden zit een chipje boven de 6 sata poorten, dus het zou mij niets verbazen als dat een of andere JMS/ASM sata expander chip is.

Eventueel zou je ook nog aan de slag kunnen met een NVMe naar SATA adapter. Die met meer poorten zoals die hieronder maken ook gebruik van een expander chip:
https://nl.aliexpress.com/item/1005004374178301.html

[mrmrmr]

thof schreef op maandag 9 oktober 2023 @ 10:00:
Ik kom ze ook nog niet tegen met een N100, maar enkel met een N5105/N6005 of J6412/J6413:
https://cwwk.net/products...-m-2-itx-four-i226-v-nics
https://cwwk.net/products...a3-0-dual-m-2-i226-v-nics

Op beide borden zit een chipje boven de 6 sata poorten, dus het zou mij niets verbazen als dat een of andere JMS/ASM sata expander chip is.

JMB585 staat op een van de plaatjes van het J6412 bord. Dat kost een aantal Watts meer in idle.

Eventueel zou je ook nog aan de slag kunnen met een NVMe naar SATA adapter. Die met meer poorten zoals die hieronder maken ook gebruik van een expander chip:
https://nl.aliexpress.com/item/1005004374178301.html

Dit komt ook met extra verbruik en vaak met lagere snelheden per poort. Intel heeft een veel betere/zuinigere SATA aansturing in de chipset dan de controllers van JMicron of ASM.

[Kuusj]

DutchCrownNL schreef op dinsdag 7 november 2023 @ 09:53:
[...]

Inmiddels weet ik dat ze in Europa zijn, en mogelijk vandaag nog richting het Duitse magazijn gaan.
Ze zijn zo lief geweest om een screenshot van hun T&T te delen, niet wetende dat UPS mij de optie geeft om het afleveradres te veranderen (uiteraard niet gedaan en T&T ook doorgekrast)

[Afbeelding]
[Afbeelding]

Heb hem inmiddels binnen, voor de meelezers in dit topic: gaat dus om de MInisforum UM480 XT (https://store.minisforum.de/products/venus-um480-xt-um560-xt), dat is een barebones met:
- AMD Ryzen 7 4800H (8C/16T, 2.9Ghz base, 4.2Ghz boost)
- RX Vega 7 op 1600Mhz (met x.265 10-bit hw-transcoding etc.)
- M.2 NVME slot op PCI-e 3.0 met 4 lanes
- SATA III slot voor één 2.5" SSD/HDD
- 2 SODIMM DDR4 slots (3200Mhz, max 64GB)
- Intel I-226v 2.5gbit netwerkpoort
- Zit een dual band Wifi AC-kaartje op een M.2 2230 slot (edit, kan ook een Wifi6E met BT 5.2 zijn)
- 2x USB 3.2 gen 2 (10gbit), 2x USB 2.0, en nog 1x USB Type C op 10gbit en een USB-C met DP1.4 en PD)
- 2x HDMI

Ik heb er barebones 179,- voor betaald. Heeft natuurlijk een onvergelijkbare hoeveelheid power méér dan een Intel N100. Heeft een maandje geduurd voordat hij er was, maar heb er vanmorgen even unRAID op gezet, en powertop --auto-tune. Ook getracht wat settings in de BIOS te veranderen maar daar ben ik nog mee bezig.

In ieder geval, met de standaard power-brick (zou level VI moeten zijn), en 2x16GB Crucial geheugen, een Samsung 980 van 500GB en een 1gbit/s netwerkkabel (heb de wifimodule eruit gehaald) doet 'ie idle in unRAID 5W. Vind dat persoonlijk wel erg netjes. Ik ga nog proberen of ik de originele 64GB 2230 SSD van mijn Steam Deck erin kan zetten. Je zou in theorie wel een M.2 PCI-e kaartje erin kunnen zetten waardoor je meer SSD's kunt gebruiken, daar zouden geen limitaties op zitten. Er is ook nog wel wat ruimte in het chassis.

Heb het TDP op 10W gelimiteerd want hij hoeft voorlopig toch alleen maar de Unifi Controller en HA te draaien.

Edit: ik zie in Powertop trouwens maar tot C3 gaan, dus C0, C1, C2 en C3. Zou ik er meer moeten kunnen zien? Heb wel geprobeerd die settings aan te passen in de BIOS.

[ Voor 7% gewijzigd door Kuusj op 14-11-2023 15:18 ]

[Remc0_]

Kuusj schreef op dinsdag 14 november 2023 @ 15:15:
[...]

Heb hem inmiddels binnen, voor de meelezers in dit topic: gaat dus om de MInisforum UM480 XT (https://store.minisforum.de/products/venus-um480-xt-um560-xt), dat is een barebones met:
- AMD Ryzen 7 4800H (8C/16T, 2.9Ghz base, 4.2Ghz boost)
- RX Vega 7 op 1600Mhz (met x.265 10-bit hw-transcoding etc.)
- M.2 NVME slot op PCI-e 3.0 met 4 lanes
- SATA III slot voor één 2.5" SSD/HDD
- 2 SODIMM DDR4 slots (3200Mhz, max 64GB)
- Intel I-226v 2.5gbit netwerkpoort
- Zit een dual band Wifi AC-kaartje op een M.2 2230 slot (edit, kan ook een Wifi6E met BT 5.2 zijn)
- 2x USB 3.2 gen 2 (10gbit), 2x USB 2.0, en nog 1x USB Type C op 10gbit en een USB-C met DP1.4 en PD)
- 2x HDMI

Ik heb er barebones 179,- voor betaald. Heeft natuurlijk een onvergelijkbare hoeveelheid power méér dan een Intel N100. Heeft een maandje geduurd voordat hij er was, maar heb er vanmorgen even unRAID op gezet, en powertop --auto-tune. Ook getracht wat settings in de BIOS te veranderen maar daar ben ik nog mee bezig.

In ieder geval, met de standaard power-brick (zou level VI moeten zijn), en 2x16GB Crucial geheugen, een Samsung 980 van 500GB en een 1gbit/s netwerkkabel (heb de wifimodule eruit gehaald) doet 'ie idle in unRAID 5W. Vind dat persoonlijk wel erg netjes. Ik ga nog proberen of ik de originele 64GB 2230 SSD van mijn Steam Deck erin kan zetten. Je zou in theorie wel een M.2 PCI-e kaartje erin kunnen zetten waardoor je meer SSD's kunt gebruiken, daar zouden geen limitaties op zitten. Er is ook nog wel wat ruimte in het chassis.

Heb het TDP op 10W gelimiteerd want hij hoeft voorlopig toch alleen maar de Unifi Controller en HA te draaien.

Edit: ik zie in Powertop trouwens maar tot C3 gaan, dus C0, C1, C2 en C3. Zou ik er meer moeten kunnen zien? Heb wel geprobeerd die settings aan te passen in de BIOS.

Ja de C3 klopt inderdaad, je kan nog naar je frequency stats kijken voor iets meer info bij AMD systemen.

[PuijkeN]

PuijkeN schreef op donderdag 7 december 2023 @ 23:50:
Zonet een vervanging binnen gekregen voor mijn Intel NUC5i3ryh die als firewall dient. Het gaat om een CWWK N100-5L v2. De welbekende Chinese firewall doosjes met 5x 2,5 Gbit.

SSD: Intel DC S4610 960gb
Geheugen: Samsung M425R2GA3BB0-CQK (ddr5 sodimm 16gb 4800 mhz)
Adapter: Dajing ADP-60E2 (12V 5A)
NICs: 2x 1Gbit aangesloten

Proxmox geinstalleerd om binnenkort de pfSense VM te migreren van de NUC. Al snel enkele idle waarden kunnen noteren gemeten met een VoltCraft SEM6000. Weet niet hoe correct deze is en ik heb eigenlijk weinig vertrouwen in de adapter (erg licht, lijkt geen hoge kwaliteit te zijn).

Echter wel mooie waardes: ~ 8.0 - 8.3 Watt

Ben benieuwd of er nog veel af zou kunnen met een betere kwaliteit adapter eigenlijk, maar denk voor de zekerheid toch maar iets bekender in huis te halen.

Ik weet niet wat de NUC momenteel verbruikt omdat daar nog andere devices op de meter zitten, maar eens de migratie rond is ga ik wel even vergelijken. Ik denk dat ik wel aardig in de buurt kom.

Morgen eens verder testen want er zijn nog geen zaken aangepast in de BIOS en ook PowerTop is nog niet geactiveerd (tenzij dit standaard is op Proxmox).

Update: standby met 2 NIC's aangesloten (lampjes pinken nog) -> 1.5 Watt

Ondertussen even wat verder kunnen testen .. in vergelijking met de NUC op hetzelfde stopcontact ben ik 7 (!!!) Watt omhoog gegaan, hier schrik ik toch wel van. De load met pfSense VM actief ging van ongeveer 8 Watt naar 13 Watt. Dan is/was de NUC wel erg, erg zuinig .. ik moet die nog even aansluiten op het stopcontact om te zien wat die doet apart.

Verder even aan de slag gegaan en wat dingen gecontroleerd:

- ASPM:

code:

root@pve1:~# lspci -vv | awk '/ASPM.*?abled/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM.*?abled)'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Ziet er niet goed uit dus .. moet ik even checken of daar iets aan gedaan kan worden.

Verder heb ik het zo te zien "bekende" probleem dat wanneer ik Powertop draai op dit bakje er rare dingen gebeuren, enderzijds gaat het stroomverbruik niet naar beneden zo te zien, anderzijds begint er vanalles mis te gaan en verlies ik connectien naar de Proxmox management interface. Ik heb nog geen idee of pfSense dan wel of niet blijkft werken (die NIC's staan in passtrough). Ik las hier ergens dat je Powertop kunt exporteren naar een HTML en dan de tunables voor de netwerkkaarten er uit kunt filteren, dat staat nu eerst op de todo.

Ik heb de BIOS even open gehad en wauw, uitgebreid, maar ook gewoon teveel van het goede vrees ik. Ik ga er wel eens proberen induiken maar het mocht wel iets eenvoudiger. Ik zal vergelijken me de vele settings die hier al terug te vinden zijn, maar het is er wel eentje om het bos door de bomen niet meer te zien.


In elk geval is het bakje qua performance ook wel veel sneller:
- PPOE KPN 1Gbit fiber wordt nu ook gehaald
- OpenVPN snelheden drastisch omhoog
- Bufferbloat veel stabieler onder load
- Opstarten pfSense VM veel sneller

[stormfly]

PuijkeN schreef op zaterdag 9 december 2023 @ 16:00:
[...]


Ondertussen even wat verder kunnen testen .. in vergelijking met de NUC op hetzelfde stopcontact ben ik 7 (!!!) Watt omhoog gegaan, hier schrik ik toch wel van. De load met pfSense VM actief ging van ongeveer 8 Watt naar 13 Watt. Dan is/was de NUC wel erg, erg zuinig .. ik moet die nog even aansluiten op het stopcontact om te zien wat die doet apart.

Verder even aan de slag gegaan en wat dingen gecontroleerd:

- ASPM:

code:

root@pve1:~# lspci -vv | awk '/ASPM.*?abled/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM.*?abled)'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Ziet er niet goed uit dus .. moet ik even checken of daar iets aan gedaan kan worden.

Verder heb ik het zo te zien "bekende" probleem dat wanneer ik Powertop draai op dit bakje er rare dingen gebeuren, enderzijds gaat het stroomverbruik niet naar beneden zo te zien, anderzijds begint er vanalles mis te gaan en verlies ik connectien naar de Proxmox management interface. Ik heb nog geen idee of pfSense dan wel of niet blijkft werken (die NIC's staan in passtrough). Ik las hier ergens dat je Powertop kunt exporteren naar een HTML en dan de tunables voor de netwerkkaarten er uit kunt filteren, dat staat nu eerst op de todo.

Ik heb de BIOS even open gehad en wauw, uitgebreid, maar ook gewoon teveel van het goede vrees ik. Ik ga er wel eens proberen induiken maar het mocht wel iets eenvoudiger. Ik zal vergelijken me de vele settings die hier al terug te vinden zijn, maar het is er wel eentje om het bos door de bomen niet meer te zien.


In elk geval is het bakje qua performance ook wel veel sneller:
- PPOE KPN 1Gbit fiber wordt nu ook gehaald
- OpenVPN snelheden drastisch omhoog
- Bufferbloat veel stabieler onder load
- Opstarten pfSense VM veel sneller

stormfly in "Zelfbouw project: Firewall / Router / AP" bios instellingen

Weet je zeker dat je goed gemeten hebt bij de NUC, 1,5 watt met pfSense ingeschakeld is bijna onmogelijk, pfSense is namelijk niet zuinig.

code:

powertop --html=powerreport.html
awk -F '</?td ?>' '/tune/ { print $4 }' powerreport.html

[Mich]

PuijkeN schreef op zaterdag 9 december 2023 @ 16:00:
[...]


Ondertussen even wat verder kunnen testen .. in vergelijking met de NUC op hetzelfde stopcontact ben ik 7 (!!!) Watt omhoog gegaan, hier schrik ik toch wel van. De load met pfSense VM actief ging van ongeveer 8 Watt naar 13 Watt. Dan is/was de NUC wel erg, erg zuinig .. ik moet die nog even aansluiten op het stopcontact om te zien wat die doet apart.

Verder even aan de slag gegaan en wat dingen gecontroleerd:

- ASPM:

code:

root@pve1:~# lspci -vv | awk '/ASPM.*?abled/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM.*?abled)'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Ziet er niet goed uit dus .. moet ik even checken of daar iets aan gedaan kan worden.

Verder heb ik het zo te zien "bekende" probleem dat wanneer ik Powertop draai op dit bakje er rare dingen gebeuren, enderzijds gaat het stroomverbruik niet naar beneden zo te zien, anderzijds begint er vanalles mis te gaan en verlies ik connectien naar de Proxmox management interface. Ik heb nog geen idee of pfSense dan wel of niet blijkft werken (die NIC's staan in passtrough). Ik las hier ergens dat je Powertop kunt exporteren naar een HTML en dan de tunables voor de netwerkkaarten er uit kunt filteren, dat staat nu eerst op de todo.

Ik heb de BIOS even open gehad en wauw, uitgebreid, maar ook gewoon teveel van het goede vrees ik. Ik ga er wel eens proberen induiken maar het mocht wel iets eenvoudiger. Ik zal vergelijken me de vele settings die hier al terug te vinden zijn, maar het is er wel eentje om het bos door de bomen niet meer te zien.


In elk geval is het bakje qua performance ook wel veel sneller:
- PPOE KPN 1Gbit fiber wordt nu ook gehaald
- OpenVPN snelheden drastisch omhoog
- Bufferbloat veel stabieler onder load
- Opstarten pfSense VM veel sneller

powertop gaat mis op je netwerk controller. Je zou powertop kunnen starten en handmatig alles op enabled zetten behalve de i226 ethernet controller(s). Zo kan je aantonen/uitsluiten dat dit het probleem is.

Zou je met ethtool eens kunnen kijken of EEE aanstaat van je netwerk controllers?

code:

sudo ethtool --show-eee enp1s0

het kan zijn dat jou netwerkkaart niet enp1s0 heet.

[thof]

Mich schreef op zondag 10 december 2023 @ 14:36:
[...]


Misschien werkt het maar misschien ook niet (zoals @andru123 al aangaf). Je kan EEE (energy efficient etherent) forceren met dit commando (per port):

code:

ethtool --set-eee enp1s0 eee on"

Dit zou je verbruik al omlaag moeten halen. Daarna zou je powertop kunnen proberen te draaien om te kijken of je systeem stabiel blijft.

De netwerkkaarten die jet met passtrough doorgeeft zou je misschien in dat systeem kunnen tackelen met powertop (mits linux).

Waar EEE was toch bewust door Intel uitgeschakeld in de drivers van de i-225V/i-226V chips, omdat deze voor stabiliteitsproblemen zorgde? Krijg je er dan niet een onstabiel systeem voor terug?

[andru123]

thof schreef op zondag 10 december 2023 @ 14:45:
Waar EEE was toch bewust door Intel uitgeschakeld in de drivers van de i-225V/i-226V chips, omdat deze voor stabiliteitsproblemen zorgde? Krijg je er dan niet een onstabiel systeem voor terug?

Het is een goede vraag. Ik heb persoonlijk nooit instabiliteit ervaren, maar ik draai geen loadtests.

[thys]

thys schreef op donderdag 7 december 2023 @ 10:30:
En dan nu de ervaring waar het in dit topic tenslotte om gaat, het stroomverbruik. Het valt niet heel erg tegen maar ik ben ook niet bijzonder enthousiast. Kom na wat tweaks op +/- 7W in idle. Helaas crasht het hele systeem zodra ik powertop start, dus dat is niet ideaal. Ook kent de BIOS geen ASPM settings dus schakelt de kernel dit geheel uit. Het is nog niet gelukt om dat te overriden. Ik hoop maar dat er op termijn nog iets van coreboot beschikbaar komt.

Omdat de verkoper natuurlijk niet thuis gaf heb ik nu zelf maar een gepatchte BIOS gemaakt waarin de ASPM settings wel zitten. Werkt ook netjes nu. Waar ik eerder niet lager kwam dan pkg state C3 kom ik nu tot C8.

code:

root@pve:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
        LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
        LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
        LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
        LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Powertop doet het bij mij ook niet als ik disconnected i226 interfaces heb dus maar even met turbostat.

code:

root@pve:~# turbostat -S -q --show C1E%,C6%,C8%,C10%,CPU%c7,Pkg%pc2,Pkg%pc3,Pkg%pc8
C1E%    C6%     C8%     C10%    CPU%c7  Pkg%pc2 Pkg%pc3 Pkg%pc8
0.09    0.04    0.04    99.68   100.37  1.59    0.01    96.26

Kom nu op 5w in idle dus dat scheelt wel weer 2w met wat ik eerder haalde. Gemeten met system idle, geen display of keyboard connected, 1 link up met 1gb/s. Minder zit er niet in denk ik maar ik ben ook wel redelijk tevreden zo. Nog wel met de (fake?) Delta voeding dus misschien ga ik nog eens DC meten om te kijken wat daar nog verloren gaat.

Heeft het nog zin om naast L1 ook L0s te proberen te forceren?

[PuijkeN]

thys schreef op dinsdag 12 december 2023 @ 09:39:
[...]

Jawel hoor, proxmox gebruikt gewoon grub. Aanpassen in /etc/default/grub en dan daarna even "update-grub" draaien om de wijziging toe te passen!

Aha, hij zit gewoon ergens anders .. dat kan ik nog wel even proberen dan? Wat kan er misgaan als het niet werkt, momenteel heb ik geen fysieke toegang dus indien er een kans is dat het niet meer boot kan ik beter even wachten

Trouwens, ik heb wel C10 voor package (80+%) en C10 (85+%) op alle cores. Ik heb het niet helemaal gevolgd hier in de thread maar is dat niet waar ASPM voor diende? Zodat de CPU ook in een lower power state geraakt? Of zit er nog meer besparing in als die devices ook ASPM enabled zouden staan?

Nog even de output van lspci, want ik zie dat door deze aanpassing in de BIOS er wel iets veranderd is - op de onderste lijnen voor de I226's staat nu ASPM L1, terwijl dit er voorheen niet stond. Weliswaar staat het nog disabled maar er is dus wel iets veranderd.

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

[ Voor 88% gewijzigd door PuijkeN op 12-12-2023 09:49 ]

[Wallie]

Iemand ervaring met de 'nieuwe' op de N100 gebaseerde NAS boardjes die op Aliexpress staan?
https://www.aliexpress.us/item/3256806121082868.html

- DDR5
- 1x SATA native, 5x SATA via JMB585
- 2x M.2 slot (via x1 interface)
- 4x 2,5gbit NIC i226-v

[ Voor 14% gewijzigd door Wallie op 18-12-2023 20:48 ]

[rjaap]

Wallie schreef op maandag 18 december 2023 @ 20:46:
Iemand ervaring met de 'nieuwe' op de N100 gebaseerde NAS boardjes die op Aliexpress staan?
https://www.aliexpress.us/item/3256806121082868.html

- DDR5
- 1x SATA native, 5x SATA via JMB585
- 2x M.2 slot (via x1 interface)
- 4x 2,5gbit NIC i226-v

[Afbeelding]

Heb er ook maar zitten kijken. De sata-controller is een JMB575 (of 585) en die doet geen ASPM, dus lage c-states zijn waarschijnlijk een probleem. De 5105/6000 boardjes van topton/cwwk hadden hetzelfde euvel en kwamen daardoor niet onder de 15W idle.

[UTMachine]

Ik heb recent een Topcon N100 (4x i226v) gekocht voor Proxmox en OPNsense via aliexpress.

Mijn ervaring is als volgt:

• Geheugen vervangen is apart, je doet er een andere/nieuwe in en dan moet je 1-2 minuten wachten op een biep. 8, 16 en 32GB Crucial werkt beste bij mij (100% pass bij memtest)
• De power adapter vervangen door een bekender merk
• Idle power consumptie is iets rond 10-11 Watt met Proxmox 8
• OPNsense heeft 4 cores nodig om boven de 600-700Mbit/sec uit te komen. Ook zijn de NICs gevirtualiseerd (hopelijk maakt dat de VM verplaatsen makkelijker?)
• Slecht tot geen support na de aankoop. Ook BIOS is gedeeltelijk in chinees

Ik kocht hem voor de zuinige N100 en 4x i226v, maar gezien de power consumptie (oftewel, niet laag), neig ik hem te vervangen door een NUC13 met een 2e 2.5Gbit/sec poort.
Iemand nog tips om de power consumptie nog verder omlaag te krijgen?

[ Voor 8% gewijzigd door UTMachine op 28-12-2023 18:18 ]

[Mich]

UTMachine schreef op donderdag 28 december 2023 @ 10:13:
Ik heb recent een Topcon N100 (4x i226v) gekocht voor Proxmox en OPNsense via aliexpress.

Mijn ervaring is als volgt:

• Geheugen vervangen is apart, je doet er een andere/nieuwe in en dan moet je 1-2 minuten wachten op een biep. 8, 16 en 32GB Crucial werkt beste bij mij (100% pass bij memtest)
• Idle power consumptie is iets rond 10-11 Watt met Proxmox 8
• OPNsense heeft 4 cores nodig om boven de 600-700Mbit/sec uit te komen
• Slecht tot geen support na de aankoop. Ook BIOS is gedeeltelijk in chinees

Ik kocht hem voor de zuinige N100 en 4x i226v, maar gezien de power consumptie (oftewel, niet laag), neig ik hem te vervangen door een NUC13 met een 2e 2.5Gbit/sec poort.
Iemand nog tips om de power consumptie nog verder omlaag te krijgen?

Dat je geen support krijgt is volgens mij inharent aan waar je hem koopt. Ik vind de power consumption nog best goed hoor met die 4 ethernet porten, proxmox en opnsense. Als ik een speedtest doe op mijn maximale snelheid (1GB) dan stijgt mijn verbruik ook 4 a 5 Watt. Normaal +- 9W en dan zit ik ook rond de 19W.

[stormfly]

UTMachine schreef op donderdag 28 december 2023 @ 10:13:
Ik heb recent een Topcon N100 (4x i226v) gekocht voor Proxmox en OPNsense via aliexpress.

Mijn ervaring is als volgt:

• Geheugen vervangen is apart, je doet er een andere/nieuwe in en dan moet je 1-2 minuten wachten op een biep. 8, 16 en 32GB Crucial werkt beste bij mij (100% pass bij memtest)
• Idle power consumptie is iets rond 10-11 Watt met Proxmox 8
• OPNsense heeft 4 cores nodig om boven de 600-700Mbit/sec uit te komen
• Slecht tot geen support na de aankoop. Ook BIOS is gedeeltelijk in chinees

Ik kocht hem voor de zuinige N100 en 4x i226v, maar gezien de power consumptie (oftewel, niet laag), neig ik hem te vervangen door een NUC13 met een 2e 2.5Gbit/sec poort.
Iemand nog tips om de power consumptie nog verder omlaag te krijgen?

Alle freeBSD router OS-en zijn niet zuinig tov een WRT. Virtualization kost je ook iets. Een bepaalde basis load kost je een aantal watts. Met een virtualization host kom je bijna nooit op idle verbruik uit, alles draait hun eigen taken door elkaar van de VMs.

De vraag is zoals zojuist gesteld, als je 2-3 watt zakt is het die paar honderd in prijs waard?

[Mich]

masauri schreef op donderdag 28 december 2023 @ 14:09:
[...]

IK was zelf hier naar aan het kijken: https://www.amazon.de/Mot...Appliance/dp/B0BYVMNMR9?t

Deze review kwam ik er van tegen met nuttige info:

Best variant: BDKH - NAS board with 4xI226-V and ASM1166 SATA controller (manual available!)
Reviewed in Germany on 6 November 2023
Colour Name: No RAM No SSD
Update 09.11.23 - Beware of misinformation from me!

Although the board is sold by Kingnovy and TopTon together with the CW boards, it is NOT by Changwang.

You can tell the two apart by the PCB color and the print on the board itself.

BDKH: Green board with BDKH-NAS-XXXX label - ASM1166 SATA controller (C8 - self-tested)
CW: Black board with CW-NAS-XXXX label - JMS585 SATA controller (not lower than C3, despite ASPM) The BKHD board IS NOT COMPATIBLE WITH THE CW BIOS variants!


Unfortunately, there is no information about this on the Internet.

A manual with the PIN assignments and also the original BIOS (for modding) is available here:

https://www.bkipc.com/en/product/BK-NAS-N510X-MB.html

By default, ASPM is not activated for PCIe ports - which is why the board consumes a bit more in IDLE. However, you can mod the BIOS to easily unlock the corresponding ports, and also unlock the overclocking menu.

If you use a PicoPSU, everything unlocked is actually possible with half the equipment in spin-down around 11W idle - in terms of price/performance ratio, the board is therefore great in combination with the Jonsbo N2 housing (5 HDDs + 1 SATA SSD), for example.

In contrast to the black version, however, the significantly better ASM1166 SATA controller is used here, which can also be used in C8 - the more expensive/much more well-known black variant of CW with a more recent BIOS unfortunately uses the JMS585 - which apparently blocks C8 efficiently.

You can find out quite well about this in Google...

[masauri]

Mich schreef op donderdag 28 december 2023 @ 17:07:
[...]


Deze review kwam ik er van tegen met nuttige info:

Best variant: BDKH - NAS board with 4xI226-V and ASM1166 SATA controller (manual available!)
Reviewed in Germany on 6 November 2023
Colour Name: No RAM No SSD
Update 09.11.23 - Beware of misinformation from me!

Although the board is sold by Kingnovy and TopTon together with the CW boards, it is NOT by Changwang.

You can tell the two apart by the PCB color and the print on the board itself.

BDKH: Green board with BDKH-NAS-XXXX label - ASM1166 SATA controller (C8 - self-tested)
CW: Black board with CW-NAS-XXXX label - JMS585 SATA controller (not lower than C3, despite ASPM) The BKHD board IS NOT COMPATIBLE WITH THE CW BIOS variants!


Unfortunately, there is no information about this on the Internet.

A manual with the PIN assignments and also the original BIOS (for modding) is available here:

https://www.bkipc.com/en/product/BK-NAS-N510X-MB.html

By default, ASPM is not activated for PCIe ports - which is why the board consumes a bit more in IDLE. However, you can mod the BIOS to easily unlock the corresponding ports, and also unlock the overclocking menu.

If you use a PicoPSU, everything unlocked is actually possible with half the equipment in spin-down around 11W idle - in terms of price/performance ratio, the board is therefore great in combination with the Jonsbo N2 housing (5 HDDs + 1 SATA SSD), for example.

In contrast to the black version, however, the significantly better ASM1166 SATA controller is used here, which can also be used in C8 - the more expensive/much more well-known black variant of CW with a more recent BIOS unfortunately uses the JMS585 - which apparently blocks C8 efficiently.

You can find out quite well about this in Google...

Het is me alsnog niet duidelijk welke van de 2 nu beter is (bij gebrek aan interpretatie kennis die me ontbreekt...)

[FireDrunk]

UTMachine schreef op donderdag 28 december 2023 @ 10:13:
Ik heb recent een Topcon N100 (4x i226v) gekocht voor Proxmox en OPNsense via aliexpress.

Mijn ervaring is als volgt:

• Geheugen vervangen is apart, je doet er een andere/nieuwe in en dan moet je 1-2 minuten wachten op een biep. 8, 16 en 32GB Crucial werkt beste bij mij (100% pass bij memtest)
• De power adapter vervangen door een bekender merk
• Idle power consumptie is iets rond 10-11 Watt met Proxmox 8
• OPNsense heeft 4 cores nodig om boven de 600-700Mbit/sec uit te komen. Ook zijn de NICs gevirtualiseerd (hopelijk maakt dat de VM verplaatsen makkelijker?)
• Slecht tot geen support na de aankoop. Ook BIOS is gedeeltelijk in chinees

Ik kocht hem voor de zuinige N100 en 4x i226v, maar gezien de power consumptie (oftewel, niet laag), neig ik hem te vervangen door een NUC13 met een 2e 2.5Gbit/sec poort.
Iemand nog tips om de power consumptie nog verder omlaag te krijgen?

Welk virtual NIC type gebruik je?

[moepie]

UTMachine schreef op donderdag 28 december 2023 @ 10:13:
Ik heb recent een Topcon N100 (4x i226v) gekocht voor Proxmox en OPNsense via aliexpress.

Mijn ervaring is als volgt:

• Geheugen vervangen is apart, je doet er een andere/nieuwe in en dan moet je 1-2 minuten wachten op een biep. 8, 16 en 32GB Crucial werkt beste bij mij (100% pass bij memtest)
• De power adapter vervangen door een bekender merk
• Idle power consumptie is iets rond 10-11 Watt met Proxmox 8
• OPNsense heeft 4 cores nodig om boven de 600-700Mbit/sec uit te komen. Ook zijn de NICs gevirtualiseerd (hopelijk maakt dat de VM verplaatsen makkelijker?)
• Slecht tot geen support na de aankoop. Ook BIOS is gedeeltelijk in chinees

Ik kocht hem voor de zuinige N100 en 4x i226v, maar gezien de power consumptie (oftewel, niet laag), neig ik hem te vervangen door een NUC13 met een 2e 2.5Gbit/sec poort.
Iemand nog tips om de power consumptie nog verder omlaag te krijgen?

Vraag over de throughput die je gemeten hebt: hoeveel %CPU heeft ie nodig om die 600mbit te halen
Ik overweeg zo’n n100 als vervanger van mij i5 8400 systeem.
In de benchmarks zou de n100 vergelijkbare performance moeten halen als een i5- 8ste generatie. Maar mijn systeem haalt al maximale doorvoorsnelheid (400mbit) via pfsense met 2 cores. Daarom denk ik: wat is daar aan de hand?

[PuijkeN]

andru123 schreef op vrijdag 19 januari 2024 @ 16:52:
[...]
@PuijkeN 30W is misschien te krap voor je bord? Heb je max verbruik al gemeten? iperf op beide netwerk porten en tegelijkertijd cinebench of disk test

In geen load situatie (Proxmox alleen) zat ik op 8 Watt uit het stopcontact. Bij een stress test zie ik daar ongeveer 15 W bijkomen (CPU enkel).

Even rekenen:

N100 - 6 W TDP - maar load lijkt 15W te schelen in verbruik
5x i226V - 1.3 W per poort (worst case op 2.5Gbit en allemaal in gebruik, is bij mij niet het geval)
Intel S4610 SSD - 3 W lezen / 3 Watt schrijven (dus optellen?)

Komt in totaal dus uit op 15 + (1.3x5) + 6 = 27.5 Watt. Met een 30 Watt dus inderdaad niet veel over, maar afhankelijk van wat er eenvoudigste te bestellen is (verzendkosten) zal het een 36, 40 of 42 Watt FSP worden.

Ik heb dus bijna 10 W over op de lichtste voeding en meer dan 10 W op de andere, zou toch voldoende moeten zijn denk ik voor de andere zaken die ik niet gemeten heb (moederbord, geheugen, ..).

Maar misschien better safe than sorry en eerder richting de 40-50 gaan als die makkelijk verkrijgbaar zijn. 60 lijkt me dan weer overkill.

[chaoscontrol]

PuijkeN schreef op dinsdag 23 januari 2024 @ 13:18:
[...]


In geen load situatie (Proxmox alleen) zat ik op 8 Watt uit het stopcontact. Bij een stress test zie ik daar ongeveer 15 W bijkomen (CPU enkel).

Even rekenen:

N100 - 6 W TDP - maar load lijkt 15W te schelen in verbruik
5x i226V - 1.3 W per poort (worst case op 2.5Gbit en allemaal in gebruik, is bij mij niet het geval)
Intel S4610 SSD - 3 W lezen / 3 Watt schrijven (dus optellen?)

Komt in totaal dus uit op 15 + (1.3x5) + 6 = 27.5 Watt. Met een 30 Watt dus inderdaad niet veel over, maar afhankelijk van wat er eenvoudigste te bestellen is (verzendkosten) zal het een 36, 40 of 42 Watt FSP worden.

Ik heb dus bijna 10 W over op de lichtste voeding en meer dan 10 W op de andere, zou toch voldoende moeten zijn denk ik voor de andere zaken die ik niet gemeten heb (moederbord, geheugen, ..).

Maar misschien better safe than sorry en eerder richting de 40-50 gaan als die makkelijk verkrijgbaar zijn. 60 lijkt me dan weer overkill.

Let ook op dat een voeding bij 50% load meestal het efficientst is.

[D4NG3R]

Inmiddels draait m'n nieuwe servertje in een testopstelling met 2 stokoude ( 14 en 8 jaar oud ) schijven. Idle (spun-down) doet het beestje zo'n 14W, al is dat wel uitgelezen met een doodsimpele TS011F (TuYa) Zigbee plug dus bijzonder accuraat zal die meting niet zijn.

De BIOS ben ik (voor zover ik weet) geheel door geweest, powertop heeft alles behalve de Intel i226-V NIC's op good staan, EEE is op alle NIC's aan maar (lijkt) inactief en de CPU governor staat op powersave.

Heeft men hier nog verdere tips & tricks om het idle verbruik terug te brengen? Ik gok dat het grootste onnodige idle verbruik momenteel in de 3 ongebruikte NIC's zit, maar ben er bang voor dat ik daar weinig aan kan doen. Gelukkig ook niet het einde van de wereld, ik ben al heel erg blij met 14W en verwacht dat het nog iets lager zal zijn zodra ik m'n WD Red's over kan zetten.

[HotSpot79]

@D4NG3R , waarom de Intel i226-V niet ook op 'good'? Voor zover ik weet zijn er geen issues met de i226 icm powertop. Tenminste mijn UM480XT draait prima met de i226-v op 'good'.

[D4NG3R]

Zoek in het topic maar eens naar "i226-V", helaas klapt het systeem dicht wanneer je die dingen wil tunen. Het verbaast mij al dat ik de SATA poorten mag tunen zonder dat m'n storage flipt gezien 5 van de 6 worden aangestuurd door een JMB585.

[Mich]

D4NG3R schreef op donderdag 1 februari 2024 @ 08:55:
Zoek in het topic maar eens naar "i226-V", helaas klapt het systeem dicht wanneer je die dingen wil tunen. Het verbaast mij al dat ik de SATA poorten mag tunen zonder dat m'n storage flipt gezien 5 van de 6 worden aangestuurd door een JMB585.

Als de snelheid van je Lan porten niet uit maakt kan je ze ook forceren op een snelheid van 100mbit. Je kan dit ook met een scriptie doen dat die 1x per dag wel een tijdje sneller is ofzo. Maar bij mij scheelde dit nog aanzienlijk in verbruik.

[HotSpot79]

D4NG3R schreef op donderdag 1 februari 2024 @ 08:55:
Zoek in het topic maar eens naar "i226-V", helaas klapt het systeem dicht wanneer je die dingen wil tunen. Het verbaast mij al dat ik de SATA poorten mag tunen zonder dat m'n storage flipt gezien 5 van de 6 worden aangestuurd door een JMB585.

Hmm, vreemd. Mijn I226-v geven geen enkel probleem met powertop. Systeem draait als een zonnetje:

01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
DeviceName: Onboard LAN Brodcom
Subsystem: Intel Corporation Ethernet Controller I226-V

En dit is de powertop line in "Tunables":

Good Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V

zo te zien heb ik een rev4? Zou dat nog wat uitmaken? Of is het een combinatie van de Intel NIC met andere apparaten op je moederbord. Hmmm.

Die JMB585 idd geeft bij mij ook problemen, ik kan die niet in ASPM L0sL1s zetten en ze geven problemen als ik de computer wil rebooten, dan hangt de initialisatie van de JMB585 M2. Daarom heb ik idd de ASM1166 genomen. DIe lijkt prima te werken met de juiste firmware.

[D4NG3R]

@Mich heeft dat ook zin wanneer de poorten compleet ongebruikt zijn? Eth1-3 zit namelijk niks in, en zou ik dus gerust naar 100Mbit kunnen zetten als uit of wat anders geen optie is. Alleen Eth0 wil ik op 1Gbit blijven gebruiken. (En in de toekomst 2.5Gbit)

Ik zie trouwens dat ik de EEE commando's van jouw heb overgenomen, hoe ziet dat er aan jouw kant precies uit? Alle 4 de poorten vermelden dat EEE "enabled - inactive" is.

Onder water scheelt het wellicht iets, maar door m'n inaccurate meter zal ik dat op dit moment niet kunnen achterhalen.

@HotSpot79 Het zal ongetwijfeld aan een combinatie van hardware of de BIOS oid liggen, alles wat ik tegen kom m.b.t. N100, N5105, N6005 en andere N-bordjes met 4 i226-V NIC's heeft het over dezelfde crashes. Ik heb geen idee om welke revisie het precies gaat, moet ik vanavond even naar kijken.

Edit: Ik vraag mij overigens wel af vanwaar (een van de) spun-down schijven alsnog soms even een seconde of wat omhoog spiken. Voordat ik deze aansloot kwam dit gedrag expliciet niet voor:



Maar ja, een paar stokoude schijven om even wat dingen te testen voordat ik m'n Reds aansluit. Dikke kans dat het dan niet of een stuk minder voorkomt.

[ Voor 87% gewijzigd door D4NG3R op 01-02-2024 10:55 ]

[Mich]

D4NG3R schreef op donderdag 1 februari 2024 @ 09:07:
@Mich heeft dat ook zin wanneer de poorten compleet ongebruikt zijn? Eth1-3 zit namelijk niks in, en zou ik dus gerust naar 100Mbit kunnen zetten als uit of wat anders geen optie is. Alleen Eth0 wil ik op 1Gbit blijven gebruiken. (En in de toekomst 2.5Gbit)

Ik zie trouwens dat ik de EEE commando's van jouw heb overgenomen, hoe ziet dat er aan jouw kant precies uit? Alle 4 de poorten vermelden dat EEE "enabled - inactive" is.

Onder water scheelt het wellicht iets, maar door m'n inaccurate meter zal ik dat op dit moment niet kunnen achterhalen.

@HotSpot79 Het zal ongetwijfeld aan een combinatie van hardware of de BIOS oid liggen, alles wat ik tegen kom m.b.t. N100, N5105, N6005 en andere N-bordjes met 4 i226-V NIC's heeft het over dezelfde crashes. Ik heb geen idee om welke revisie het precies gaat, moet ik vanavond even naar kijken.

Edit: Ik vraag mij overigens wel af vanwaar (een van de) spun-down schijven alsnog soms even een seconde of wat omhoog spiken. Voordat ik deze aansloot kwam dit gedrag expliciet niet voor:

[Afbeelding]

Maar ja, een paar stokoude schijven om even wat dingen te testen voordat ik m'n Reds aansluit. Dikke kans dat het dan niet of een stuk minder voorkomt.

code:

EEE settings for enp3s0:
        EEE status: enabled - active
        Tx LPI: 0 (us)
        Supported EEE link modes:  Not reported
        Advertised EEE link modes:  Not reported
        Link partner advertised EEE link modes:  Not reported

Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 06)
Subsystem: ASUSTeK Computer Inc. Ethernet Controller I226-V


Volgens mij hielp het bij mij sowieso door het aan te zetten. Als het inactive is dan staat het op je switch/router/etc nog uit of wordt het niet ondersteund.

[PuijkeN]

Mich schreef op maandag 5 februari 2024 @ 20:18:
[...]


Ok dat is mooi. Er is dan toch wel minstens 1 port verbonden met een switch ofzo he

Kan jij je output van lspci -vvv van een netwerk kaart eens posten?

Er zijn er 2 in passtrough naar een pfSense VM. 2 inactief zonder kabel en 1 aangesloten op een 1Gbit switch voor het management van Proxmox.

Eén van de NIC's in passtrough:

code:

01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 16
        IOMMU group: 11
        Region 0: Memory at 81100000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 81200000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 81000000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-f9
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:- RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: vfio-pci
        Kernel modules: igc

Management NIC:

code:

05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 18
        IOMMU group: 15
        Region 0: Memory at 80500000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 80600000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 80400000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-fd
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:+ RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: igc
        Kernel modules: igc

Powertop auto-tune werkt niet omdat hij dan de parameters van de NIC's verzet en het systeem uiteindelijk lijkt te blokkeren maar alles netwerk gerelateerd van de Proxmox host zelf blokkeert. pfSense werkt vrolijk verder maar ik kan in Powertop dan ook maar 3 van de 5 NIC's selecteren.

ASPM is ook niet ok volgens mij ondanks dat de BIOS settings denk ik wel goed zijn, desondanks is het verbruik wel oke.

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

[jackkiej]

PuijkeN schreef op vrijdag 9 februari 2024 @ 12:28:
[...]


Er zijn er 2 in passtrough naar een pfSense VM. 2 inactief zonder kabel en 1 aangesloten op een 1Gbit switch voor het management van Proxmox.

Eén van de NIC's in passtrough:

code:

01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 16
        IOMMU group: 11
        Region 0: Memory at 81100000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 81200000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 81000000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-f9
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:- RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: vfio-pci
        Kernel modules: igc

Management NIC:

code:

05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 18
        IOMMU group: 15
        Region 0: Memory at 80500000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 80600000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 80400000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-fd
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:+ RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: igc
        Kernel modules: igc

Powertop auto-tune werkt niet omdat hij dan de parameters van de NIC's verzet en het systeem uiteindelijk lijkt te blokkeren maar alles netwerk gerelateerd van de Proxmox host zelf blokkeert. pfSense werkt vrolijk verder maar ik kan in Powertop dan ook maar 3 van de 5 NIC's selecteren.

ASPM is ook niet ok volgens mij ondanks dat de BIOS settings denk ik wel goed zijn, desondanks is het verbruik wel oke.

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Toevallig al gezocht op de netwerkkaart in het topic? https://gathering.tweaker...I226-V&data%5Bboolean%5D=

Als ik zo lees kan het zijn dat je EEE moet enablen. En heb je het force ASPM script al geprobeerd?

Wat zijn de ASPM instellingen in je bios en hoe staan die ingesteld?

[PuijkeN]

jackkiej schreef op vrijdag 9 februari 2024 @ 12:45:
[...]


Toevallig al gezocht op de netwerkkaart in het topic? https://gathering.tweaker...I226-V&data%5Bboolean%5D=

Als ik zo lees kan het zijn dat je EEE moet enablen. En heb je het force ASPM script al geprobeerd?

Wat zijn de ASPM instellingen in je bios en hoe staan die ingesteld?

Ik zal één van dezer eens enkele foto's maken van de BIOS.

Het ASPM script heb ik nog niet getest omdat het een "productie" firewall is, ik moet het gepland krijgen om hier thuis even internet uit te zetten Maar ik begreep dat er mogelijk issues kunnen ontstaan hierdoor?

EEE heb ik getest, dat gaf erg weinig verschil in vergelijking met een lege netwerkpoort. Verder ondersteund mijn switch geen EEE dus voor de wel actieve verbindingen zal het niet veel uitmaken.

[Mich]

PuijkeN schreef op vrijdag 9 februari 2024 @ 12:28:
[...]


Er zijn er 2 in passtrough naar een pfSense VM. 2 inactief zonder kabel en 1 aangesloten op een 1Gbit switch voor het management van Proxmox.

Eén van de NIC's in passtrough:

code:

01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 16
        IOMMU group: 11
        Region 0: Memory at 81100000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 81200000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 81000000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-f9
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:- RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: vfio-pci
        Kernel modules: igc

Management NIC:

code:

05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 18
        IOMMU group: 15
        Region 0: Memory at 80500000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 80600000 (32-bit, non-prefetchable) [size=16K]
        Expansion ROM at 80400000 [disabled] [size=1M]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-00-ec-fd
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:+ RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: igc
        Kernel modules: igc

Powertop auto-tune werkt niet omdat hij dan de parameters van de NIC's verzet en het systeem uiteindelijk lijkt te blokkeren maar alles netwerk gerelateerd van de Proxmox host zelf blokkeert. pfSense werkt vrolijk verder maar ik kan in Powertop dan ook maar 3 van de 5 NIC's selecteren.

ASPM is ook niet ok volgens mij ondanks dat de BIOS settings denk ik wel goed zijn, desondanks is het verbruik wel oke.

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

ASPM zal dus ook niet alles zeggen. Je komt wel in C10. Denk dat ASPM aan dan ook weining zou schelen. Je kan het ook forceren met een start van linux (werkt ook niet altijd, maar proberen waard) maar zou eerst eens je bios nakijken.

Je zou dit commando kunnen draaien om te zien of EEE werkt. Maar dit is los van of ASPM werkt.

ethtool --show-eee <adapter naam>

Mocht EEE of ASPM forceren niet lukken kan je gewoon rebooten en alles werkt weer. Je kan ook zeggen dat er een storing bij je provider is

[HotSpot79]

gastje01 schreef op dinsdag 13 februari 2024 @ 12:33:
[...]


Kijk, dat is nuttige info.

Hoe heb je de 2e NIC uitgeschakeld? Ik gebruik Proxmox, mogelijk dat het daar anders werkt, maar het idee klint wel aantrekkelijk, hij is namelijk niet aangesloten. Ik gebruik dezelfde driver, verder zonder issues, maar ik ga ook niet hoger dan 1 Gbit.

Die kan je in de bios mooi uitzetten. Weet even niet uit het hoofd welke precies, maar je hebt in bios de mogelijkheid om pcie devices uit te schakelen.

Maar ik haal met de realtek 8125b verschillende resultaten. De standaard linux driver r8169 ondersteund geen jumbo frames icm Pause frames. Dat doet de r8125 kernel driver dan weer wel. Maar de snelheid van upload met iperf3 is bedroevend. Ik haal op de h3+ een magere 1.6 gb/s. Download dan weer wel netjes 2.48 gb/s (mtu 9000 en Pause Frames met de r8125 kernel driver. Die realtek 8125b kaart is echt prut in de H3, had veel liever de Intel I226-v gehad.

[gastje01]

HotSpot79 schreef op dinsdag 13 februari 2024 @ 14:37:
[...]


Die kan je in de bios mooi uitzetten. Weet even niet uit het hoofd welke precies, maar je hebt in bios de mogelijkheid om pcie devices uit te schakelen.

Maar ik haal met de realtek 8125b verschillende resultaten. De standaard linux driver r8169 ondersteund geen jumbo frames icm Pause frames. Dat doet de r8125 kernel driver dan weer wel. Maar de snelheid van upload met iperf3 is bedroevend. Ik haal op de h3+ een magere 1.6 gb/s. Download dan weer wel netjes 2.48 gb/s (mtu 9000 en Pause Frames met de r8125 kernel driver. Die realtek 8125b kaart is echt prut in de H3, had veel liever de Intel I226-v gehad.

Klopt, maar ik dacht uit dit topic geleerd te hebben dat je dat beter niet kon doen omdat je OS 'm dan niet in een energie-zuinige modus kan zetten? Andere gedachte, als er geen kabel in zit, dan zou ASPM 'm zelf in low-energy moeten zetten?

Ik gebruik gewoon de standaard kernel driver en haal up/down gigabit snelheden. Sneller is de switch die er achter zit niet, dus geen reden om daar mee te rommelen als t niets toevoegt (beperkt?) aan het energieverbruik.

FreddyT schreef op dinsdag 13 februari 2024 @ 15:34:
[...]


Ik heb het in de BIOS niet kunnen vinden, maar zou nog eens kunnen zoeken. Ik gebuik nu het commando:

code:

sudo ip link set enp1s0 down

Die ga ik even testen, kijken of het nog iets van verschil maakt.

[FireDrunk]

Tweak_IT schreef op vrijdag 23 februari 2024 @ 10:03:
[...]

Heb jij ook de 19de een Tracking code gehad ?
Mijn tracking code hangt al dagen op de initiële aanmeldcode

22 januari besteld, 20 februari tracking code gekregen.

Welke memory modules gebruik je ?

uitvoering: Corsair Vengeance CMSX64GX5M2A4800C40

---

We zijn weer iets verder. De SFP's werken gewoon, blijkbaar kijk ik met mijn neus naar de link speed.
Ze worden licht warm, maar nog niet zorgwekkend, even aankijken hoe ze zich gedragen onder volle belasting.

ASPM werkt out of the box op alles behalve de X710 NIC's, en de PCIe poort waar ze op zitten.
Met het ASPM script krijg ik de X710's (en de PCIe poort) ook gewoon in ASPM, maar het doet verder niets aan het verbruik, dus denk niet dat ik dat ga forceren.

Bash:

root@rv3:~# lspci -vv | awk '/ASPM.*?abled/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM.*?abled)'
00:06.0 PCI bridge: Intel Corporation Raptor Lake PCIe 4.0 Graphics Port (prog-if 00 [Normal decode])
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:06.2 PCI bridge: Intel Corporation Device a73d (prog-if 00 [Normal decode])
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:07.0 PCI bridge: Intel Corporation Raptor Lake-P Thunderbolt 4 PCI Express Root Port (prog-if 00 [Normal decode])
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:07.2 PCI bridge: Intel Corporation Raptor Lake-P Thunderbolt 4 PCI Express Root Port (prog-if 00 [Normal decode])
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1c.0 PCI bridge: Intel Corporation Alder Lake-P PCH PCIe Root Port (rev 01) (prog-if 00 [Normal decode])
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Device 51b2 (rev 01) (prog-if 00 [Normal decode])
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Intel Corporation SSD 660P Series (rev 03) (prog-if 02 [NVM Express])
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.1 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
57:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
58:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 04)
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Eerste bevindingen zijn over het algemeen best positief! Boot tijd van UEFI is wat lang, maar of dat nou heel erg is...

[ Voor 71% gewijzigd door FireDrunk op 23-02-2024 14:54 ]

[UTMachine]

stormfly schreef op zondag 3 maart 2024 @ 08:41:
[...]


Kan je dit wat beter onderbouwen met wat je gemeten hebt (grafieken) en hoe je gemeten hebt voor het CPU gebruik?

Ik heb een n100 met 4 i226v, maar get vermogen is tussen 10w (idle) en 20w bij maximum cpu. Als ik speedtest draai met 1Gb/sec is de cpu in promox al dik 70%+ (zonder ids/ips, anders haal ik de 1Gb/sec niet) met alle 4 de cpu’s.

[bmaster001]

UTMachine schreef op maandag 4 maart 2024 @ 00:39:
[...]
Ik heb een n100 met 4 i226v, maar get vermogen is tussen 10w (idle) en 20w bij maximum cpu. Als ik speedtest draai met 1Gb/sec is de cpu in promox al dik 70%+ (zonder ids/ips, anders haal ik de 1Gb/sec niet) met alle 4 de cpu’s.

Dus je draait daar Proxmox op, en OPNSense in een vm? Nog andere vms?
Op zich vind ik 10W nog niet een groot probleem... die 1Gb heb je zelden nodig (ik niet althans).

[stormfly]

UTMachine schreef op maandag 4 maart 2024 @ 00:39:
[...]


Ik heb een n100 met 4 i226v, maar get vermogen is tussen 10w (idle) en 20w bij maximum cpu. Als ik speedtest draai met 1Gb/sec is de cpu in promox al dik 70%+ (zonder ids/ips, anders haal ik de 1Gb/sec niet) met alle 4 de cpu’s.

Dat is opmerkelijk, uit eigen ervaringen kan ik stellen dat op mijn N305 (zelfde CPU meer cores) het verbruik erg laag blijft. Er is volgens mij door iemand recent gepost dat een computervakblad de N100 heeft getest en dat bij alle ISP aansluitmethoden PPPoE of DHCP de CPU onder 20% blijft. Wat in lijn is met mijn ervaringen.

Ik denk dat er bij jou wat anders speelt wat je verder kunt onderzoeken.

[ijdod]

andru123 schreef op zondag 24 maart 2024 @ 17:43:
[...]

Opvallend dat je L1 substates uit heb?

Als ik ze aan zet wordt de NIC niet meer gezien door het OS; dat is de reden dat het uit staat (bij PCI 1 staat het aan). Volgens lspci zouden de settings wel supported moeten zijn; maar ik ben niet super bekend met de lspci output om alle gegevens te interpreteren.

Heatsink op i226 chips heb ik nog nooit gezien.

Zou niet nodig moeten zijn; maar er zit een vrij breed contactvlak naar de heatsink direct achter de NICs. Ik ben er van uitgegaan dat dit voor de NICs was, maar zeker weten doe ik dat niet. Ik heb de heatsink niet los gehad. Maar gezien dat de LEDjes het doen wordt het eea niet daadwerkelijk uitgezet.

code:

02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-V
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 18
        Region 0: Memory at 80400000 (32-bit, non-prefetchable) [size=1M]
        Region 3: Memory at 80500000 (32-bit, non-prefetchable) [size=16K]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] MSI-X: Enable+ Count=5 Masked-
                Vector table: BAR=3 offset=00000000
                PBA: BAR=3 offset=00002000
        Capabilities: [a0] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Device Serial Number a8-b8-e0-ff-ff-01-db-29
        Capabilities: [1c0 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [1f0 v1] Precision Time Measurement
                PTMCap: Requester:+ Responder:- Root:-
                PTMClockGranularity: 4ns
                PTMControl: Enabled:+ RootSelected:-
                PTMEffectiveGranularity: 4ns
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us
        Kernel driver in use: igc
        Kernel modules: igc

[andru123]

ijdod schreef op zondag 24 maart 2024 @ 18:45:
maar ik ben niet super bekend met de lspci output om alle gegevens te interpreteren.

code:

02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                        
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-

+ is goed, - is slecht. dat is van belang hier
Je kan proberen die aan te zetten. Er zijn scripts hier gedeeld om ASPM te forceren.
Het verbaast me dat zelfs zonder dit het verbruik slechts 5W is.

[ Voor 3% gewijzigd door andru123 op 24-03-2024 21:06 ]

[mrmrmr]

moflitz schreef op woensdag 24 april 2024 @ 10:33:
Ziet er veel belovend uit:
https://www.hardkernel.com/shop/odroid-h4/

Idle Power consumption tussen de 2 en 2.9 w.
Ik wacht nog op een externe review.

Dit is wel een DC meting. Er komt dus nog verbruik bij door de overhead van de adapter. Dat hadden ze wel even kunnen meemeten. Het meetapparaat is ook van eigen fabrikaat, waarschijnlijk niet officieel geijkt en van kwaliteit vergelijkbaar met labapparatuur.

Ze gebruiken een extra PCIe-to-SATA bridge. De doorvoersnelheid is beperkt tot 1000 Mbps voor 4 drives.
Ook de 2.5Gbps netwerkchip verbruikt meer, niet vermeld is op welke snelheid ze de I226-V hebben laten draaien.

Maar het verbruik is wel veel minder dan N100 (etc) concurrenten die soms echt geen lage idle cijfers halen, 7-9W aan de 230V stekker worden genoemd.

Het verbruik van H4+/Ultra is toch ook significant hoger dan de vorige generatie H3*. Als je voldoende hebt aan die generatie, is dat nog steeds de beste keuze.

[PuijkeN]

Na enkele maanden nog eens kort wat tijd gevonden voor ASPM te bekijken op een CWKK N100-5L, veel gepruts en uiteindelijk via een topic op ServeTheHome toch wat nuttige info gevonden.

Ik ben ondertussen ook overgestapt van de originele adapter naar de FSP040-RHAN3 - onverwacht maar hier was eigenlijk geen noemenswaardig verschil zichtbaar - blijkt dat de originele adapter op zich dus wel al zuinig was.


Naast nog enkele extra settings die op STH aangeraden werden, uiteindelijk ook de ASPM settings aangepast.

Situatie voor:

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Situatie na:

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Ziet er dus eindelijk goed uit! Ik heb geen nieuwe baseline testen kunnen doen want er was weer nood aan internet en tv dus ik moet afgaan op mijn totaalverbruik van de "router hoek", het is wat snel maar er lijkt toch opnieuw een kleine verbetering te zijn +-2 Watt minder sinds 14u30.



Mijn dagverbruik van de routerhoek is erg stabiel, dus zondag na 24u gedraaid te hebben maar eens het dag verbruik vergelijken.

[PuijkeN]

PuijkeN schreef op donderdag 16 mei 2024 @ 14:54:
Na enkele maanden nog eens kort wat tijd gevonden voor ASPM te bekijken op een CWKK N100-5L, veel gepruts en uiteindelijk via een topic op ServeTheHome toch wat nuttige info gevonden.

Ik ben ondertussen ook overgestapt van de originele adapter naar de FSP040-RHAN3 - onverwacht maar hier was eigenlijk geen noemenswaardig verschil zichtbaar - blijkt dat de originele adapter op zich dus wel al zuinig was.


Naast nog enkele extra settings die op STH aangeraden werden, uiteindelijk ook de ASPM settings aangepast.

Situatie voor:

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Situatie na:

code:

root@pve1:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Ziet er dus eindelijk goed uit! Ik heb geen nieuwe baseline testen kunnen doen want er was weer nood aan internet en tv dus ik moet afgaan op mijn totaalverbruik van de "router hoek", het is wat snel maar er lijkt toch opnieuw een kleine verbetering te zijn +-2 Watt minder sinds 14u30.

[Afbeelding]

Mijn dagverbruik van de routerhoek is erg stabiel, dus zondag na 24u gedraaid te hebben maar eens het dag verbruik vergelijken.

Na enkele dagenhet resultaat - dagverbruik van de routerhoek van 1080 Watt / dag naar 1040 Watt / dag. Minder dan 2 Watt gewonnen dus, maar alle beetjes helpen natuurlijk

Echter wel een vervelend issue momenteel - elke 24u lijkt mijn pfSense te hangen - mijn netwerk wordt heel unresponsive en alles gaat erg traag intern. Oplossing lijkt dan om extern via VPN te verbinden en de pfSense te rebooten - heb er nog niet echt de vinger op kunnen leggen waardoor dit nu precies veroorzaakt wordt.

Kunnen zulke zaken gebeuren door ASPM ?

[Clueless]

RobertMe schreef op woensdag 26 juni 2024 @ 16:11:
[...]

Ik baseerde mij op dat stukje van Hardkernel. Wel "beter" dus doordat die hoger geklokt is. Dat die nieuwer zijn zijn heb ik dan verkeerd in mijn hersenpan geprint.

En ook apart dan dat Hardkernel een 2,x Watt systeem met de semi identieke (maar hogere frequency en hoger TDP dus waarschijnlijk onzuiniger) CPU als waar anderen merk of niet, niet onder de 8 Watt lijken te komen. Schijnbaar doen Asus, Asrock, Topton, ... dan toch iets nogal verkeerd?

Weet ook niet of die 2,0 tot 2,9W "headless" wel heel realistisch is.

Als ik even kijk dan zie ik niks staan over zaken als connectivity, storage, cooling e.d. in die scenario's. Als ik naar mijn N100 dev bordje kijk (LattePanda Mu) dan is die nu ~8-8,5W. Maar dat is bijv. met 2x i225V's aangesloten (en die zijn known wat buggy met powertop) versus de iets zuinigere i226V's op dit bordje. Ik heb op mijn N100 een actieve koeler zitten (5V @ 0,35A = 1,35W). Op mijn "chiplet"-bordje is bijv. 64GB aan storage, dat staat ook niet aangegeven bij de H4.

Het zijn wat voorbeelden van inrichtingsverschillen en keuzes die vendoren kunnen maken maar ik zou me niet blind staren op die 2W-3W. Qua keuzes zal de H4/H4+ echt wel zuinig zijn door gemaakte keuzes maar ik denk dat de realistischere getallen ergens tussen de 5-6W zullen liggen en met actieve koeling denk ik dat je al gauw toch ook naar de reeds bekendere getallen zult gaan. Kan misschien nog een Watt-je schelen maar dan is de rek er denk ik toch wel uit.

[mrmrmr]

De Intel eTVB bug kan het best in het Intel topic besproken worden, aangezien het lijkt voor te komen bij overklok-frequenties (inclusief de turbo frequenties) die gepaard gaan met hoge vcore spanning.

We doen hier natuurlijk niet aan turbo omdat het inherent onzuinig is, bespreken daarvan hoort elders thuis, hier gaat het echt alleen over zuinige servers.

@iMars
CWWK Q670 mini-ITX ziet er op het eerste gezicht niet uit als een zuinige computer. Ik vraag me af of er een tweede SATA controller in zit of dat het geheel via de Intel chipset verloopt. Er zijn i226-V en i226-LM 2.5 Gbps netwerkchips aanwezig, die misschien problemen veroorzaken met de package C state / ASPM. Ik kon geen handleiding vinden voor dit bord, support verwijst naar een Chinese site. Er zijn geen voor zuinige thuisservers nuttige PCIe slots. Het enige slot is voor een grafische kaart en zal waarschijnlijk ook een lagere package C state veroorzaken. Ik kan geen voordeel bedenken om Q670 chipset op een mini-ITX bord te willen. Dat vind ik een rare combinatie. Je kan in een mini-ITX kast natuurlijk geen 8x SATA kwijt. Waarom zou je jezelf dan de voor zuinigheid betere PCIe x1/x4 slots ontzeggen?

Als je hem toch aanschaft: laat ons weten wat het verbruik is.

[dabachata]

Kuusj schreef op dinsdag 14 november 2023 @ 15:15:
[...]

Heb hem inmiddels binnen, voor de meelezers in dit topic: gaat dus om de MInisforum UM480 XT (https://store.minisforum.de/products/venus-um480-xt-um560-xt), dat is een barebones met:
- AMD Ryzen 7 4800H (8C/16T, 2.9Ghz base, 4.2Ghz boost)
- RX Vega 7 op 1600Mhz (met x.265 10-bit hw-transcoding etc.)
- M.2 NVME slot op PCI-e 3.0 met 4 lanes
- SATA III slot voor één 2.5" SSD/HDD
- 2 SODIMM DDR4 slots (3200Mhz, max 64GB)
- Intel I-226v 2.5gbit netwerkpoort
- Zit een dual band Wifi AC-kaartje op een M.2 2230 slot (edit, kan ook een Wifi6E met BT 5.2 zijn)
- 2x USB 3.2 gen 2 (10gbit), 2x USB 2.0, en nog 1x USB Type C op 10gbit en een USB-C met DP1.4 en PD)
- 2x HDMI

Ik heb er barebones 179,- voor betaald. Heeft natuurlijk een onvergelijkbare hoeveelheid power méér dan een Intel N100. Heeft een maandje geduurd voordat hij er was, maar heb er vanmorgen even unRAID op gezet, en powertop --auto-tune. Ook getracht wat settings in de BIOS te veranderen maar daar ben ik nog mee bezig.

In ieder geval, met de standaard power-brick (zou level VI moeten zijn), en 2x16GB Crucial geheugen, een Samsung 980 van 500GB en een 1gbit/s netwerkkabel (heb de wifimodule eruit gehaald) doet 'ie idle in unRAID 5W. Vind dat persoonlijk wel erg netjes. Ik ga nog proberen of ik de originele 64GB 2230 SSD van mijn Steam Deck erin kan zetten. Je zou in theorie wel een M.2 PCI-e kaartje erin kunnen zetten waardoor je meer SSD's kunt gebruiken, daar zouden geen limitaties op zitten. Er is ook nog wel wat ruimte in het chassis.

Heb het TDP op 10W gelimiteerd want hij hoeft voorlopig toch alleen maar de Unifi Controller en HA te draaien.

Edit: ik zie in Powertop trouwens maar tot C3 gaan, dus C0, C1, C2 en C3. Zou ik er meer moeten kunnen zien? Heb wel geprobeerd die settings aan te passen in de BIOS.

LOL . Al dat Idle 5W nadat je de TDP begrensd hebt op 10W inclusief USB-C Alt DP met DP1.4 en PD, de poort die ik mis op heel veel Mini PC's ... ?! 🤩 Impressive!

[blackmage2v]

Hallo
Al een tijdje volg ik met veel plezier dit topic. Recent ben ik begonnen met het configureren van mijn nieuwe Odroid H4+ server. Tijd om mijn ervaringen te delen.

De hardware:

#	Category	Product	Prijs	Subtotaal
2	Interne harde schijven	Toshiba MG07ACA14TE (512e), 14TB	€ 225,88	€ 451,76
1	Geheugen intern	Crucial CT16G48C40S5	€ 41,50	€ 41,50
1	SSD's	Kioxia Exceria G2 M.2 2TB	€ 111,64	€ 111,64
1	Singleboardcomputers	Hardkernel ODROID H4+	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 604,90

Hier draai ik Debian op. De eerste metingen heb ik kunnen doen middels een Brennenstuhl:

Opzet	Verbruik
Alleen SSD	4,2 W
SSD + 2x HDD in spindown	9,3 W
SSD _ 2x HDD actief	23 W

Ik heb het verbruik naar beneden gekregen middels wat BIOS-instellingen aanpassen en Powertop. De enige meting die ik nog voor elkaar wil krijgen, is als de hd's in idle mode staan. Mijn schatting is dat ik dan rond de 13 W zal uitkomen.

Ik ben al wel tegen wat aangelopen. Helaas werkt het niet om Powertop --auto-tune te gebruiken, omdat er een bug zit in de driver van de netwerk controller Intel I226-V. Voor meer info:

Topic Odroid forum
Topic Bugzilla
Topic op Github

Je kan hier wel omheen werken. Zolang je in Powertop handmatig alle aanbevolen settings aanpast, behalve die van de netwerk controllers, dan werkt het.

Ik heb nog 2 vragen:

1. Wanneer de 2 hd's in spindown zijn, is het totaal verbruik 9,3 W. Als ik ga rekenen vanaf de basis met alleen de SSD, dan zouden de hd's in spindown samen ongeveer 5 W verbruiken. Ofwel: 2,5 W per hd. Is dit normaal voor deze schijven als ze in spindown zijn?

2. Het verbruik wanneer alles aan staat, is rond de 23 W. Als ik ga rekenen vanaf het basis verbruik van 4,2 W + 2 hd's aan 16 W, zou ik rond de 20 uit moeten komen. Ik vind 23 W dan wat aan de hoge kant. Is dit verklaarbaar?

[manusjevanalles]

blackmage2v schreef op dinsdag 17 september 2024 @ 11:46:
Hallo
Al een tijdje volg ik met veel plezier dit topic. Recent ben ik begonnen met het configureren van mijn nieuwe Odroid H4+ server. Tijd om mijn ervaringen te delen.

De hardware:

#	Category	Product	Prijs	Subtotaal
2	Interne harde schijven	Toshiba MG07ACA14TE (512e), 14TB	€ 225,88	€ 451,76
1	Geheugen intern	Crucial CT16G48C40S5	€ 41,50	€ 41,50
1	SSD's	Kioxia Exceria G2 M.2 2TB	€ 111,64	€ 111,64
1	Singleboardcomputers	Hardkernel ODROID H4+	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 604,90

Hier draai ik Debian op. De eerste metingen heb ik kunnen doen middels een Brennenstuhl:

Opzet	Verbruik
Alleen SSD	4,2 W
SSD + 2x HDD in spindown	9,3 W
SSD _ 2x HDD actief	23 W

Ik heb het verbruik naar beneden gekregen middels wat BIOS-instellingen aanpassen en Powertop. De enige meting die ik nog voor elkaar wil krijgen, is als de hd's in idle mode staan. Mijn schatting is dat ik dan rond de 13 W zal uitkomen.

Ik ben al wel tegen wat aangelopen. Helaas werkt het niet om Powertop --auto-tune te gebruiken, omdat er een bug zit in de driver van de netwerk controller Intel I226-V. Voor meer info:

Topic Odroid forum
Topic Bugzilla
Topic op Github

Je kan hier wel omheen werken. Zolang je in Powertop handmatig alle aanbevolen settings aanpast, behalve die van de netwerk controllers, dan werkt het.

Ik heb nog 2 vragen:

1. Wanneer de 2 hd's in spindown zijn, is het totaal verbruik 9,3 W. Als ik ga rekenen vanaf de basis met alleen de SSD, dan zouden de hd's in spindown samen ongeveer 5 W verbruiken. Ofwel: 2,5 W per hd. Is dit normaal voor deze schijven als ze in spindown zijn?

2. Het verbruik wanneer alles aan staat, is rond de 23 W. Als ik ga rekenen vanaf het basis verbruik van 4,2 W + 2 hd's aan 16 W, zou ik rond de 20 uit moeten komen. Ik vind 23 W dan wat aan de hoge kant. Is dit verklaarbaar?

Interessant om je post te lezen. Ik ben ook bezig met de H4+. Wat merk je als je toch powertop —auto-tune draait? Bij mij lijkt hij het gewoon te doen in Ubuntu desktop, maar alleen als ik beide NIC’s aansluit met een ethernetkabel. Ik kom dan uit op ongeveer hetzelfde verbruik uit als bij jou met alleen de SSD (in mijn geval nog zonder SSD’s), maar wel tot maximaal C8.

Heb je behalve ASPM nog andere instellingen in het bios aangepast?

[GoBieN-Be]

Het probleem met onstabiliteit door de Intel 2,5Gbe I226-V adapters en powertop is al een hele tijd geweten.
Of wel doe je de tunables van de NIC's niet, ofwel sluit je op alle poorten een kabel aan.

[RedRayMann]

Heb vanavond met mijn Odroid H4+ gespeeld.
@manusjevanalles heeft ongeveer de zelfde setup.

Heb geprobeerd alles zo compleet mogelijk te noteren voor toekomstige tweakers met de Odroid H4+

TL;DR
Verbruik is nu ongeveer 4,4 a 5,5Watt gemiddeld tijdens het spelen met uitschieters naar 10W
TL;DR update
Ben met onderstaande info tot 3w/3,5w/6w gekomen

Mijn test setup;

#	Category	Product
1	Singleboardcomputers	Hardkernel ODROID H4+
1	Voeding	Hardkernel Hard Kernel 15V/4A Power Supply - EU Plug
1	Geheugen intern	Corsair Vengeance CMSX32GX5M1A4800C40
1	SSD's	WD SN520 M.2 80mm 256GB
Bekijk collectie Importeer producten

OS: Proxmox Virtual Environment 8.3.2 (nog geen containers)
Accessoires; USB Toetsenbord, Netwerk (1x, linker poort), HDMI kabel
Meet apparatuur; Tuya Zigbee 3.0 PowerPlug ivm Home Assistant


BIOS Tweaks
Chipset > PCH-IO configuration > SCS configuration > eMMC 5.1 controller -> Disabled

Onderstaand uitgevoerd met dank aan @Satom (Satom in "Het grote zuinige server topic - deel 3")
(bron)

Advanced > Power & Performance > CPU Power Management Control

Boot performance=Max Battery
Turbo Mode: Disabled
View/Configure Turbo Options:
Power Limit 1 Override=Enabled

Power Limit 1=6000

Power Limit 2 Override=Enabled

Power Limit 2=12000

Platform PL1=Enable
Platform PL1 Power=5000
Advanced > Power & Performance > GT Power Management Control

RC6 (render standby)=Disabled
Maximum GT Frequency=550Mhz
Disable Turbo GT Frequency=Disabled
Boot

Setup Prompt Timeout=3
Fast Boot=Disabled
Boot Mode=UEFI
Chipset > PCH-IO Configuration

State after G3=S0 state (Auto Power ON settings if the power is lost during normal operation)

Software Tweaks
In /etc/default/grub staat al standaard dit "GRUB_CMDLINE_LINUX_DEFAULT="quiet" (zie verder bij To Do)
Proxmox Post install script (bron)
Proxmox CPU Scaling Govener (bron)
Dubbel check met cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor (resultaat Powersave)
Install Powertop 2.14 (2.15 werkt niet icm Proxmox)
Powertop --auto-tune gedaan maar dan lijkt de console vast te lopen.

code:

           Pkg(OS)  |            CPU(OS) 0
POLL        0.0%    | POLL        0.0%    0.0 ms
C1E         0.2%    | C1E         0.2%    0.3 ms
C6          0.2%    | C6          0.6%    0.8 ms
C8          0.4%    | C8          0.0%    0.0 ms
C10        93.5%    | C10        98.7%   99.7 ms

                    |            CPU(OS) 1
                    | POLL        0.0%    0.0 ms
                    | C1E         0.5%    0.5 ms
                    | C6          0.2%    0.6 ms
                    | C8          0.3%    0.6 ms
                    | C10        98.6%   52.4 ms

                    |            CPU(OS) 2
                    | POLL        0.0%    0.0 ms
                    | C1E         0.0%    0.0 ms
                    | C6          0.0%    0.0 ms
                    | C8          0.7%    1.1 ms
                    | C10        77.4%   34.0 ms

                    |            CPU(OS) 3
                    | POLL        0.0%    0.0 ms
                    | C1E         0.0%    0.0 ms
                    | C6          0.0%    0.0 ms
                    | C8          0.7%    1.2 ms
                    | C10        98.4%   52.3 ms

Powertop Tunables

code:

>> Bad           Enable SATA link power management for host2                                          
   Bad           Enable SATA link power management for host3
   Bad           Enable SATA link power management for host0
   Bad           Enable SATA link power management for host1
   Bad           NMI watchdog should be turned off
   Bad           VM writeback timeout
   Bad           Autosuspend for USB device USB Keyboard [SIGMACHIP]
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
   Bad           Runtime PM for PCI Device Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
   Bad           Runtime PM for PCI Device Intel Corporation Device 4678
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
   Bad           Runtime PM for PCI Device Intel Corporation Device 467e
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
   Good          Enable Audio codec power management
   Good          Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc6)
   Good          Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
   Good          Runtime PM for I2C Adapter i2c-2 (i915 gmbus dpb)
   Good          Runtime PM for I2C Adapter i2c-4 (i915 gmbus tc1)
   Good          Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc5)
   Good          Runtime PM for I2C Adapter i2c-1 (i915 gmbus dpa)
   Good          Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpc)
   Good          Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc4)
   Good          Runtime PM for I2C Adapter i2c-5 (i915 gmbus tc2)
   Good          Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc3)
   Good          Autosuspend for USB device xHCI Host Controller [usb1]
   Good          Autosuspend for USB device xHCI Host Controller [usb2]
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Contro
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]
   Good          Runtime PM for PCI Device Intel Corporation Device 54be
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Co
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controll
   Good          Runtime PM for PCI Device Intel Corporation Device 54bb
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54ba

To-Do
In de startpost staat dat je consoleblank=15 moet toevoegen. Maakt dit veel verscheel uit?
Nog een keer de BIOS doorlopen om te kijken wat ik kan verbeteren
ASPM Tuning script proberen Church of Noise in "Het grote zuinige server topic - deel 3"
Powertop Auto-tune aan de praat krijgen (zie melding hieronder)
Onderzoeken of Powertop 2.15 alsnog werkt onder Proxmox

code:

root@pve:~# powertop --auto-tune 
modprobe cpufreq_stats failedLoaded 0 prior measurements
Cannot load from file /var/cache/powertop/saved_parameters.powertop
File will be loaded after taking minimum number of measurement(s) with battery only 
RAPL device for cpu 0
RAPL Using PowerCap Sysfs : Domain Mask d
RAPL device for cpu 0
RAPL Using PowerCap Sysfs : Domain Mask d
Devfreq not enabled
glob returned GLOB_ABORTED
Cannot load from file /var/cache/powertop/saved_parameters.powertop
File will be loaded after taking minimum number of measurement(s) with battery only 
Leaving PowerTOP

--edit--
Heb het systeem aan gelaten vanacht.
Usb toetsenbord en hdmi verwijderd.
Min 3 watt
Avr 3,5 watt
Max 6 watt

Nieuwe to do

• Powertop 2.15 installeren mrmrmr in "Het grote zuinige server topic - deel 3"
• Powertop --autotune draaien met 2 netwerkkabels manusjevanalles in "Het grote zuinige server topic - deel 3"
• Powertop dump maken
• Kijken hoe ik dit werkend krijg na startup met één netwerkkabel
• consoleblank=15 toevoegen
• Nog een rondje door de bios

[ Voor 3% gewijzigd door RedRayMann op 22-12-2024 08:42 ]

[mrmrmr]

@RedRayMann Je kan met powertop 2.15 de settings "dumpen" zodat je een setting eruit kan halen die een probleem triggert: powertop --auto-tune-dump. Misschien is de I226-V netwerkchip de oorzaak, zie meldingen in dit topic over i225/i226. Het probleem wordt hier en bij de kernel aangekaart.

De meldingen die je ziet in de output zijn geen probleem.

consoleblank kan inderdaad het verbruik laten dalen met Watts, dit zorgt ervoor dat de monitor in standby gaat en dat het signaal naar de monitor wordt gestopt. Dus de gpu wordt in low power mode gezet.

Ik zie ook een ASM1064 chip die voor 4x SATA wordt gebruikt. Dat verhindert een extreem laag verbruik. De package C state en core C states zien er prima uit, kan niet beter.

[ Voor 11% gewijzigd door mrmrmr op 22-12-2024 00:35 ]

[RedRayMann]

mrmrmr schreef op zondag 22 december 2024 @ 00:32:
@RedRayMann Je kan met powertop 2.15 de settings "dumpen" zodat je een setting eruit kan halen die een probleem triggert: powertop --auto-tune-dump. Misschien is de I226-V netwerkchip de oorzaak, zie meldingen in dit topic over i225/i226. Het probleem wordt hier en bij de kernel aangekaart.

De meldingen die je ziet in de output zijn geen probleem.

consoleblank kan inderdaad het verbruik laten dalen met Watts, dit zorgt ervoor dat de monitor in standby gaat en dat het signaal naar de monitor wordt gestopt. Dus de gpu wordt in low power mode gezet.

Ik zie ook een ASM1064 chip die voor 4x SATA wordt gebruikt. Dat verhindert een extreem laag verbruik. De package C state en core C states zien er prima uit, kan niet beter.

Tnx voor je snelle reactie, zeker op dit tijdstip
2.15 krijg ik niet eens aan de praat/geinstalleerd. Kan ook mijn beperkte kennis zijn. Ga dat later nogmaals proberen.

Heb net 2x Powertop --configure gedaan, de eerste keer werkte, de tweede keer liep alles weer vast. Dus ga binnenkort maar kijken naar een dump of eventueel 2.15 werkend krijgen.

En de consoleblank, moet die 15 erachter? In de toekomst komt de server in de meterkast zonder scherm.

Ik doe zo een reboot en laat hem een nachtje aan, ben benieuwd of hij zakt als ik er vanaf blijft of dat de 4,5 a 5,5 watt het minimum is.

[RedRayMann]

mrmrmr schreef op zondag 22 december 2024 @ 00:48:
[...]


Powertop 2.15 (uit 2023) https://filebin.net/qferwoz9kcatou8u
gecompileerd op/voor Debian 12.

Bij een foutmelding over libtracefs, installeer dan deze packages:
apt install libtracefs1 libtracefs-dev libtraceevent1 libtraceevent-dev

opdrachtregel met powertop in de huidige directory:
./powertop --auto-tune-dump

Als het niet lukt geef dan de output op het scherm.

Dank voor je moeite!
De Libteace* packages heb ik al, zag inderdaad dat die miste.
Nu kijken wanneer ik weer tijd heb om te spelen.

Misschien is de I226-V netwerkchip de oorzaak, zie meldingen in dit topic over i225/i226. Het probleem wordt hier en bij de kernel aangekaart.

Iets met bomen en het bos. Heb de topics gisteren wel gezien maar niet gerealiseerd dat dit het probleem was van de vastlopers.

Ik verwacht dat het nog lager kan met meer low power settings aan.

Heb het systeem aan gelaten vanacht.
Usb toetsenbord en hdmi verwijderd.
Min 3 watt
Avr 3,5 watt
Max 6 watt

andru123 schreef op zondag 22 december 2024 @ 02:01:
@RedRayMann als je de 2de network port verbind met een router, gaat de powertop autotune werken zonder vastlopen, vermoed ik.

Tnx voor de heads up. Dit "wist" ik!
Maar niet toegepast!
Heb al zoveel topics gelezen dat sommige dingen op de achtergrond zijn geraakt.

[ Voor 14% gewijzigd door RedRayMann op 22-12-2024 08:21 ]

[mrmrmr]

manusjevanalles schreef op zondag 22 december 2024 @ 08:24:
Ik haal vergelijkbare resultaten qua verbruik. @mrmrmr welke powersettings zouden voor een nog lager verbruik kunnen zorgen?

Nog aanwezige 'bad' settings zichtbaar in powertop, dus voordat powertop --auto-tune succesvol is uitgevoerd.

Voor degenen die I226 op 'bad' laten staan: werkt auto-tune wel goed wanneer de I226-V vast ingesteld staat op 1 Gbps?

Consoleblank is met name nodig als er nog geen GUI met xset actief is. Sommige GUI installaties zorgen zelf voor in slaapstand gaan van het scherm met xset of een andere tool. Dan heeft consoleblank misschien niet veel effect meer.

Consoleblank moet worden geactiveerd in grub, zie topic start voor hoe dat werkt bij Debian.

[blackmage2v]

RedRayMann schreef op zondag 22 december 2024 @ 08:37:
[...]

Tnx! Heb jij eerst 2 kabels aangesloten en daarna een dump en een aangepast script?
Mijn doel is uiteindelijk één netwerkkabel.

Nieuwe to do

• Powertop 2.15 installeren mrmrmr in "Het grote zuinige server topic - deel 3"
• Powertop --autotune draaien met 2 netwerkkabels manusjevanalles in "Het grote zuinige server topic - deel 3"
• Powertop dump maken
• Kijken hoe ik dit werkend krijg na startup

En wat eerdere puntjes :-)

Ik heb op mijn Odroid H4+ Powertop 2.15 draaien met één kabel. Alles staat in Powertop automatisch op Good, na het draaien van --auto-tune:

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


>> Good          VM writeback timeout                                                                                   
   Good          Enable SATA link power management for host3
   Good          Enable SATA link power management for host1
   Good          Enable SATA link power management for host2
   Good          Enable SATA link power management for host0
   Good          Enable Audio codec power management
   Good          NMI watchdog should be turned off
   Good          Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc1)
   Good          Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc2)
   Good          Autosuspend for USB device xHCI Host Controller [usb1]
   Good          Autosuspend for USB device xHCI Host Controller [usb2]
   Good          Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc4)
   Good          Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
   Good          Runtime PM for I2C Adapter i2c-11 (i915 gmbus tc6)
   Good          Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc3)
   Good          Runtime PM for I2C Adapter i2c-2 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-4 (i915 gmbus dpb)
   Good          Runtime PM for I2C Adapter i2c-1 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-10 (i915 gmbus tc5)
   Good          Runtime PM for I2C Adapter i2c-5 (i915 gmbus dpc)
   Good          Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpa)
   Good          Runtime PM for PCI Device KIOXIA Corporation NVMe SSD
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
   Good          Runtime PM for PCI Device Intel Corporation Device 4678
   Good          Runtime PM for PCI Device Intel Corporation Device 54be
   Good          Runtime PM for PCI Device Intel Corporation Device 54e8
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54bb
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54e9
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
   Good          Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
   Good          Runtime PM for PCI Device Intel Corporation Device 467e
   Good          Runtime PM for PCI Device Intel Corporation Device 54ba
   Good          Runtime PM for disk sda
   Good          Runtime PM for disk sdb
   Good          Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]

[manusjevanalles]

blackmage2v schreef op maandag 23 december 2024 @ 13:47:
[...]


Ik heb op mijn Odroid H4+ Powertop 2.15 draaien met één kabel. Alles staat in Powertop automatisch op Good, na het draaien van --auto-tune:

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


>> Good          VM writeback timeout                                                                                   
   Good          Enable SATA link power management for host3
   Good          Enable SATA link power management for host1
   Good          Enable SATA link power management for host2
   Good          Enable SATA link power management for host0
   Good          Enable Audio codec power management
   Good          NMI watchdog should be turned off
   Good          Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc1)
   Good          Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc2)
   Good          Autosuspend for USB device xHCI Host Controller [usb1]
   Good          Autosuspend for USB device xHCI Host Controller [usb2]
   Good          Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc4)
   Good          Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
   Good          Runtime PM for I2C Adapter i2c-11 (i915 gmbus tc6)
   Good          Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc3)
   Good          Runtime PM for I2C Adapter i2c-2 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-4 (i915 gmbus dpb)
   Good          Runtime PM for I2C Adapter i2c-1 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-10 (i915 gmbus tc5)
   Good          Runtime PM for I2C Adapter i2c-5 (i915 gmbus dpc)
   Good          Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpa)
   Good          Runtime PM for PCI Device KIOXIA Corporation NVMe SSD
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
   Good          Runtime PM for PCI Device Intel Corporation Device 4678
   Good          Runtime PM for PCI Device Intel Corporation Device 54be
   Good          Runtime PM for PCI Device Intel Corporation Device 54e8
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54bb
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54e9
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
   Good          Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
   Good          Runtime PM for PCI Device Intel Corporation Device 467e
   Good          Runtime PM for PCI Device Intel Corporation Device 54ba
   Good          Runtime PM for disk sda
   Good          Runtime PM for disk sdb
   Good          Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]

Geen vastlopers? Wat gebeurt er als je na het draaien van powertop —auto-tune alleen powertop draait (uit je screenshot maak ik op dat je geen vastlopers hebt dan)? Bij mij loopt hij dan vast als ik maar 1 netwerkkabel heb aangesloten.

[RedRayMann]

blackmage2v schreef op maandag 23 december 2024 @ 13:47:
[...]


Ik heb op mijn Odroid H4+ Powertop 2.15 draaien met één kabel. Alles staat in Powertop automatisch op Good, na het draaien van --auto-tune:

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


>> Good          VM writeback timeout                                                                                   
   Good          Enable SATA link power management for host3
   Good          Enable SATA link power management for host1
   Good          Enable SATA link power management for host2
   Good          Enable SATA link power management for host0
   Good          Enable Audio codec power management
   Good          NMI watchdog should be turned off
   Good          Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc1)
   Good          Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc2)
   Good          Autosuspend for USB device xHCI Host Controller [usb1]
   Good          Autosuspend for USB device xHCI Host Controller [usb2]
   Good          Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc4)
   Good          Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
   Good          Runtime PM for I2C Adapter i2c-11 (i915 gmbus tc6)
   Good          Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc3)
   Good          Runtime PM for I2C Adapter i2c-2 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-4 (i915 gmbus dpb)
   Good          Runtime PM for I2C Adapter i2c-1 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-10 (i915 gmbus tc5)
   Good          Runtime PM for I2C Adapter i2c-5 (i915 gmbus dpc)
   Good          Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpa)
   Good          Runtime PM for PCI Device KIOXIA Corporation NVMe SSD
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
   Good          Runtime PM for PCI Device Intel Corporation Device 4678
   Good          Runtime PM for PCI Device Intel Corporation Device 54be
   Good          Runtime PM for PCI Device Intel Corporation Device 54e8
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54bb
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54e9
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
   Good          Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
   Good          Runtime PM for PCI Device Intel Corporation Device 467e
   Good          Runtime PM for PCI Device Intel Corporation Device 54ba
   Good          Runtime PM for disk sda
   Good          Runtime PM for disk sdb
   Good          Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]

Ik loop er nu nog tegen aan dat het mij niet lukt om Powertop 2.15 op mijn Odroid te krijgen.
Heb er na de info van @mrmrmr ook nog niet veel tijd aan gespendeerd moet ik eerder zijn.

--edit--
Als ik de file van @mrmrmr bekijk en de installatie van 2.14 is het waarschijnlijk gewoon de bestanden overschrijven?

--edit--
Yup, was gewoon cp
Powertop 2.15 lijkt te werken. Ik ga kijken wat ik hiermee kan behalen

--edit--

powertop werkt
powertop --auto-tune lijkt iets te doen
powertop werkt niet meer (zwart scherm)
Open nieuw console via Proxmox
powertop blijft niet werken

Nu iets met gezinsleven, dus nerdpet gaat af, vanavond misschien weer.

[ Voor 5% gewijzigd door RedRayMann op 23-12-2024 17:42 ]

[RedRayMann]

Na de Odroid even uit te hebben gehouden, opnieuw opgestart
Powertop werkt
Powertop --calibrate werkt

code:

>> Bad           VM writeback timeout                                                                 
   Bad           Enable SATA link power management for host3
   Bad           Enable SATA link power management for host1
   Bad           Enable SATA link power management for host2
   Bad           Enable SATA link power management for host0
   Bad           NMI watchdog should be turned off
   Bad           Runtime PM for PCI Device Intel Corporation Device 467e
   Bad           Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Bad           Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
   Bad           Runtime PM for PCI Device Intel Corporation Device 4678
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
   Bad           Runtime PM for PCI Device Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD
   Bad           Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
   Good          Enable Audio codec power management
   Good          Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc6)
   Good          Autosuspend for USB device xHCI Host Controller [usb1]
   Good          Autosuspend for USB device xHCI Host Controller [usb2]
   Good          Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc3)
   Good          Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc5)
   Good          Runtime PM for I2C Adapter i2c-5 (i915 gmbus tc2)
   Good          Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc4)
   Good          Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpc)
   Good          Runtime PM for I2C Adapter i2c-1 (i915 gmbus dpa)
   Good          Runtime PM for I2C Adapter i2c-4 (i915 gmbus tc1)
   Good          Runtime PM for I2C Adapter i2c-2 (i915 gmbus dpb)
   Good          Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Contro
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]
   Good          Runtime PM for PCI Device Intel Corporation Device 54be
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Co
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controll
   Good          Runtime PM for PCI Device Intel Corporation Device 54bb
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54ba

Weinig verschil.


Powertop --auto-tune

code:

root@pve:~# powertop --auto-tune
modprobe cpufreq_stats failed
Loaded 0 prior measurements
Cannot load from file /var/cache/powertop/saved_parameters.powertop
File will be loaded after taking minimum number of measurement(s) with battery only 
RAPL device for cpu 0
RAPL Using PowerCap Sysfs : Domain Mask d
RAPL device for cpu 0
RAPL Using PowerCap Sysfs : Domain Mask d
Devfreq not enabled
glob returned GLOB_ABORTED
Cannot load from file /var/cache/powertop/saved_parameters.powertop
File will be loaded after taking minimum number of measurement(s) with battery only 
Leaving PowerTOP

Powertop werkt niet meer...
Dus moet toch met de dump aan de slag of met twee internet kabels

--edit--
Tweede utp kabel op mijn Unifi Flex Mini switch, tijdens boot knipperen alle ledjes van beide poorten, echter al snel lijkt mijn Unifi systeem poort twee er uit te gooien.
Nogmaals calibate gedaan, geen verschil.

auto-tune, zelfde melding als eerder en een vast loper bij powertop. Dus twee utp kabels lijkt bij mij niet te werken.

[ Voor 4% gewijzigd door RedRayMann op 23-12-2024 19:30 ]

[Mich]

RobertMe schreef op maandag 23 december 2024 @ 23:15:
[...]

Voor zover ik weet speelt dit probleem alleen als de adapter niet in gebruik is (geen kabel aangesloten). En die kaart heb je vast niet gekocht om geen kabel in te steken Heb je dit dus getest met geen kabel in de poort? (Mogelijk zelfs "kabel uittrekken, herstarten, powertop uitvoeren", zodat mogelijke instellingen die gedaan zijn door wel aangesloten te zijn geweest ongedaan zijn gemaakt).

Op mijn TopTon router (4x i226, 2 in gebruik) heb ik dit issue in ieder geval ook.

Dit was zonder kabel. In twee pc's geprobeerd ook. In eentje laat ik powertop zelfs als script draaien bij het opstarten en ook hier dus geen probleem. Het gaat hier wel om een I226-LM en bij veel anderen is het i226-V. Geen idee wat het verschil is.

code:

03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-LM

        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-

                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1

        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us

[ Voor 28% gewijzigd door Mich op 24-12-2024 10:51 ]

[Mars Warrior]

Mich schreef op dinsdag 24 december 2024 @ 10:51:
[...]


Dit was zonder kabel. In twee pc's geprobeerd ook. In eentje laat ik powertop zelfs als script draaien bij het opstarten en ook hier dus geen probleem. Het gaat hier wel om een I226-LM en bij veel anderen is het i226-V. Geen idee wat het verschil is.

code:

03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-LM

        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-

                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1

        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us

Vziw enkel Intel AMT op de LM variant

[RedRayMann]

Yariva schreef op dinsdag 24 december 2024 @ 14:03:
Hey all,

Ik ben de laatste puntjes op de i aan het zetten met mijn nieuwe Unraid NAS build. Ik meet zo rond de 18w met de volgende setup:

Odroid h4 ultra (Intel N305) - uitvoering: Hardkernel ODROID-H4 Ultra
48GB DDR5 plankje - uitvoering: Crucial CT48G56C46S5
2x Artic 140mm FAN - uitvoering: Arctic P14 PWM PST Zwart, 140mm
1x WD Blue 1TB - uitvoering: WD Blue SN580 1TB
1x 64GB USB stick voor Unraid OS - uitvoering: Sandisk Ultra Fit USB 3.1 64GB Zwart
Edit vergeten: ook een zigbee stick voor Home Assistant.

Daarbij zijn wel 2x 18TB schijven down-gespinned (uitvoering: Seagate IronWolf Pro, 18TB (ST18000NT001))

Alles werkt met een externe voeding van 120w. Mocht ik nog 2 schijven erbij kopen heb ik die ruimte wel nodig wanneer alle schijven tegelijk zouden starten (is het idee.) Idle gebruik zal natuurlijk nooit rond die 120w komen.

De setup draait een boel applicaties:

• Home Assistant (Automatisering)
• Adguard (DNS)
• Wireguard (met permanent 1 client verbonden)
• Duplicacy (om op een tijdschema backups te maken)
• Netbox (Infra documentatie)
• Reverse proxy (om alle diensten met een mooi naampje te benaderen + SSL encryptie)
• Unifi controller (Wifi beheer)
• Vaultwarden (Wachtwoord beheer)
• Zabbix agent en server (monitoring)

Al deze applicaties draaien op de 1TB SSD. Er zijn 2 applicaties die ook op de SSD draaien maar zodra deze echt worden gebruikt zullen deze de 18TB schijven up-spinnen.

• Plex
• Verschillende *arr's
• Algemeen: SMB en NFS shares (duh)

Al met al ben ik hier best tevreden mee maar ik ben benieuwd hoe ik het verbruik nog verder naar beneden zou kunnen halen. Tegelijk snap ik ook dat ik niet zuinig ben geweest met de hardware in kwestie. Ik heb al even gekeken naar C states, poortjes en features uitschakelen in de BIOS etc. etc. Maar veel verder dan dit kom ik nu niet meer

Ben nu zelf druk bezig met een H4 +
Nog kaal en alleen Proxmox.
Enkele posts terug (eventueel de laatste gepinde post) heb ik uitgebreid geprobeerd mijn zoektocht met de H4 te documenteren. Misschien heb je er wat aan.

blackmage2v schreef op maandag 23 december 2024 @ 20:46:
[...]


Heb je ASPM aanstaan in je Bios? Dit zijn mijn instellingen:

Chipset > PCH-IO Configuration > PCI Express configuration:

- DMI Link ASPM control --> L0sL1
- PCI Express Root Port 3 --> ASPM auto
- PCI Express Root Port 4 --> ASPM auto
- PCI Express Root Port 7 --> ASPM auto
- PCI Express Root Port 9 --> ASPM auto

Verder heb ik dacht ik ook even lopen spelen en uiteindelijk Powertop 2.14 helemaal verwijderd. Vervolgens 2.15 via Github geïnstalleerd. Maar mogelijk dat bovenstaande misschien ook al een oplossing biedt.

Edit: Overigens voer ik bij opstarten het volgende nog uit:

#Turn off Wake on Lan for enp1s0 & enp2s0
ethtool -s enp1s0 wol d
ethtool -s enp2s0 wol d
#
# Turn off Enp2s0
ip link set enp2s0 down

Heb een half uurtje ruimte voordat ik de kinderen moet ophalen en de kerstdagen in verdwijn :-)
BIOS net bekeken. Staat gelijk.
Heb ook het volgende gevonden;
- Chipset - PCH-IO Configuration - Wake on Lan
Deze stond op enabled, dit heb ik nu op Disabled gezet. Maakt dit verschil uit? Jij via software bij boot en ik via BIOS?

--edit--
Ook wel bijzonder.
In BIOS;
Advanced tabblad - Intel (R) Ethernet Controller I226-V - Linkstatus = [Disconnected]

Bij beide poorten. Terwijl er één poort in gebruik is.

[ Voor 19% gewijzigd door RedRayMann op 24-12-2024 14:32 ]

[RedRayMann]

Nieuwe to do
Powertop 2.15 installeren mrmrmr in "Het grote zuinige server topic - deel 3"
Powertop --autotune draaien met 2 netwerkkabels manusjevanalles in "Het grote zuinige server topic - deel 3"
Powertop dump maken
Kijken hoe ik dit werkend krijg na startup met één netwerkkabel
consoleblank=15 toevoegen
Nog een rondje door de bios

Heb zojuist dit script gemaakt;

code:

#!/bin/bash

# NMI watchdog should be turned off
echo '0' > '/proc/sys/kernel/nmi_watchdog';

# VM writeback timeout
echo '1500' > '/proc/sys/vm/dirty_writeback_centisecs';

# Enable SATA link power management for host3
echo 'med_power_with_dipm' > '/sys/class/scsi_host/host3/link_power_management_policy';

# Enable SATA link power management for host1
echo 'med_power_with_dipm' > '/sys/class/scsi_host/host1/link_power_management_policy';

# Enable SATA link power management for host2
echo 'med_power_with_dipm' > '/sys/class/scsi_host/host2/link_power_management_policy';

# Enable SATA link power management for host0
echo 'med_power_with_dipm' > '/sys/class/scsi_host/host0/link_power_management_policy';

# Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
echo 'auto' > '/sys/bus/pci/devices/0000:00:0a.0/power/control';

# Runtime PM for PCI Device Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD
echo 'auto' > '/sys/bus/pci/devices/0000:04:00.0/power/control';

# Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
echo 'auto' > '/sys/bus/pci/devices/0000:00:14.2/power/control';

# Runtime PM for PCI Device Intel Corporation Device 4678
echo 'auto' > '/sys/bus/pci/devices/0000:00:00.0/power/control';

# Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
echo 'auto' > '/sys/bus/pci/devices/0000:00:1f.5/power/control';

# Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
# echo 'auto' > '/sys/bus/pci/devices/0000:01:00.0/power/control';

# Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
# echo 'auto' > '/sys/bus/pci/devices/0000:02:00.0/power/control';

# Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
echo 'auto' > '/sys/bus/pci/devices/0000:00:1f.0/power/control';

# Runtime PM for PCI Device Intel Corporation Device 467e
echo 'auto' > '/sys/bus/pci/devices/0000:00:08.0/power/control';

# Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
echo 'auto' > '/sys/bus/pci/devices/0000:03:00.0/ata3/power/control';

# Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
echo 'auto' > '/sys/bus/pci/devices/0000:03:00.0/ata4/power/control';

# Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
echo 'auto' > '/sys/bus/pci/devices/0000:03:00.0/ata1/power/control';

# Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
echo 'auto' > '/sys/bus/pci/devices/0000:03:00.0/ata2/power/control';

# Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
echo 'auto' > '/sys/bus/pci/devices/0000:03:00.0/power/control';

Dit is een dump van mijn powertop --auto-tune-dump
Ik heb de twee netwerkpoort regels hierin "uit gezet" met een #

Scrip gedraaid en alles was good op de twee netwerkpoorten na!

Ik zie bij WakeUp nog wel dat WOL 1 en 2, dat ik iets voor de verloren momenten tijdens kerst of voor volgende week.

Iedereen tot nu toe extreem bedankt!

Na een reboot, scrip handmatig gedraaid en dit zijn de resultaten;

Bad Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
Bad Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
Good Enable SATA link power management for host3
Good VM writeback timeout
Good Enable SATA link power management for host1
Good Enable SATA link power management for host2
Good Enable SATA link power management for host0
Good Enable Audio codec power management
Good NMI watchdog should be turned off
Good Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpc)
Good Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc4)
Good Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc6)
Good Runtime PM for I2C Adapter i2c-2 (i915 gmbus dpb)
Good Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc5)
Good Autosuspend for USB device xHCI Host Controller [usb2]
Good Runtime PM for I2C Adapter i2c-4 (i915 gmbus tc1)
Good Autosuspend for USB device xHCI Host Controller [usb1]
Good Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
Good Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc3)
Good Runtime PM for I2C Adapter i2c-1 (i915 gmbus dpa)
Good Runtime PM for I2C Adapter i2c-5 (i915 gmbus tc2)
Good Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
Good Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
Good Runtime PM for PCI Device Intel Corporation Device 467e
Good Runtime PM for PCI Device Intel Corporation Device 54ba
Good Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
Good Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
Good Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
Good Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]
Good Runtime PM for PCI Device Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
Good Runtime PM for PCI Device Intel Corporation Device 54be
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
Good Runtime PM for PCI Device Intel Corporation Device 4678
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controller
Good Runtime PM for PCI Device Intel Corporation Device 54bb
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller[/code]

We gaan de goede kant op!

[blackmage2v]

RedRayMann schreef op dinsdag 24 december 2024 @ 14:23:
[...]

Ben nu zelf druk bezig met een H4 +
Nog kaal en alleen Proxmox.
Enkele posts terug (eventueel de laatste gepinde post) heb ik uitgebreid geprobeerd mijn zoektocht met de H4 te documenteren. Misschien heb je er wat aan.


[...]

Heb een half uurtje ruimte voordat ik de kinderen moet ophalen en de kerstdagen in verdwijn :-)
BIOS net bekeken. Staat gelijk.
Heb ook het volgende gevonden;
- Chipset - PCH-IO Configuration - Wake on Lan
Deze stond op enabled, dit heb ik nu op Disabled gezet. Maakt dit verschil uit? Jij via software bij boot en ik via BIOS?

--edit--
Ook wel bijzonder.
In BIOS;
Advanced tabblad - Intel (R) Ethernet Controller I226-V - Linkstatus = [Disconnected]

Bij beide poorten. Terwijl er één poort in gebruik is.

Volgens mij werkte het bij mij niet, als ik via Bios deze uit zette. Vandaar dat ik het via een bootscript heb opgelost. Achteraf werkte het mogelijk wel, gezien er in Bios update 1.04 hier een fix voor is gemaakt. Deze wil ik ergens in de komende tijd installeren en proberen. Laatste versie is 1.06 op dit moment.

RedRayMann schreef op dinsdag 24 december 2024 @ 15:22:
Nieuwe to do
Powertop 2.15 installeren mrmrmr in "Het grote zuinige server topic - deel 3"
Powertop --autotune draaien met 2 netwerkkabels manusjevanalles in "Het grote zuinige server topic - deel 3"
Powertop dump maken
Kijken hoe ik dit werkend krijg na startup met één netwerkkabel
consoleblank=15 toevoegen
Nog een rondje door de bios

Heb zojuist dit script gemaakt;

[...]


Dit is een dump van mijn powertop --auto-tune-dump
Ik heb de twee netwerkpoort regels hierin "uit gezet" met een #

Scrip gedraaid en alles was good op de twee netwerkpoorten na!

Ik zie bij WakeUp nog wel dat WOL 1 en 2, dat ik iets voor de verloren momenten tijdens kerst of voor volgende week.

Iedereen tot nu toe extreem bedankt!

Na een reboot, scrip handmatig gedraaid en dit zijn de resultaten;

[...]


We gaan de goede kant op!

Yes, let's go! Ik ben benieuwd wat je verbruik gaat zijn nu.

[RedRayMann]

Weer een update.
Gisteren op Proxmox de Unifi controller als LXC geïnstalleerd en mijn Unifi netwerk opnieuw ingericht (geen back-up van oude setup)
Daarna AdGuard als LXC geïnstalleerd en ingesteld.
Daarna gespeeld met Nginx Proxy Server

Verbruik bleef redelijk gelijk, iets verhoging.
Van 3,3 watt tot 4 watt naar 4 watt tot 5 watt
Dit vond ik begrijpelijk want het systeem moet ineens iets doen ipv lekker idle zijn.

Maar vannacht om 02:00 uur is het verbruik ineens omhoog geschoten naar 6,5 watt.

Ik heb vanochtend en zojuist de 2,5" HDD gecontroleerd.

code:

root@Odroid:~# hdparm -C /dev/sdc

/dev/sdc:
 drive state is:  standby

Dus die moet geen extra stroom afnemen.

Heb ook in Powertop gekeken, alles staat zoals ik het eerder zag mbt de good/bad regels.

Maar ik zit nu in C3 ipv C8 (PowerTop 2.15 - PKG)

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


           Pkg(HW)  |            Core(HW) |            CPU(OS) 0
                    |                     | C0 active   6.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         6.9%    0.4 ms
C2 (pc2)    6.0%    |                     |
C3 (pc3)   49.6%    | C3 (cc3)    0.0%    |
C6 (pc6)    0.0%    | C6 (cc6)   83.4%    | C6         10.5%    0.8 ms
C7 (pc7)    0.0%    | C7 (cc7)   72.8%    |
C8 (pc8)    0.0%    |                     | C8          4.2%    1.2 ms
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |
                    |                     | C10        71.0%    6.1 ms

                    |            Core(HW) |            CPU(OS) 1
                    |                     | C0 active  11.3%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         3.9%    0.3 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)   82.4%    | C6         13.5%    0.9 ms
                    | C7 (cc7)   69.2%    |
                    |                     | C8          0.9%    0.8 ms
                    |                     |
                    |                     |
                    |                     | C10        68.7%   11.2 ms

                    |            Core(HW) |            CPU(OS) 2
                    |                     | C0 active   7.6%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         4.5%    0.4 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)   84.1%    | C6         13.1%    0.8 ms
                    | C7 (cc7)   71.0%    |
                    |                     | C8          2.1%    1.4 ms
                    |                     |
                    |                     |
                    |                     | C10        71.0%    6.8 ms

                    |            Core(HW) |            CPU(OS) 3
                    |                     | C0 active   5.3%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         1.9%    0.3 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)   89.2%    | C6          9.0%    0.9 ms
                    | C7 (cc7)   80.2%    |
                    |                     | C8          4.5%    1.5 ms
                    |                     |
                    |                     |
                    |                     | C10        77.8%    7.8 ms

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |
                    | RC6pp       0.0%    |
                    |                     |
                    |                     |
                    |                     |
                    |                     |
                    |                     |
                    |                     |

Ook gelijk maar de tips van een paar posts terug geprobeerd, alles staat wel goed mbt ASPM

code:

root@Odroid:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Alder Lake-N PCI Express Root Port (prog-if 00 [Normal decode])
                LnkCap: Port #9, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 SATA controller: ASMedia Technology Inc. ASM1064 Serial ATA Controller (rev 02) (prog-if 01 [AHCI 1.0])
                LnkCap: Port #0, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <4us, L1 <64us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x2, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Als ik de gegevens van Powertop probeer te interpreteren, dan denk ik dat de PKG voor Package staat, ofwel software wat geinstalleerd is? Dan ga ik zo mijn LXC containers 1 voor 1 uit zetten en kijken wat er gebeurd.

Toch gek dat het uit het niets kwam.
Tips zijn welkom :-)

--edit--
Screenshot van verbruik

Rond 11:00 uur heb ik hem aan gezet
Rond 15:00 uur actief er mee gaan werken en de eerste LXC geinstalleerd
Rond 22:00 uur wat installaties, reboots, updates e.d.
Rond 02:00 uur ineens een groei in verbruik
rond 07:00 uur een ingelogt via de Proxmox app, daardoor ging de HDD aan en zie je een piek

[ Voor 4% gewijzigd door RedRayMann op 06-01-2025 16:53 ]

[RedRayMann]

RedRayMann schreef op maandag 6 januari 2025 @ 16:48:
Weer een update.
Gisteren op Proxmox de Unifi controller als LXC geïnstalleerd en mijn Unifi netwerk opnieuw ingericht (geen back-up van oude setup)
Daarna AdGuard als LXC geïnstalleerd en ingesteld.
Daarna gespeeld met Nginx Proxy Server

Verbruik bleef redelijk gelijk, iets verhoging.
Van 3,3 watt tot 4 watt naar 4 watt tot 5 watt
Dit vond ik begrijpelijk want het systeem moet ineens iets doen ipv lekker idle zijn.

Maar vannacht om 02:00 uur is het verbruik ineens omhoog geschoten naar 6,5 watt.

Ik heb vanochtend en zojuist de 2,5" HDD gecontroleerd.

code:

root@Odroid:~# hdparm -C /dev/sdc

/dev/sdc:
 drive state is:  standby

Dus die moet geen extra stroom afnemen.

Heb ook in Powertop gekeken, alles staat zoals ik het eerder zag mbt de good/bad regels.

Maar ik zit nu in C3 ipv C8 (PowerTop 2.15 - PKG)


[...]


Ook gelijk maar de tips van een paar posts terug geprobeerd, alles staat wel goed mbt ASPM

code:

root@Odroid:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Alder Lake-N PCI Express Root Port (prog-if 00 [Normal decode])
                LnkCap: Port #9, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 SATA controller: ASMedia Technology Inc. ASM1064 Serial ATA Controller (rev 02) (prog-if 01 [AHCI 1.0])
                LnkCap: Port #0, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <4us, L1 <64us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x2, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Als ik de gegevens van Powertop probeer te interpreteren, dan denk ik dat de PKG voor Package staat, ofwel software wat geinstalleerd is? Dan ga ik zo mijn LXC containers 1 voor 1 uit zetten en kijken wat er gebeurd.

Toch gek dat het uit het niets kwam.
Tips zijn welkom :-)

--edit--
Screenshot van verbruik
[Afbeelding]
Rond 11:00 uur heb ik hem aan gezet
Rond 15:00 uur actief er mee gaan werken en de eerste LXC geinstalleerd
Rond 22:00 uur wat installaties, reboots, updates e.d.
Rond 02:00 uur ineens een groei in verbruik
rond 07:00 uur een ingelogt via de Proxmox app, daardoor ging de HDD aan en zie je een piek

Gisteren na deze post zat ik tussen de 4,2 en 4,7 watt.
Vanmiddag keek ik naar het verbruik, blijk ik weer twee "gratis" watt erbij gekregen te hebben rond 10:00 uur.
Vriendin heeft even thuis gewerkt, laptop ging 09:00 uur, verder weinig netwerk verkeer, dus heb geen idee wat dit triggert.

Proxmox
Als ik in Proxmox kijk, zie ik het volgende in de tabellen;
Proxmox host summary
- IO Delay daalt van 0,22/0,16% ineens naar 0,008% rond 10:00 uur
- CPU blijft gelijk
Powertop weer 80% in C3

Unifi summary
- Niets opvallends rond 10:00 uur

Adguard summary
- Niets opvallends rond 10:00 uur

Nginx summary
- Niets opvallends rond 10:00 uur


Device stats

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp       


              Usage     Device name
             11.2%        CPU misc
             11.2%        CPU core
            100.0%        PCI Device: Intel Corporation Ethernet Controller I226-V
            100.0%        PCI Device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
            100.0%        PCI Device: Intel Corporation Device 54ba
            100.0%        PCI Device: Intel Corporation Ethernet Controller I226-V
            100.0%        PCI Device: Intel Corporation Alder Lake-N SPI (flash) Controller
            100.0%        PCI Device: Intel Corporation Device 54bb
            100.0%        PCI Device: Intel Corporation Alder Lake-N PCI Express Root Port
            100.0%        PCI Device: Intel Corporation Device 54be
            100.0%        PCI Device: Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD
            100.0%        PCI Device: Intel Corporation Platform Monitoring Technology
            100.0%        PCI Device: Intel Corporation Device 4678
             60.1%        PCI Device: Intel Corporation Alder Lake-N [UHD Graphics]
             28.7 pkts/s  Network interface: enp2s0 (igc)
             17.5 pkts/s  nic:vmbr0
              7.5 pkts/s  nic:veth101i0
              5.8 pkts/s  nic:veth100i0
              1.7 pkts/s  nic:veth102i0

Overview

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp       

Summary: 372.5 wakeups/second,  0.0 GPU ops/seconds, 0.0 VFS ops/sec and 10.3% CPU use

                Usage       Events/s    Category       Description
              2.1 ms/s     160.5        Timer          tick_nohz_highres_handler
              1.2 ms/s      19.7        Process        [PID 1378] /usr/bin/java -Dfile.encoding=UTF
            304.5 µs/s      20.0        Process        [PID 17] [rcu_preempt]
              0.9 ms/s      14.7        Interrupt      [3] net_rx(softirq)
            106.7 µs/s      11.7        kWork          psi_avgs_work
              1.6 ms/s       9.6        Process        [PID 1977] bin/mongod --dbpath /usr/lib/unif
            633.0 µs/s       9.6        Process        [PID 1894] bin/mongod --dbpath /usr/lib/unif
            515.9 µs/s       9.6        Process        [PID 1968] bin/mongod --dbpath /usr/lib/unif
             18.2 ms/s       1.6        Process        [PID 1070] pvestatd
             51.2 µs/s       6.5        kWork          flush_to_ldisc
            181.4 µs/s       3.9        Process        [PID 119966] /usr/sbin/pvefw-logger
            205.8 µs/s       3.8        Process        [PID 1372] /usr/bin/java -Dfile.encoding=UTF
              6.6 ms/s       1.0        Process        [PID 1058] pve-firewall
             35.6 µs/s       3.5        kWork          delayed_vfree_work
              4.8 ms/s       1.2        Process        [PID 1979] bin/mongod --dbpath /usr/lib/unif
            179.2 µs/s       2.9        Process        [PID 1890] bin/mongod --dbpath /usr/lib/unif
            139.7 µs/s       2.9        Process        [PID 873] /usr/bin/rrdcached -B -b /var/lib/
            101.9 µs/s       2.7        Process        [PID 1798] /opt/AdGuardHome/AdGuardHome -s r
             59.6 µs/s       2.4        Interrupt      [129] nvme0q2
              2.1 ms/s       1.5        Process        [PID 426421] powertop
            583.1 µs/s       2.1        Process        [PID 426533] cron
            265.1 µs/s       2.1        Process        [PID 2006] /usr/bin/java -Dfile.encoding=UTF
            259.1 µs/s       2.1        Process        [PID 2007] /usr/bin/java -Dfile.encoding=UTF
              3.7 ms/s       0.6        Process        [PID 119976] pveproxy worker
             85.2 µs/s       2.0        Process        [PID 423031] /usr/bin/rrdcached -B -b /var/l
            128.1 µs/s       1.9        Process        [PID 1600] /usr/bin/rrdcached -B -b /var/lib
              3.3 ms/s       0.7        Process        [PID 119975] pveproxy worker
             84.1 µs/s       1.9        Process        [PID 89419] /usr/bin/rrdcached -B -b /var/li
             82.4 µs/s       1.9        Process        [PID 22965] /usr/bin/rrdcached -B -b /var/li
            153.3 µs/s       1.9        Process        [PID 89585] /usr/bin/rrdcached -B -b /var/li
             79.2 µs/s       1.9        Process        [PID 55631] /usr/bin/rrdcached -B -b /var/li
             33.6 µs/s       1.9        Process        [PID 47] [kcompactd0]
             44.2 µs/s       1.7        kWork          do_worker
              0.8 ms/s       1.3        Process        [PID 1811] /opt/AdGuardHome/AdGuardHome -s r
              1.0 ms/s       1.1        Process        [PID 992] /usr/bin/pmxcfs
              2.8 ms/s      0.15        Timer          hrtimer_wakeup

(de rest is 1% of minder)

HDD?
En weer een check of de HDD stroom snoept;

code:

root@Odroid:~# hdparm -C /dev/sdc

/dev/sdc:
 drive state is:  standby

Nope, die slaapt lekker.

Software
Proxmox
Unifi
Adguard (logs uit)
Nginx Proxy Manager

Grafiek

Boven is afgelopen 24 uur
Onder is afgelopen 48 uur

LED's op moederbord
– Red (PWR) – Solid light when DC power is supplied
– Blue (left, SLEEP) – turns off only when the system enters into suspend mode
– Blue (right, PMIC) – turns on only when the major power rails are working
– Amber (SATA) – Flashes when SATA data transfers
– Green (NVMe) – Flashes when NVMe data transfers

Rood, aan
Blauw, beide aan
Amber, uit
Groen, knippert soms

Vraag?
Welke info is nog handig om te achterhalen voordat ik hem uit zet?
Ik doe straks weer een cold start en laat Nginx uit, dat is de enige container die nu nog niet in gebruik is. Anders moet ik AdGuard weer tijdelijk uit de Unifi controller halen of de controller tijdelijk ergens anders hosten.
Zal ik de SSD's/HDD los koppelen?

--edit--
Ik denk niet dat het relevant is, maar zie in mijn Unifi dashboard om 10 uur een piek. Mijn vriendin heeft toen per ongelijk een zakelijk filmpje gedownload van intranet ipv gestreamd. Maar dit kan het verbruik van AdGuard of de Unifi controller toch niet verhogen?

[ Voor 5% gewijzigd door RedRayMann op 07-01-2025 19:31 ]